Augmented Reality-Handbuch zur Fehlerbehebung bei Geschirrspülern (iOS)

Wie man ein AR-Objekt an ein physisches Objekt anbringt, das nicht für die ARKit-Erkennung geeignet ist

Eine europäische Marke für Verbraucherelektronik, die eine breite Palette von Geräten für den Einsatz im Haushalt herstellt. Im Rahmen seiner Aktivitäten im Bereich Digital Transformation sucht das Unternehmen nach einer Technologielösung für die einfache und ansprechende Darstellung von Bedienungsanleitungen.

Problem

Das Unternehmen wendet sich an Softeq, um eine Augmented-Reality-App für iOS-Geräte zu entwickeln, mit der Kunden ihre Smartphones auf eine Spülmaschine richten und in Echtzeit visuelle Anweisungen auf ihrem Bildschirm erhalten.

Augmented Reality gibt grafische Informationen auf einer dreidimensionalen Szene wieder. Die technische Herausforderung besteht hier darin, überlagerte Bilder mit einem physischen Objekt in der realen Welt zu „verbinden“. Dies wird dadurch erschwert, dass die AR-Entwicklungstools unter Umständen keine physikalischen Objekte mit einer wenig strukturierten, glänzenden oder transparenten Oberfläche erkennen können. Auch Umweltfaktoren, wie z. B. die Lichtintensität, können die Genauigkeit der Objekterkennung beeinflussen.

Softeq schlägt den Bau eines mobilen App-Prototyps mit ARKit vor, um die Machbarkeit des Konzepts zu testen und eine technische Vision für zukünftige Implementierungen zu entwickeln. Der Prototyp ermittelt mehrere Modelle von Geschirrspülmaschinen aus dem Katalog unseres Kunden und unterstützt und die folgenden Use Cases:

Bereitstellung von Tipps für die Beladung der Geschirrspülmaschine
Anleitung für Benutzer, wie man einen Zyklus nach dem Start des Geschirrspülers ändert
Hilfe bei der Reinigung der Geschirrspülmaschine

Technologisch gesehen sollte die Anwendung folgende Leistungsanforderungen erfüllen:

Spülmaschine erkennen
AR-Objekte mit einer identifizierten Spülmaschine verbinden
Benutzern ermöglichen, die AR-Objekte aus verschiedenen Winkeln und Entfernungen zu betrachten

Lösung

augmented-reality-manual-for-troubleshooting-dishwashers-ios-solutions

Proof of Concept und Auswahl der Technologieumgebung

Bei der Auswahl der geeigneten Technologieumgebung für die iOS-Applikation muss unser Team drei Herausforderungen meistern:

Die Anwendung zur Ermittlung von Geschirrspülmaschinen in Live-Videodaten trainieren, die von einer Smartphone-Kamera erhalten werden.
Die Position der Geschirrspülmaschine in der realen Welt sowie ihren Drehwinkel berechnen.
Die AR-Objekte auf der Kameraaufnahme relativ zur Spülmaschinenfrontplatte platzieren.

Softeq hat verschiedene ARKit-Konfigurationen getestet, einschließlich Objekt- und Bilderkennung, um festzustellen, ob die native iOS Augmented Reality-Tools dies bewältigen können. Am Ende beschließt das Team, ausschließlich die ARKit World Tracking-Konfiguration zu verwenden, um AR-Objekte im physikalischen Raum zu positionieren.

Zusätzlich wird eine Drittanbieter-Bibliothek namens OpenCV eingesetzt, die die Entfernung und Rotation eines Objekts in der realen Welt relativ zur Kamera berechnen kann. Um die Ergebnisse der Lagebestimmung des Frameworks zu verbessern, muss das iOS-Entwicklungsteam von Softeq den ARKit-Autofokus deaktivieren, zusätzliche Berechnungen durchführen und die Kalman-Filterung anwenden, um die Bewegung und Verzerrung der virtuellen Objekte zu reduzieren. Zusätzlich implementieren die Entwickler das iOS CoreML-Framework für die Echtzeit-Objekterkennung, das synchron mit einem individuell trainierten neuronalen Netzwerk arbeitet.

Deep Learning

Das ultimative Ziel ist es, Deep Learning-Algorithmen auf die Erkennung einer Spülmaschine in Live-Videodaten zu trainieren, ihren Typ zu identifizieren und relevante Tipps zur Fehlerbehebung zu liefern. Zu diesem Zweck richtet das Team einen Google Cloud Server ein und trainieren ein MobileNetV2-SSD Modell mit TensorFlow.

Um das Modell des neuronalen Netzes zu trainieren, fotografieren die Entwickler die Geschirrspülmaschinen aus verschiedenen Winkeln und in verschiedenen Nahzonen und wenden verschiedene Augmentationen an, um den Datensatz von 300 auf 4500 Bilder zu erweitern. Das Team annotiert die Fotos auch mithilfe der Plattform Supervise.ly, um die Erkennung bestimmter Teile der Frontplatte eines Geschirrspülers, auf denen AR-Objekte angezeigt werden, zu verbessern.

Similar Project Idea?

Send your requirements and get an assessment Submit Request

Ergebnisse

Softeq schließt das Projekt termingerecht und gemäß den Anforderungen des Kunden ab. Die Lösung besteht aus einem neuronalen Netzwerk, das verschiedene Typen von Geschirrspülmaschinen unseres Kunden erkennt, und einem Prototyp der iOS Mobile App. So funktioniert die Anwendung:

Nach dem Start der App wählt der Benutzer die Art der Aktion aus, die er durchführen möchte (den Geschirrspüler laden oder reinigen oder den Zyklus ändern).
Der Benutzer fährt mit dem Bildschirm „Kameraansicht“ fort. Die App erkennt das Modell der Geschirrspülmaschine und platziert ein AR-Objekt, das den Schritt 1 des ausgewählten Use Case darstellt.
Text- und bildbasierte Anweisungen erscheinen in Echtzeit auf dem Bildschirm

Alternativ kann der Benutzer zum Infoscreen navigiert werden, der eine Schritt-für-Schritt-Anleitung in einer dokumentähnlichen Art und Weise bietet (im Gegensatz zu CGI, das über der Kameraaufnahme erscheint).

Was kommt als Nächstes?

Unser Kunde plant, die Nachfrage nach Augmented-Reality-Handbüchern im Markt für Unterhaltungselektronik abzuwarten. Entscheidet sich der Kunde für eine Fortführung, entwickelt Softeq eine marktreife Lösung mit einem ausgeprägten Monetarisierungsmodell. Das Team kann die Anwendung auch so skalieren, dass sie mehr Haushaltsgeräte und Use Cases unterstützt. Eine Erweiterung auf die mobile Android-Plattform ist auch mit einer anderen Technologieumgebung möglich.