Augen-, Gesichts- und Hand-Tracking für VR/AR und Smart-Brillen

Kompakte Komponenten mit geringem Stromverbrauch für fortschrittliche Blick- und Gesichtsverfolgung

Die nächste Generation der Augen-, Gesichts- und Handerkennung 

Die Augen- und Gesichtserkennung ermöglicht eine natürliche Interaktion in Virtual- und Augmented-Reality-Systemen sowie in Smart-Brillen. Der Blick wird zur Benutzeroberfläche und ermöglicht fotorealistische Avatare, während das Foveated Rendering den Rechen- und Systemaufwand reduziert. Die Gesichtsverfolgung überträgt Mimik für soziale und berufliche Anwendungen. Zu den entscheidenden Anforderungen zählen hohe Genauigkeit, schnelle Aktualisierungsraten, minimaler Stromverbrauch und ein winziger Formfaktor. 

So funktioniert Eye Tracking (kamerabasiert)

Kamerabasiertes Eye Tracking kombiniert infrared (IR) illumination (LED oder VCSEL) mit einem CMOS- Globalshutter-Bildsensor. Die Beleuchtung erfolgt im unsichtbaren IR-Spektrum; das vom Auge reflektierte Licht wird erfasst und über Pupillen-/Glanzpunktdetektion verarbeitet. Globalshutter-Sensoren vermeiden Rolling-Shutter-Artefakte und unterstützen ultrakurze Belichtungszeiten für hohe Präzision bei geringer Bewegungsunschärfe.  

Beispiele für Komponenten (kamerabasiert)  

  • MIRA globalshutter image sensors integriert in reflowfähige, IR-optimierte Miniaturkameramodule.
     
  • IR LEDs zur Beleuchtung, z. B. SFH4060 Firefly®. 
     
  • AS1181 Mehrkanal-LED/VCSEL-Treiber, der ultrakurze Impulse für Globalshutter-Sensoren und eine fehlertolerante Sicherheitsüberwachung für Augensicherheit unter allen Betriebsbedingungen ermöglicht. 

So funktioniert Eye Tracking (auf Basis von Fotosensoren)

Für extrem niedrigen Stromverbrauch, insbesondere bei Smart-Brillen für den ganztägigen Gebrauch, bieten Ansätze auf Basis von Fotodioden Vorteile. IR-LEDs senden kurze Impulse aus, und Fotodioden erkennen Reflexionen von Hornhaut/Weiße des Auges. Optische Reflexionssensoren integrieren LED, Fotodiode, LED-Treiber und analoges Frontend mit digitaler Steuerung und Auslesung. 

  • TMD2636 Näherungs-/optisches Reflexionssensormodul.

Architektur auf einen Blick 

  • Kamerabasiert: Höchste Genauigkeit und vollständige Bildinformationen; höherer Stromverbrauch und Rechenleistung. 

  • Fotosensorbasiert: Sehr geringer Stromverbrauch, kompakt und kostengünstig; ausreichende Genauigkeit für viele Anwendungsfälle mit Brillen. 

Gesichtserkennung und Avatar-Rekonstruktion 

Die Gesichtserkennung rekonstruiert die Gesichtsgeometrie und den Gesichtsausdruck, um fotorealistische Avatare zu erstellen. In VR/AR sind hohe Bildraten, geringe Latenzzeiten und eine robuste Beleuchtung entscheidend für eine konsistente Übertragung des Gesichtsausdrucks für soziale Interaktion, Telepräsenz und Zusammenarbeit. 

Vorteile und Anwendungsfälle 

  • Interaktion: Eyegaze-Benutzeroberfläche für präzise Auswahl und Navigation. 

  • Effizienz: Foveated Rendering reduziert den Verarbeitungsaufwand und den Stromverbrauch des Systems. 

  • Sicherheit und Komfort: Unsichtbare IR-Beleuchtung; Augenschutz-Treiber verhindern Grenzüberschreitungen auch unter Fehlerbedingungen. 

  • Erweiterte Funktionen: Augenbewegungen als potenzielle Vitalparameter. 

  • Design: Miniaturisierte Module für kompakte Headsets und Brillen. 

×

Sicherheit und Konformität   

IR-Quellen in der Nähe des Auges müssen innerhalb definierter Grenzwerte für die Augensicherheit betrieben werden.
Mehrkanal-Treiber mit Single-Fault-Tolerant-Überwachung gewährleisten die Konformität auch bei Hardware- oder Softwarefehlern. 

Applikationsblockdiagramm   

Das folgende Applikationsblockdiagramm veranschaulicht mögliche Hardwarearchitekturen für die Augen- und Gesichtsverfolgung in XR-Geräten. Kamerabasierte Systeme kombinieren Infrarotbeleuchtung (LEDs oder VCSELs) mit einem CMOS-Global-Shutter-Bildsensor, um detaillierte Augen- und Gesichtsmerkmale zu erfassen. Fotosensorbasierte Systeme hingegen verwenden hochintegrierte optische Reflexionssensoren (Näherungssensoren), um eine extrem stromsparende Blickerkennung in kompakten, tragbaren Designs zu ermöglichen. 

FAQ

Was ist Eye Tracking in VR/AR?

Erfassung von Blickvektoren mithilfe von IR-Beleuchtung und Sensoren, um Benutzeroberflächen zu ermöglichen, die Rechenleistung durch Foveated Rendering zu reduzieren und neue Biosignalanwendungen zu unterstützen.  

Warum Globalshutter-Sensoren für Eye Tracking? 

Sie eliminieren Rolling-Shutter-Artefakte, erfassen schnelle Augenbewegungen präzise und unterstützen ultrakurze Belichtungszeiten, die mit der IR-Impulsbeleuchtung synchronisiert sind.  

Kamera-basiert oder Fotosensor-basiert – was ist der Unterschied? 

Kamera-basierte Lösungen bieten maximale Genauigkeit und vollständigen Bildkontext bei höherer Leistung; Fotosensor-basierte Lösungen minimieren den Stromverbrauch und die Größe bei ausreichender Tracking-Leistung für viele Brillen-Designs.  

Wie wird die Augensicherheit gewährleistet?  

Mehrkanal-Treiber mit Single-Fault-Tolerant-Überwachung begrenzen die IR-Leistung innerhalb der gesetzlichen Grenzwerte und gewährleisten so auch bei Fehlern die Einhaltung der Vorschriften.  

Welche Komponenten sind geeignet?  

MIRA-Global-Shutter-Sensoren, SFH4060 Firefly® IR-LEDs, AS1181 LED/VCSEL-Treiber und TMD2636 optischer Reflexionssensor. 

\n