Augen-, Gesichts- und Hand-Tracking für VR/AR und Smart-Brillen

Kompakte, stromsparende Komponenten für fortschrittliche Blick- und Gesichtsverfolgung 

Die nächste Generation der Augen-, Gesichts- und Handverfolgung 

Augen- und Gesichtsverfolgung ermöglichen eine natürliche Interaktion in Virtual- und Augmented-Reality-Systemen sowie in Smart-Brillen. Der Blick wird zur Benutzeroberfläche und steuert fotorealistische Avatare, während das foveale Rendering den Rechenaufwand und den Stromverbrauch des Systems reduziert. Die Gesichtsverfolgung überträgt Gesichtsausdrücke und sorgt so für soziale und berufliche Präsenz. Zu den entscheidenden Anforderungen zählen hohe Genauigkeit, schnelle Aktualisierungsraten, minimaler Stromverbrauch und eine extrem kompakte Bauweise. 

So funktioniert Eye-Tracking (kamerabasiert) 

Das kamerabasierte Eye-Tracking kombiniert Infrarot-Beleuchtung (IR) (LED oder VCSEL) mit einem CMOS-Bildsensor mit Global-Shutter. Die Beleuchtung erfolgt im unsichtbaren IR-Spektrum; das vom Auge reflektierte Licht wird erfasst und mittels Pupillen- bzw. Glanzerkennung verarbeitet. Global-Shutter-Sensoren vermeiden Rolling-Shutter-Artefakte und ermöglichen ultrakurze Belichtungszeiten für hohe Präzision bei geringer Bewegungsunschärfe. 

Beispiele für Komponenten (kamerabasiert) 

  • IR-LEDs zur Beleuchtung, z. B. SFH4060 Firefly®.   
  • Der Mehrkanal-LED-/VCSEL-Treiber AS1181 ermöglicht ultrakurze Impulse für Global-Shutter-Sensoren und eine fehlertolerante Sicherheitsüberwachung zum Schutz der Augen unter allen Betriebsbedingungen. 
×

So funktioniert Eye-Tracking (auf Basis von Fotosensoren)

Für einen extrem niedrigen Stromverbrauch, insbesondere bei Smart-Brillen, die den ganzen Tag über getragen werden, bieten Ansätze auf Basis von Fotodioden Vorteile. IR-LEDs senden kurze Impulse aus, und Fotodioden erfassen die Reflexionen von Hornhaut und Sklera. Optische Reflexionssensoren vereinen LED, Fotodiode, LED-Treiber und analoges Frontend mit digitaler Steuerung und Auslesung. 

  • TMD2636-Modul zur Näherungs- und optischen Reflexionserfassung. 

Anwendungsblockdiagramm 

Das folgende Anwendungsblockdiagramm veranschaulicht mögliche Hardwarearchitekturen für die Augen- und Gesichtsverfolgung in XR-Geräten. Kamerabasierte Systeme kombinieren Infrarotbeleuchtung (LEDs oder VCSELs) mit einem CMOS-Bildsensor mit Global-Shutter, um detaillierte Augen- und Gesichtsmerkmale zu erfassen. Fotosensorbasierte Systeme hingegen nutzen hochintegrierte optische Reflexionssensoren (Näherungssensoren), um eine Blickerkennung mit extrem geringem Stromverbrauch in kompakten, tragbaren Designs zu ermöglichen. 

Häufig gestellte Fragen

Was ist Eye-Tracking in VR/AR?

Erfassung von Blickrichtungsvektoren mithilfe von IR-Beleuchtung und Sensoren, um Benutzeroberflächen zu ermöglichen, den Rechenaufwand durch foveiertes Rendering zu reduzieren und neue Anwendungen im Bereich der Biosignale zu unterstützen. 

Warum Globalshutter-Sensoren für das Eye-Tracking?

Sie beseitigen Roll-Shutter-Artefakte, erfassen schnelle Augenbewegungen präzise und unterstützen ultrakurze Belichtungszeiten, die mit der IR-Impulsbeleuchtung synchronisiert sind. 

Kamera vs. fotosensorbasiert – worin besteht der Unterschied?

Die kamerabasierte Lösung bietet höchste Genauigkeit und den vollständigen Bildkontext bei höherem Stromverbrauch; die fotosensorbasierte Lösung minimiert Stromverbrauch und Größe und bietet eine für viele Brillenmodelle ausreichende Nachführleistung. 

Wie wird der Augenschutz gewährleistet?

Mehrkanal-Treiber mit Single-Fault-Toleranz-Überwachung begrenzen den IR-Ausgang auf die vorgeschriebenen Grenzwerte und gewährleisten so die Einhaltung der Vorschriften auch im Fehlerfall. 

Welche Komponenten sind geeignet?

MIRA-Globalshutter-Sensoren, SFH4060 Firefly®-IR-LEDs, AS1181 LED/VCSEL-Treiber und TMD2636 optischer Reflexionssensor. 

\n