3D-Erfassung
6DoF-Positionserfassung, Grenzerkennung, 3D-Szenenrekonstruktion, Video-Pass-Through, Handsteuerung und Handverfolgung – ermöglicht durch Mikrokameras, IR-Strahler und Sensoren von ams OSRAM
Die Erkennung der Umgebung ist für Virtual Reality (VR) und Augmented Reality (AR) von entscheidender Bedeutung.
Wie erkennen VR-Headsets und AR-Brillen ihre Position und die Bewegungen des Nutzers? Wo und wie lassen sich virtuelle Objekte mit realistischer Okklusion platzieren?
Die Erfassung der realen Umgebung ist für alle VR- und AR-Erlebnisse von entscheidender Bedeutung. ams OSRAM bietet ein umfassendes Portfolio an Bildsensoren , Mikrokameras, IR-LEDs , IR-VCSEL-Modulen , Beleuchtungs-Treibern und integrierten dToF-Entfernungssensoren für die Umgebungserfassung.
Immersive Virtual-Reality-Erlebnisse (VR) erfordern eine präzise 6-Freiheitsgrade-Verfolgung (6DoF) der Bewegungen des Headsets. Dadurch können die richtigen Teile der virtuellen Szene gerendert und dem Nutzer bei Kopfbewegungen natürlich dargestellt werden. Zudem müssen Grenzen festgelegt werden, um Kollisionen des Nutzers zu vermeiden.
Augmented-Reality-Erlebnisse (AR) erfordern darüber hinaus eine 3D-Karte der Umgebung, um virtuelle Objekte realistisch zu platzieren und zu verdecken. VR-Video-Pass-Through (VPT) muss zudem die gesamte Szene neu rendern und profitiert dabei zusätzlich von der Erfassung von Flimmern, Umgebungslicht und Farben.
Das Hand-Tracking, mit oder ohne Hand-Controller, ist eine zentrale Benutzeroberfläche; dies wird in der Regel mithilfe derselben „World Facing“-Tracking-Sensoren erreicht.
3D-Szenenrekonstruktion
Augmented-Reality-Erlebnisse erfordern eine Echtzeit-3D-Tiefenkarte der Umgebung. Diese wird benötigt, um virtuelle Objekte an den richtigen Stellen mit korrekter Okklusion zu platzieren und die reale Szene aus der Perspektive des Nutzers für VR Video Pass Through (VPT) neu zu rendern. Hierfür können verschiedene Ansätze zur 3D-Erfassung eingesetzt werden.
Kamerabasierte 3D-Erfassungssysteme nehmen Bilder aus mehreren Positionen auf und triangulieren diese anhand gemeinsamer Merkmale, die in der Szene identifiziert werden können. Verschiedene Kombinationen aus mehreren Kameras (Stereosicht) und der Projektion von Merkmalen (strukturiertes Licht) sind möglich. ams OSRAM bietet:
- MIRA-Global-Shutter-Bildsensoren und Wafer-Level-Optik, kombiniert zu ultrakompakten, IR-optimierten, stromsparenden Kameramodulen mit Auflösungen von 0,16 bis 2,2 MP.
- OSLON BLACK- und P1616-Infrarot-LEDs sowie BIDOS-VCSEL-Flutlichtstrahler bieten eine leistungsstarke und effiziente IR-Flutlichtbeleuchtung in äußerst kompakten Gehäusen.
- BELAGO- und BELICE-VCSEL-Punktprojektormodule bieten eine vollständig integrierte Lösung für die IR-Strukturlichtbeleuchtung.
- Der Treiber-IC AS1170 steuert LED- und VCSEL-Beleuchtungen synchron mit dem Kameraverschluss und verfügt über fortschrittliche Produktions- und Sicherheitsfunktionen.
3D-Sensoren auf Time-of-Flight-Basis (ToF) messen direkt die optische Weglänge zu Punkten in der Szene. ams OSRAM bietet:
- Integrierte TMF882x-dToF-Module (Direct ToF) bieten extrem geringen Stromverbrauch und kompakte Entfernungsmessung mit bis zu 8×8 Zonen und über 5 m.
- VCSELs und VCSEL-Module zur Realisierung integrierter ToF-Sensorsysteme (iToF).
Kameraoptimierung für Video-Pass-Through
VR-Headsets erzeugen hochrealistische AR-Erlebnisse, indem sie Live-Bilder der realen Welt – ergänzt um virtuelle Inhalte – auf den hochauflösenden Displays des Geräts wiedergeben. Diese sogenannte „Video Pass Through“ (VPT)-Funktion ist jedoch wesentlich komplexer als die bloße Weiterleitung von Bildern aus den externen RGB-Kameras. Die Szene muss in 3D erfasst und neu gerendert werden, um sie an die tatsächlichen Positionen der Augen des Nutzers anzupassen und die virtuellen Inhalte realistisch einzublenden.
Über die 3D-Kartierung der Szene mit den oben genannten Methoden hinaus erfordert ein fotorealistisches Rendering zudem hochauflösende RGB-Kamerabilder. ams OSRAM ist ein branchenführender Anbieter von Sensoren zur Kameraoptimierung für Mobiltelefone. Diese arbeiten mit dem Bildsensor und dem Bildsignalprozessor (ISP) zusammen, um die Bildqualität zu maximieren und die Latenz zu minimieren – Anforderungen, die auch für die Erstellung des bestmöglichen Video-Pass-Through gelten. Konkret bieten wir Sensoren für folgende Bereiche an:
- Umgebungslichtstärke und Flimmerfrequenzen mithilfe unserer Umgebungslichtsensoren. Diese ermöglichen eine schnelle Einstellung der Belichtungszeit und Bildfrequenz der Kamera, um unter wechselnden Bedingungen zuverlässig flüssige Videos mit optimaler Helligkeit aufzunehmen.
- Echte Farben der Szene mithilfe unserer Farb- und Spektralsensoren, wodurch ein realistischer Weißabgleich in unterschiedlichen Umgebungen und Szenen gewährleistet wird.
- Entfernung, mithilfe unserer dToF-Sensormodule, die eine schnelle und präzise Fokussierung ermöglichen.
Handverfolgung
Die Erfassung von Handbewegungen ist entscheidend für die Schaffung einer natürlichen Benutzeroberfläche für VR- und AR-Erlebnisse.
Feinmotorische Handbewegungen werden mithilfe von nach außen gerichteten Kameras erfasst, in der Regel denselben, die bereits für die Positions- und 3D-Erfassung eingesetzt werden. Zur Leistungssteigerung kann zusätzlich eine hochintensive IR-Flutbeleuchtung eingesetzt werden, um die Sichtbarkeit der Hände gegenüber dem Hintergrund zu maximieren. ams OSRAM bietet:
- MIRA-Bildsensoren mit Global-Shutter und Wafer-Level-Optik, die kombiniert ultrakompakte, IR-optimierte und stromsparende Kameramodule mit Auflösungen von 0,16 bis 2,2 MP ergeben.
- OSLON BLACK- und P1616-Infrarot-LEDs sowie BIDOS-VCSEL-Flutlichtstrahler bieten leistungsstarke und effiziente IR-Flutlichtbeleuchtung in äußerst kompakten Gehäusen.
- Der Treiber-IC AS1170 steuert LED- und VCSEL-Beleuchtungen synchron mit dem Kameraverschluss und verfügt über fortschrittliche Produktions- und Sicherheitsfunktionen.
Große und bewusste Handgesten lassen sich zudem bei sehr geringem Stromverbrauch mithilfe unseres kompakten TMF8828-Multizonen-dToF-Sensormoduls erkennen. Dies ermöglicht Funktionen wie ein gestenbasiertes Aufwachen bei geringem Stromverbrauch oder eine einfache Handverfolgung in ultraleichten AR-Brillen.
6DoF-Positionsverfolgung für VR-Headsets
Eine genaue und schnelle Positionsverfolgung mit sechs Freiheitsgraden ist eine entscheidende Funktion für alle VR-/AR-Headsets. Trägheitssensoren allein reichen nicht aus, um eine wiederholbare absolute Position zu ermitteln, weshalb in der Regel optische Verfahren zum Einsatz kommen. Es gibt zwei wesentliche Ansätze.
Beim „Inside-Out“-Tracking werden Kameras am Gerät eingesetzt, um mehrere feste Merkmale in der Umgebung zu erfassen. Durch die Verfolgung der relativen Bewegung dieser Merkmale aus mehreren Kameraperspektiven lässt sich die 6DoF-Position des Geräts mittels Bildverarbeitung berechnen. Da keine zusätzliche Infrastruktur in der Umgebung erforderlich ist, ist dieser Ansatz mittlerweile am weitesten verbreitet.
Beim „Outside-In“-Tracking werden feste Sensoren, in der Regel Kameras, im Raum platziert, in dem das Gerät bzw. die Geräte verwendet werden. Auf den zu verfolgenden Geräten werden spezifische Marker angebracht, typischerweise Infrarot-LEDs. Durch die Verfolgung der relativen Bewegung der Marker aus verschiedenen Kamerapositionen lässt sich die Position mit hoher Genauigkeit durch Triangulation bestimmen. Dieser Ansatz bietet zwar hohe Zuverlässigkeit und Genauigkeit, doch da Hardware im Raum platziert werden muss, wird er nur für spezialisiertere Systeme eingesetzt.
ams OSRAM bietet Sensoren und Sender für alle Arten von Positionsverfolgungssystemen an:
- MIRA-Global-Shutter-Bildsensoren und Wafer-Level-Optiken lassen sich kombinieren, um ultrakleine, IR-optimierte Kameramodule mit geringem Stromverbrauch und Auflösungen von 0,16 bis 2,2 MP zu schaffen.
- Firefly-IR-Chip-LEDs bieten eine hocheffiziente IR-Punktlichtquelle in kompakter Bauform und eignen sich ideal als Marker auf zu verfolgenden Objekten.
- BPW34S- und SFH2704-Fotodioden
Positionserfassung des VR-Handcontrollers
VR-Handcontroller erfordern zudem eine präzise Erfassung ihrer Bewegung und Position relativ zum Nutzer. Für Handcontroller wird in der Regel das „Outside-in“-Tracking verwendet: Dabei ist eine Anordnung von IR-LEDs eingebettet, die mithilfe der vorhandenen, nach außen gerichteten Kameras am Headset erfasst werden. Dies bietet eine robuste und einfache Lösung, die für die meisten Anwendungsfälle gut geeignet ist. Zur Umsetzung der IR-LED-Konstellation bieten die Firefly®-Chip-LEDs von ams OSRAM eine Lösung mit hoher Lichtausbeute und kompakter Bauweise.
Alternativ lässt sich das „Inside-Out“-Tracking realisieren, indem mehrere Kameras in jeden Handcontroller integriert werden und deren absolute Position relativ zu Merkmalen in der Szene verfolgt wird. Dies hat den Vorteil, dass es auch dann funktioniert, wenn sich die Hände nicht im Sichtfeld des Headsets befinden, macht die Controller jedoch komplexer. ams OSRAM MIRA-Bildsensoren mit Global-Shutter und optische Mikrokameras auf Wafer-Ebene bieten hier eine kleine und energieeffiziente Lösung.
VR-Kollisionsvermeidung
Kollisionen mit Objekten in der realen Welt gehören zu den Gefahren immersiver VR-Erlebnisse. Um dies zu vermeiden, warnen VR-Headsets den Nutzer, sobald er sich außerhalb eines sicheren Spielbereichs bewegt.
In der Regel setzen VR-Headsets diese Warnung auf der Grundlage einer vom Nutzer definierten Sicherheitsgrenze um, die mithilfe der oben beschriebenen 6DoF-Positionserfassungssysteme verfolgt wird.
Darüber hinaus können dToF-Abstandssensormodule (Direct Time of Flight) von ams OSRAM eingesetzt werden, um die Anwesenheit und Entfernung von Objekten in der Nähe zu erfassen. dToF-Sensoren, die auch in Robotersystemen zur Kollisionsvermeidung zum Einsatz kommen, bieten eine kompakte und stromsparende Lösung für die präzise Entfernungsmessung in Echtzeit.