3Dセンシング
ams OSRAMのIPと技術的専門性は、AR/VRやオートフォーカスなどの多くの差別化されたモバイルアプリケーションの市場投入を加速させる3Dセンシングの進化を導いています。
ワールドフェーシングセンシングは仮想現実（VR）と拡張現実（AR）に不可欠
VRヘッドセットやARグラスは、どのように位置とユーザーの動きを把握しているのでしょうか。仮想オブジェクトをどこに、どのようにリアルなオクルージョンで配置することができるでしょうか。
ワールドフェーシングセンシングは、あらゆるVRおよびAR体験に不可欠です。ams OSRAMは、イメージセンサ、マイクロカメラ、IR LEDs、IR VCSELモジュール、イルミネータードライバ、統合型dToF測距センサの包括的なポートフォリオをワールドフェーシングセンシングに提供しています。
没入型の仮想現実（VR）体験は、ヘッドセットの移動に対する正確な6DoF（6 Degree of Freedom）のトラッキングが必要です。これにより、仮想シーンの適切な部分がレンダリングされ、ユーザーが頭部を動かす際に自然に表示されます。また、ユーザーの衝突を回避するため、境界を設定する必要もあります。
拡張現実（AR）体験は、仮想オブジェクトのリアルな配置とオクルージョンのために、さらに周囲環境の3Dマップが必要です。また、VRビデオパススルー（VPT）は、シーン全体を再レンダリングする必要があり、フリッカ、アンビエント照明、カラーセンシングからさらにメリットが得られます。
ハンドトラッキングは、ハンドコントローラーありまたはなしを問わず、重要なユーザーインターフェイスです。そしてこれは通常、同じワールドフェーシングトラッキングセンサを使用して達成されます。
3Dシーンの再構築
拡張現実体験には、周囲環境のリアルタイムの3D深度マップが必要です。これは、仮想オブジェクトを適正な場所に正確なオクルージョンで配置するため、そしてVRビデオパススルー（VPT）のためにユーザーの視点からリアルなシーンを再レンダリングするために必要です。3Dセンシングには、複数のアプローチをとることができます。
カメラベースの3Dセンシングシステムは、複数の位置から画像を撮影し、そのシーンで識別できる共通の特徴点に対して三角測量を行います。複数のカメラ（ステレオビジョン）と特徴点の投影（ストラクチャードライト）のさまざまな組み合わせが可能です。ams OSRAMは、次を提供しています。
- MIRAグローバルシャッターイメージセンサとウェハーレベル光学部品を組み合わせ、解像度0.16～2.2MPの超小型・低消費電力のIR強化カメラモジュールを作成することができます。
- OSLON BLACKとP1616赤外線LEDおよびBIDOS VCSEL投光イルミネータは、非常に小さなパッケージから、強力で効率的なIR投光イルミネーションを提供します。
- BELAGOおよびBELICE VCSELドットプロジェクタモジュールは、IRストラクチャードライト照明向けの完全統合型ソリューションを提供します。
- AS1170ドライバICは、カメラのシャッターと同期してLEDとVCSELイルミネータを駆動し、高度なプロダクションと安全機能を備えています。
タイムオブフライト（ToF）ベースの3Dセンサは、シーン内の点までの光路長を直接測定します。ams OSRAMは、次を提供しています。
- TMF882x統合型ダイレクトToF（dToF）モジュールは、最大8x8ゾーン、5m以上にわたり、超低消費電力でコン
- VCSELおよびVCSELモジュールは、統合型ToF（iToF）センサシステムを構築できます。
ビデオパススルーのためのカメラ強化機能
VRヘッドセットは、デバイスの高解像度ディスプレイ上に、実世界のライブ画像に仮想コンテンツを追加して再現することで、忠実度の高いAR体験を生み出します。しかし、このいわゆるビデオパススルー（VPT）機能は、外部RGBカメラからの画像を文字通り通過させることよりもはるかに複雑です。シーンを3Dでキャプチャし、ユーザーの目の実際の位置に合わせ、実際のコンテンツをリアルに追加して、再レンダリングする必要があります。
上述の方法を使用したシーンの3Dマッピングだけでなく、フォトリアリスティックなレンダリングには、忠実度の高いRGBカメラ画像も必要です。 ams OSRAMは、携帯電話向けカメラ強化センサの業界をリードするサプライヤーです。これらはイメージセンサや画像信号プロセッサ（ISP）と連携し、画質を最大限に高め、遅延を最小限にします。これらは、最高のビデオパススルーを形成するための条件でもあります。特に、ams OSRAMは次のためのセンサを提供しています。
- 周囲光レベルとフリッカ周波数、これには当社の環境光センサを使用します。これにより、カメラの露光時間とフレームレートを素早く設定し、変化する条件に合わせた最適な明るさで滑らかな映像を確実に撮影することが可能になります。
- シーンのトゥルーカラー、これには当社のカラーセンサとスペクトルセンサを使用します。多様な環境やシーンにわたるリアルなホワイトバランスの維持が可能になります。
- 距離、これには当社のdToFセンサモジュールを使用し、高速で正確なフォーカスを実現します。
手の追跡
手の動きを追跡することは、VRおよびAR体験に自然なユーザーインターフェイスを形成するために不可欠です。
通常、ポジションセンシングと3Dセンシング向けにすでに存在するものと同じ ワールドフェーシングカメラを使用して手の細かい動きを追跡します。パフォーマンス強化のために、高輝度IR投光イルミネーションを追加し、背景シーンに対して手の視認性を最大にすることもできます。ams OSRAMは、次を提供しています。
- MIRAグローバルシャッターイメージセンサとウェハーレベル光学部品を組み合わせ、解像度0.16～2.2MPの超小型・低消費電力のIR強化カメラモジュールを作成することができます。
- OSLON BLACKとP1616赤外線LEDおよびBIDOS VCSEL投光イルミネータは、非常に小さなパッケージから、強力で効率的なIR投光イルミネーションを提供します。
- AS1170ドライバICは、カメラのシャッターと同期してLEDとVCSELイルミネータを駆動し、高度なプロダクションと安全機能を備えています。
大きい意図的な手のジェスチャは、当社のコンパクトなTMF8828マルチゾーンdToFセンサモジュールを使用して、超低消費電力で検出することもできます。これにより、低消費電力のジェスチャベースのウェイクアップや、超軽量ARグラスでのシンプルなハンドトラッキングなどの機能を実現できます。
VRヘッドセット向け6DoFポジショントラッキング
正確で高速な6DoF（6自由度）のポジショントラッキングは、あらゆるVR/ARヘッドセットのための要な機能です。慣性センサだけでは反復可能な絶対位置の取得に不十分であるため、光学技術が通常使用されます。これには主に2つのアプローチがあります。
インサイドアウト方式のトラッキングは、デバイス上のカメラを使用して、周囲のシーンで識別された複数の固定特徴点を追跡します。これら特徴点の相対的な移動を複数のカメラ位置から追跡することで、画像処理を使用してデバイスの6DoFポジションを計算することができます。シーン内に追加のインフラストラクチャが不要なため、このアプローチは現在最も広範に使用されています。
アウトサイドイン方式のトラッキングは、デバイスを使用する部屋のあちこちに固定したセンサ（通常はカメラ）を配置します。追跡されるデバイス上には特定のマーカー（通常は赤外線LED）が配置されます。これらのマーカーの相対的な移動を異なるカメラ位置から追跡することで、正確な位置を三角測量で得ることができます。このアプローチは信頼性が高く、正確ですが、部屋のあちこちにハードウェアを配置する必要があるため、より専門的なシステムにのみ使用されます。
ams OSRAMは、あらゆるタイプのポジショントラッキングシステムに適したセンサおよびエミッタを提供しています。
- MIRAグローバルシャッターイメージセンサとウェハーレベル光学部品を組み合わせ、解像度0.16～2.2MPの超小型・低消費電力のIR強化カメラモジュールを作成することができます。
- Firefly IRチップLEDは、スモールフォームファクタで高効率のIR点光源を提供し、追跡対象オブジェクト上のマーカーとして使用することができます。
- BPW34SおよびSFH2704フォトダイオード
VRハンドコントローラーポジショントラッキング
VRハンドコントローラーもユーザーに相対した移動と位置の正確なトラッキングを必要とします。
ハンドコントローラーには通常、アウトサイドイン方式のトラッキングが使用されます。複数のIR LEDが組み込まれており、ヘッドセットに装備された既存のワールドフェーシングカメラを使用してそれらを追跡します。これは、ほとんどのユースケースで適切に機能する堅牢でシンプルなソリューションを提供します。 これらIR LED群の実装に、ams OSRAMのFirefly®チップLEDは高効率でコンパクトなソリューションを提供します。
インサイドアウト方式のトラッキングで代替する場合、各ハンドコントローラーに複数のカメラを組み込み、シーン内の特徴点に相対するそれらの絶対位置を追跡することで実装することができます。これは、ヘッドセットの視野に手がなくても機能するというメリットがある一方で、コントローラーがより複雑になります。こういった場面で、ams OSRAMのMIRAグローバルシャッターイメージセンサとウエハーレベルの光学マイクロカメラは、小型で電力効率に優れたソリューションを提供することができます。
VR衝突回避
実世界のオブジェクトとの衝突は、没入型VR体験の危険の1つです。これを回避するために、VRヘッドセットはユーザーが安全なプレイエリアからはみ出ると、ユーザーに警告を発します。
通常VRヘッドセットは、ユーザーによって定義された安全境界に基づいて、上述の6DoFポジショントラッキングシステムを使用して追跡を行い、この警告を実施します。
加えて、ams OSRAMのダイレクトタイムオブフライト（dToF）距離センサモジュールを使用して、付近のオブジェクトの存在と距離を検知することができます。ロボットシステムでの衝突回避にも導入されているdToFセンサは、リアルタイムの正確な測距にコンパクトで低消費電力のソリューションを提供します。