VR/ARとスマートグラスのための目・顔・手のトラッキング

視線や顔の高度な追跡を実現する小型・低消費電力の部品

次世代の目・顔・手のトラッキングを支援 

アイトラッキングとフェイストラッキングは、仮想現実と拡張現実を使用したシステムやスマートグラスでの自然なインタラクションを可能にします。視線がユーザーインターフェイスとなり、フォトリアルアバターをサポートする一方で、中心窩レンダリングがコンピューティングとシステムの負荷を軽減します。フェイストラッキングは、社会や仕事の場でのプレゼンスに際して顔の表情を伝達します。高精度、高速の更新、最小限の消費電力、小型フォームファクタなどが重要な要件となります。

アイトラッキングの仕組み(カメラ式) 

カメラ式アイトラッキングは、赤外線(IR)照明(LEDまたはVCSEL)とCMOSグローバルシャッターイメージセンサーを組み合わせています。照明は目に見えない赤外線スペクトル域で動作し、目から反射した光は瞳孔/輝点の検出を通じて捕捉・処理されます。 グローバルシャッター式センサーは、ローリングシャッターによるアーティファクトを回避し、超短時間の露光時間を可能にすることで、動きのブレを最小限に抑えながら高精度を実現します。 

構成部品の例(カメラ式) 

  • 照明用IR LED(例:SFH4060 Firefly®)。   
  • AS1181マルチチャンネルLED/VCSELドライバ:グローバルシャッターセンサー向けの超短パルスを実現し、あらゆる動作条件下で目の安全を確保するためのシングルフォールトトレラントな安全監視機能を備えています。 
×

アイトラッキングのしくみ(フォトセンサベース)

超低消費電力、特に全日用スマートグラスには、フォトダイオードベースのアプローチが優位性を提供します。IR LEDが短パルスを放射し、フォトダイオードが角膜/強膜からの反射を検出します。光反射センサがLED、フォトダイオード、LEDドライバ、デジタル制御・読み出しが可能なアナログフロントエンドと統合されます。

  • TMD2636近接/光反射センシングモジュール。

アプリケーションブロック図

以下のアプリケーションブロック図は、XRデバイスにおける目と顔のトラッキング向けの潜在的なハードウェアアーキテクチャを示しています。カメラベースのシステムは、赤外線照明(LEDまたはVCSEL)をCMOSグローバルシャッターイメージセンサと組み合わせ、目と顔の特徴を詳細に取得します。対照的に、フォトセンサベースのシステムは高度に統合された光反射(近接)センサを使用して、コンパクトなウェアラブル設計における超低消費電力の視線検出を実現します。

FAQ

VR/ARにおけるアイトラッキングとは?

IR照明とセンサを使用して視線の方向を取得し、ユーザーインターフェイスを実現するとともに、中心窩レンダリングによりコンピューティングを低減し、新しい生体信号アプリケーションを支援します。 

アイトラッキングにグローバルシャッターセンサを使用する理由は?

ローリングシャッターのアーティファクトを排除し、速い目の動きを正確に捉え、IRパルス照明と同期した超短露光をサポートするためです。 

カメラベースとフォトセンサベースの違いは?

カメラベースは最大の精度と完全な画像コンテキストを提供しますが、より高電力です。フォトセンサベースは、多くのグラス設計に適したトラッキング性能で、消費電力とサイズを最小化します。 

目の安全をどのように確約していますか?

シングルフォールトトレラントなモニタリング機能を備えたマルチチャネルドライバが、IR出力を規制範囲内に制限し、障害が発生してもコンプライアンスを維持します。 

どのコンポーネントが適していますか?

MIRAグローバルシャッターセンサ、SFH4060 Firefly® IR LED、AS1181 LED/VCSELドライバ、TMD2636光反射センサです。 

\n