VR/ARとスマートグラスのための目・顔・手のトラッキング

視線や顔の高度な追跡を実現する小型・低消費電力の部品

次世代の目・顔・手のトラッキングを支援 

アイトラッキングとフェイストラッキングは、仮想現実と拡張現実を使用したシステムやスマートグラスでの自然なインタラクションを可能にします。視線がユーザーインターフェイスとなり、フォトリアルアバターをサポートする一方で、中心窩レンダリングがコンピューティングとシステムの負荷を軽減します。フェイストラッキングは、社会や仕事の場でのプレゼンスに際して顔の表情を伝達します。高精度、高速の更新、最小限の消費電力、小型フォームファクタなどが重要な要件となります。

アイトラッキングのしくみ(カメラベース)

カメラベースのアイトラッキングは、赤外線(IR)照明(LEDまたはVCSEL)とCMOSグローバルシャッターイメージセンサを組み合わせたものです。照明は不可視の赤外線スペクトルで運用され、目からの反射光が瞳孔/グリント検出によって取得・処理されます。グローバルシャッターセンサは、ローリングシャッターアーティファクトを回避し、超短露光時間のサポートにより、高精度・低モーションブラーを実現します。

コンポーネント例(カメラベース) 

  • リフロー実装可能な IR強化小型カメラモジュールに統合されたMIRAグローバルシャッターイメージセンサ。
     
  • 照明用IR LED、例:SFH4060 Firefly®。
     
  • グローバルシャッターセンサのための超短パルスとあらゆる運用条件下における目の安全を守るシングルフォールトトレラントな安全性モニタリングを可能にするAS1181マルチチャネルLED/VCSELドライバ。

アイトラッキングのしくみ(フォトセンサベース)

超低消費電力、特に全日用スマートグラスには、フォトダイオードベースのアプローチが優位性を提供します。IR LEDが短パルスを放射し、フォトダイオードが角膜/強膜からの反射を検出します。光反射センサがLED、フォトダイオード、LEDドライバ、デジタル制御・読み出しが可能なアナログフロントエンドと統合されます。

  • TMD2636近接/光反射センシングモジュール。

アーキテクチャの概要

  • カメラベース: 最高レベルの精度と完全な画像情報、より高電力、コンピューティング。

  • フォトセンサベース: 非常に低消費電力、小型、優れたコスト効率、グラスのユースケースの多くに十分な精度。

フェイストラッキングとアバター再構築

フェイストラッキングは、顔の形状と表情を再構築して、フフォトリアルアバターを実現します。VR/ARでは、高フレームレート、低遅延、堅牢な照明が、ソーシャルインタラクション、テレプレゼンス、コラボレーションにおける一貫した表情伝達の鍵となります。

メリットとユースケース

  • インタラクション: 正確な選択とナビゲーションを可能にする視線UI。

  • 効率: 中心窩レンダリングが処理とシステムの負荷を低減。

  • 安全性と快適性: 不可視のIR照明、アイセーフティドライバが障害条件下でも制限違反を防止。

  • 拡張機能: 潜在的なバイタルサインとしての目の動き。

  • デザイン: コンパクトなヘッドセットやグラス向けの小型モジュール。

×

安全性とコンプライアンス

目に近接したIR光源は、定められたアイセイフティ制限内で動作する必要があります。
シングルフォールトトレラントなモニタリング機能を備えたマルチチャネルドライバがハードウェアまたはソフトウェアに障害が発生してもコンプライアンスを確約します。

アプリケーションブロック図

以下のアプリケーションブロック図は、XRデバイスにおける目と顔のトラッキング向けの潜在的なハードウェアアーキテクチャを示しています。カメラベースのシステムは、赤外線照明(LEDまたはVCSEL)をCMOSグローバルシャッターイメージセンサと組み合わせ、目と顔の特徴を詳細に取得します。対照的に、フォトセンサベースのシステムは高度に統合された光反射(近接)センサを使用して、コンパクトなウェアラブル設計における超低消費電力の視線検出を実現します。

FAQ

VR/ARにおけるアイトラッキングとは?

IR照明とセンサを使用して視線の方向を取得し、ユーザーインターフェイスを実現するとともに、中心窩レンダリングによりコンピューティングを低減し、新しい生体信号アプリケーションを支援します。 

アイトラッキングにグローバルシャッターセンサを使用する理由は?

ローリングシャッターのアーティファクトを排除し、速い目の動きを正確に捉え、IRパルス照明と同期した超短露光をサポートするためです。 

カメラベースとフォトセンサベースの違いは?

カメラベースは最大の精度と完全な画像コンテキストを提供しますが、より高電力です。フォトセンサベースは、多くのグラス設計に適したトラッキング性能で、消費電力とサイズを最小化します。 

目の安全をどのように確約していますか?

シングルフォールトトレラントなモニタリング機能を備えたマルチチャネルドライバが、IR出力を規制範囲内に制限し、障害が発生してもコンプライアンスを維持します。 

どのコンポーネントが適していますか?

MIRAグローバルシャッターセンサ、SFH4060 Firefly® IR LED、AS1181 LED/VCSELドライバ、TMD2636光反射センサです。 

\n