VR/AR 및 스마트 안경을 위한 눈, 얼굴, 손 추적 기능

고급 시선 및 얼굴 추적 기능을 지원하는 컴팩트한 저전력 구성 요소

차세대 눈, 얼굴, 손 추적 기능 구현

눈 및 얼굴 추적 기능은 가상 현실 및 증강 현실 시스템은 물론 스마트 안경에서도 자연스러운 상호 작용을 가능하게 합니다. 시선이 사용자 인터페이스가 되어 사실적인 아바타를 구현하고, 포비티드 렌더링을 통해 연산량과 시스템 전력 소모를 줄입니다. 얼굴 추적은 사회적 및 직업적 원거리 의사소통 환경에서 얼굴 표정을 전달합니다. 중요한 요구 사항으로 높은 정확도, 빠른 업데이트 속도, 최소 전력 소모, 소형 크기가 있습니다.

시선 추적의 작동 방식(카메라 기반)

카메라 기반 시선 추적은적외선(IR) 조명 (LED 또는 VCSEL)과 CMOS 글로벌 셔터 이미지 센서의 결합을 통해 구현됩니다. 조명은 눈에 보이지 않는 IR 스펙트럼에서 작동하고, 눈에서 반사된 빛이 동공/반사 감지를 통해 포착되고 처리됩니다. 글로벌 셔터 센서는 롤링셔터 아티팩트를 방지하고 초단시간 노출을 지원하여 움직임으로 인해 흐릿해지는 현상을 최소화하여 높은 정밀도를 제공합니다.

구성 요소의 예(카메라 기반) 

  • 리플로우 방식의 IR 강화 미니어처 카메라 모듈에 통합된 MIRA 글로벌 셔터 이미지 센서
     
  • 조명용 IR LED(예: SFH4060 Firefly®).
     
  • AS1181 멀티채널 LED/VCSEL 드라이버, 글로벌 셔터 센서를 위한 초단파 펄스와 모든 작동 조건에서 눈 안전을 위한 단일 내결함성 안전 모니터링 지원.

시선 추적의 작동 방식(광센서 기반)

특히 하루 종일 착용하는 스마트 안경의 경우, 초저전력 소모를 위해 포토다이오드 기반 방식이 유리합니다 IR LED는 짧은 펄스를 방출하고, 포토다이오드는 각막/공막에서 반사되는 빛을 감지합니다. 광 반사 센서는 LED, 포토다이오드, LED 드라이버, 디지털 제어 및 판독 기능을 갖춘 아날로그 프런트 엔드를 통합합니다.

  • TMD2636 근접/광 반사 센싱 모듈.

아키텍처 개요

  • 카메라 기반: 최고의 정확도 및 전체 이미지 정보 제공, 더 높은 전력 소모 및 연산량. 

  • 광센서 기반: 초저전력 소모, 컴팩트한 크기, 비용 효율성, 다양한 안경 디자인에 충분한 정확도 제공.

얼굴 추적 및 아바타 재구성

얼굴 추적은 얼굴의 기하학적 구조와 표정을 재구성하여 사실적인 아바타를 구현합니다. VR/AR에서 높은 프레임 속도, 낮은 지연 시간, 강력한 조명은 사회적 상호 작용, 텔레프레즌스, 협업을 위해 얼굴 표정을 안정적으로 전달하는 데 중요한 요소입니다. 

이점 및 사용 사례 

  • 상호 작용: 정확한 선택과 탐색을 위한 시선 UI.

  • 효율성: 포비티드 렌더링으로 처리량 및 시스템 전력 절감.

  • 안전성 & 편의성: 눈에 보이지 않는 IR 조명, 눈 안전 드라이버가 결함 상태에서도 제한 위반 방지.

  • 확장된 기능: 눈 움직임을 잠재적 생체 신호로 활용.

  • 디자인: 컴팩트한 헤드셋과 안경을 위한 소형화된 모듈.

×

안전성 & 규정 준수

눈 가까이에서 사용하는 IR 광원은 지정된 눈 안전 제한 범위 내에서 작동해야 합니다.
단일 내결함성 안전 모니터링 기능을 갖춘 멀티채널 드라이버는 하드웨어 또는 소프트웨어 오류가 발생한 경우에도 규정 준수를 보장합니다.

애플리케이션 블록 다이어그램

다음 애플리케이션 블록 다이어그램은 XR 장치에서 눈 및 얼굴 추적을 위한 잠재적인 하드웨어 아키텍처를 보여줍니다. 카메라 기반 시스템은 적외선 조명(LED 또는 VCSEL)과 CMOS 글로벌 셔터 이미지 센서를 결합하여 눈과 얼굴의 세부적인 특징을 포착합니다. 반면, 광센서 기반 시스템은 고도로 통합된 광 반사(근접) 센서를 사용하여 컴팩트한 웨어러블 디자인에 초저전력 시선 감지를 구현합니다. 

FAQ

VR/AR에서 시선 추적이란 무엇인가요?

IR 조명과 센서를 사용하여 시선 벡터를 캡처함으로써 사용자 인터페이스를 구현하고, 포비티드 렌더링을 통해 연산량을 줄이며, 새로운 생체 신호 애플리케이션을 지원합니다. 

시선 추적에 글로벌 셔터 센서를 사용하는 이유는 무엇인가요?

롤링 셔터 아티팩트를 제거하고, 빠른 눈 움직임을 정확하게 포착하며, IR 펄스 조명과 동기화된 초단시간 노출을 지원합니다. 

카메라 기반 방식과 광센서 기반 방식의 차이점은 무엇인가요?

카메라 기반 방식은 높은 전력 소비로 최대의 정확도와 전체 이미지 컨텍스트를 제공합니다. 광센서 기반 방식은 다양한 안경 디자인에 적합한 추적 성능을 제공하면서 전력 소모와 크기를 최소화합니다. 

눈 안전은 어떻게 보장되나요?

단일 내결함성 모니터링 기능을 갖춘 멀티채널 드라이버가 IR 출력을 규제 기준치 이내로 제한하여 오류 발생 시에도 규정 준수를 보장합니다. 

어떤 구성 요소가 적합한가요?

MIRA 글로벌 셔터 센서, SFH4060 Firefly® IR LED, AS1181 LED/VCSEL 드라이버, TMD2636 광학 반사 센서. 

\n