3D 감지
ams OSRAM의 IP 및 기술 전문성은 AR/VR 및 자동 초점과 같은 다양한 모바일 애플리케이션의 시장 출시 속도를 높이는 3D 감지의 진화를 선도하고 있습니다.
후면 센싱은 가상 현실(VR) 및 증강 현실(AR)에 중요합니다
VR 헤드셋과 AR 안경은 어떻게 우리의 위치를 파악하고 사용자가 어떻게 움직이는지 알 수 있을까요? 사실적인 오클루전(occlusion)으로 가상 객체를 어디에 어떻게 배치할 수 있을까요?
후면(World facing) 센싱은 모든 VR 및 AR 경험에 매우 중요합니다. ams OSRAM은 후면 센싱을 위한 이미지 센서, 마이크로 카메라, IR LED, IR VCSEL 모듈, 일루미네이터 드라이버, 통합 dToF 범위 센서의 포괄적인 포트폴리오를 제공합니다.
몰입형 가상 현실(VR) 경험을 구현하려면 헤드셋의 움직임에 대한 정확한 6 자유도(6DoF) 추적이 필요합니다. 이를 통해 사용자가 머리를 움직일 때 가상 장면의 적절한 부분이 자연스럽게 렌더링되고 표시될 수 있습니다. 또한, 사용자 충돌을 방지하기 위한 경계를 설정해야 합니다.
증강 현실(AR) 경험은 가상 객체를 사실적으로 배치하고 차단하기 위해 주변 환경에 대한 3D 맵도 필요합니다. VPT(VR Video Pass Through)도 전체 장면을 다시 렌더링해야 하며, 이를 통해 깜박임, 주변 조도 및 컬러 센싱의 이점을 더욱 누릴 수 있습니다.
손 추적은 핸드 컨트롤러의 유무와 상관 없이 주요한 사용자 인터페이스이며, 이는 일반적으로 동일한 후면 추적 센서를 사용하여 달성됩니다.
3D 장면 재구성
증강 현실 경험에는 주변 환경에 대한 실시간 3D 깊이 맵이 필요합니다. 이는 정확한 오클루전으로 가상 객체를 올바른 위치에 배치하고 VPT(VR Video Pass Through)를 위해 사용자의 관점에서 실제 장면을 다시 렌더링하기 위해 필요합니다. 3D 센싱에 대한 여러 접근 방식을 활용할 수 있습니다.
카메라 기반 3D 센싱 시스템은 여러 위치에서 이미지를 캡처하고 장면에서 식별될 수 있는 공통의 형상을 삼각 측량합니다. 여러 카메라(스테레오비전)와 형상 투영(구조화 조명)의 다양한 조합이 가능합니다. ams OSRAM은 다음을 제공합니다.
- MIRA 글로벌 셔터 이미지 센서와 웨이퍼 수준 광학 장치를 결합하여 0.16 – 2.2MP 해상도의 초소형 IR 강화 저전력 카메라 모듈을 생산할 수 있습니다.
- OSLON BLACK & P1616 적외선 LED와BIDOS VCSEL 투광 조명기는 초소형 패키지로 강력하고 효율적인 IR 투광 조명을 제공합니다.
- BELAGO 및 BELICE VCSEL 도트 프로젝터 모듈은 IR 구조화 조명을 위한 완전히 통합된 솔루션을 제공합니다.
- AS1170 드라이버 IC는 LED 및 VCSEL 일루미네이터를 카메라 셔터와 동기화하여 고급 생산 및 안전 기능을 제공합니다.
비행시간 거리측정(ToF) 기반 3D 센서는 장면 내 지점까지의 광학 경로 거리를 직접 측정합니다. ams OSRAM은 다음을 제공합니다.
- TMF882x 통합 dToF(direct ToF) 모듈은 초저전력과 최대 8x8 구역 및 5m 이상의 작은 범위를 제공합니다.
- VCSEL 및 VCSEL 모듈은 통합 ToF (iToF) 센서 시스템을 생성합니다.
VPT(video pass through)를 위한 카메라 성능 향상
VR 헤드셋은 가상 콘텐츠가 추가된 실제 세계의 라이브 이미지를 장치의 고해상도 디스플레이에 재현함으로써 높은 충실도의 AR 경험을 생성합니다. VPT(Video Pass Through)라고 하는 이 기능은 문자 그대로 외부 RGB 카메라의 이미지를 통과하는 것보다 훨씬 복잡합니다. 장면을 3D로 캡처하고 사용자 눈의 실제 위치와 일치하도록 다시 렌더링하고 실제 콘텐츠를 사실적으로 추가해야 합니다.
상기 방법을 사용한 장면의 3D 매핑 외에도 사실적인 렌더링에는 높은 충실도의 RGB 카메라 이미지가 필요합니다. ams OSRAM은 휴대폰용 카메라 성능 향상 센서를 제공하는 업계 선도적인 공급업체입니다. 이 센서는 이미지 센서 및 이미지 신호 프로세서(ISP)와 함께 작동하여 이미지 품질을 극대화하고 지연 시간을 최소화합니다. 이는 최적의 VPT를 생성하기 위한 요구 사항이기도 합니다. 구체적으로 우리는 다음과 같은 센서를 제공합니다.
- 우리의 조도 센서를 사용하여 주변 조도 및 깜박임 빈도를 감지함으로써 카메라 노출 시간 및 프레임 속도를 빠르게 설정하여 변화하는 조건에서 최적 밝기로 원활한 영상을 안정적으로 캡처할 수 있습니다.
- 우리의 컬러 및 분광 센서로 장면의 실제 컬러를 감지하여 다양한 환경 및 장면에서 사실적인 화이트 밸런스를 유지할 수 있습니다.
- 우리의 dToF 센서 모듈의 거리 감지를 통해 빠르고 정확한 포커싱이 가능합니다.
손 추적
손의 움직임을 추적하는 것은 VR 및 AR 경험을 위한 자연스러운 사용자 인터페이스를 만드는 데 매우 중요합니다.
미세한 손의 움직임은 위치 및 3D 센싱을 위해 이미 존재하는 기존의 후면 카메라를 사용하여 추적됩니다. 향상된 성능을 위해 고강도 IR 투광 일루미네이터를 추가하여 배경 장면보다 손의 가시성을 최대화할 수도 있습니다. ams OSRAM은 다음을 제공합니다.
- MIRA 글로벌 셔터 이미지 센서와 웨이퍼 수준 광학 장치를 결합하여 0.16 – 2.2MP 해상도의 초소형 IR 강화 저전력 카메라 모듈을 생산할 수 있습니다.
- OSLON BLACK & P1616 적외선 LED와 BIDOS VCSEL 투광 조명기는 초소형 패키지로 강력하고 효율적인 IR 투광 조명을 제공합니다.
- AS1170 드라이버 IC는 LED 및 VCSEL 일루미네이터를 카메라 셔터와 동기화하여 고급 생산 및 안전 기능을 제공합니다.
크고 의도적인 손 동작은 우리의 소형 TMF8828 멀티존 dToF 센서 모듈을 사용하여 매우 낮은 전력으로 감지할 수 있습니다. 이를 통해 저전력 제스처 기반 웨이크업, 또는 초경량 AR 안경에서 간단한 손 추적과 같은 기능을 구현할 수 있습니다.
VR 헤드셋을 위한 6DoF 위치 추적
정확하고 빠른 6 자유도 위치 추적은 모든 VR/AR 헤드셋에 중요한 기능입니다. 관성 센서만으로는 반복 가능한 절대 위치를 제공하기에 불충분하기 때문에 광학 기술이 일반적으로 사용됩니다. 여기에는 두 가지 주요 접근 방식이 있습니다.
인사이드-아웃 트래킹은 장치의 카메라를 사용하여 주변 장면에서 식별된 여러 고정 형상을 추적합니다. 형상의 상대적인 움직임을 추적함으로써 여러 카메라 위치에서 이미지 처리를 사용하여 기기의 6DoF 위치를 계산할 수 있습니다. 이 접근 방식은 현장에 추가적인 인프라가 필요하지 않기 때문에 현재 가장 널리 사용되고 있습니다.
아웃사이드-인 트래킹은 고정 센서(일반적으로 카메라)를 장치를 사용하는 실내 주변에 배치합니다. 특정 마커(일반적으로 적외선 LED)를 추적할 장치에 배치합니다. 다양한 카메라 위치에서 마커의 상대적 움직임을 추적함으로써 매우 정확한 위치가 삼각 측량될 수 있습니다. 이 접근 방식은 신뢰성과 정확성이 높지만 실내 주변에 하드웨어를 배치해야 한다는 요구 사항은 보다 전문적인 시스템에만 사용된다는 것을 의미합니다.
ams OSRAM은 모든 유형의 위치 추적 시스템을 위한 센서와 이미터를 제공합니다.
- MIRA 글로벌 셔터 이미지 센서와 웨이퍼 수준 광학 장치를 결합하여 0.16 – 2.2MP 해상도의 초소형 IR 강화 저전력 카메라 모듈을 생산할 수 있습니다.
- Firefly IR 칩 LED는 소형 폼팩터에 고효율 IR 포인트 소스를 제공하여 추적 대상에 마커로 사용하기에 적합합니다.
- BPW34S 및 SFH2704 포토다이오드
VR 핸드 컨트롤러 위치 추적
VR 핸드 컨트롤러는 사용자에 대한 움직임과 위치를 정확하게 추적해야 합니다.
핸드 컨트롤러에는 일반적으로 아웃사이드-인 트래킹이 사용됩니다. IR LED 집합체가 내장되고 헤드셋의 기존 후면 카메라로 이것을 추적합니다. 이 방식은 대부분의 사용 사례에서 잘 작동하는 강력하고 간단한 솔루션을 제공합니다. IR LED 집합체를 구현하기 위해 ams OSRAM Firefly® chip LED는 고효율의 소형 솔루션을 제공합니다.
인사이드-아웃 트래킹은 대안적으로 여러 개의 카메라를 각 핸드 컨트롤러에 내장하고 장면의 형상에 대한 절대 위치를 추적함으로써 구현될 수 있습니다. 이것은 손이 헤드셋의 시야에 있지 않은 경우에도 작동한다는 장점이 있지만 컨트롤러를 더욱 복잡하게 만듭니다. ams OSRAM MIRA 글로벌 셔터 이미지 센서와 웨이퍼 수준 광학 마이크로 카메라는 여기에 작고 전력 효율적인 솔루션을 제공합니다.
VR 충돌 회피
실제 세계 물체와의 충돌은 몰입형 VR 경험의 위험 요소 중 하나입니다. 이를 방지하기 위해 VR 헤드셋은 사용자가 안전한 플레이 구역을 벗어나면 경고합니다.
일반적으로, VR 헤드셋은 사용자가 정의한 안전 경계를 기반으로, 위에 설명한 6DoF 위치 추적시스템을 사용하여 이 경고를 실행합니다.
그 밖에도, ams OSRAM 직접 비행시간 거리측정(dToF) 거리 센서 모듈을 사용하여 주변 물체의 존재 및 거리를 감지할 수 있습니다. 또한 로봇 시스템의 충돌 회피에 적용하기 위해 dToF 센서는 실시간으로 거리를 정확하게 측정하는 소형의 저전력 솔루션을 제공합니다.