시선 추적 기술은 오랫동안 XR 헤드셋의 핵심 상호 작용 방법이었지만 헤드셋이 조금만 움직이면 성능이 저하되는 경우가 많습니다. 한 번만 교정하고 평생 동안 교정할 수 있는 방법이 있습니까?
해외 유명 XR 리뷰어이자 XR 웹사이트 The Ghost Howls 의 창립자인 Skarredghost는 상하이에서 열린 VR/AR 산업 박람회에서 스타트업 Immersix를 만났습니다. Immersix는 시선 추적에 대해 근본적으로 다른 접근 방식을 취하고 있습니다. 즉, 동공을 추적하는 대신 망막을 추적합니다.
다음 텍스트는 가독성을 위해 약간 편집되었습니다.
틀 깨기: 다른 사람들은 동공을 목표로 삼는 반면, 그것은 망막을 목표로 합니다.
현재 시중에 나와 있는 거의 모든 안구 추적 솔루션이 동공을 추적하는 반면, Immersix는 완전히 다른 경로, 즉 사용자의 망막을 추적하는 방법을 선택했습니다.
회사에 따르면 망막 추적은 기존 방법에 비해 몇 가지 주요 이점을 제공합니다.
망막은 개인마다 고유하므로 신원 인증에 적합하고 위조가 매우 어렵습니다.
망막은 시간이 지나도 거의 변하지 않으므로 안구 추적 보정은 한 번만 수행하면 되며 그 이후에도 유효하게 유지됩니다.
망막은 눈의 '실측 진실'을 나타냅니다. 사용자 머리에서 헤드셋이 어떻게 이동하는지에 관계없이 초기 보정은 유효하게 유지됩니다. 즉, 장치를 제거했다가 다시 장착한 후에도 재보정이 필요하지 않습니다.
추적 정밀도는 매우 높을 수 있습니다.
모듈은 매우 작게 만들 수 있고(콧대 근처에 두 개의 작은 장치만 필요) 초저전력 소모(10mW 미만)로 작동하며 매우 빠른 속도(최대 120Hz)를 달성할 수 있습니다.
이는 현재 MR 헤드셋의 시선 추적과 관련된 거의 모든 문제점(예: 헤드셋을 착용하고 몇 번 벗은 후 성능이 저하되어 지루한 보정 프로세스를 반복해야 함)을 효과적으로 해결합니다. Immersix의 솔루션을 사용하면 이러한 번거로움이 이론적으로 제거됩니다.
어떻게 작동하나요?
접근 방식은 매우 독창적입니다.
각 시선 추적 모듈은 단 하나의 카메라와 눈을 조명하는 데 사용되는 하나의 적외선 LED로 구성됩니다. 특히 단일 LED로 충분하므로 LED 링이 필요한 기존 설계보다 모듈을 훨씬 더 컴팩트하게 만들 수 있습니다.
보정 단계에서 사용자는 특정 눈 움직임을 수행합니다. 각 카메라 모듈은 눈을 관찰하지만 바깥쪽으로 초점을 맞추는 대신 '내부'를 보려고 시도합니다. 이를 통해 카메라는 시간이 지남에 따라 망막이 어떻게 변하는지에 대한 데이터를 캡처할 수 있습니다.
교정 과정의 설계 개념은 눈을 다양한 방향으로 움직여 전체 망막을 카메라에 단계별로 노출시키는 것입니다. 그런 다음 소프트웨어는 완전한 망막 이미지를 재구성하고 고유한 '지문'을 추출합니다. 실제로 이 보정 프로세스는 사용자의 망막에 대한 포괄적인 특징 맵을 생성합니다. 망막은 시간이 지나도(적어도 노년까지) 안정적으로 유지되므로 이 지도는 수년 동안 사용할 수 있습니다.
교정 후 시스템은 어떻게 눈을 적극적으로 추적합니까? 이 단계에서 각 카메라는 해당 눈, 특히 눈의 현재 방향에 따라 보이는 망막 영역을 계속 모니터링합니다. 이 작고 눈에 보이는 망막 영역을 보정 중에 생성된 전체 망막 지도와 일치시키는 특수 알고리즘을 사용함으로써 시스템은 눈의 방향을 정확하게 결정할 수 있습니다.
Immersix에 따르면 이 추적은 매우 정확합니다(하위 정확도 주장). 또한 카메라는 안경을 기준으로 한 동공의 위치가 아니라 망막을 기준으로 한 안구의 절대 회전을 추적하기 때문에 추적이 카메라 움직임에 대해 매우 강력합니다. 결과적으로 안경을 마음대로 착용하거나 벗을 수 있으며, 위치와 방향이 매번 조금씩 달라지더라도 재보정 없이 시선 추적이 계속 작동합니다.
실제 경험: 정말 효과가 있나요?
지금쯤이면 이 제품이 실제로 과대광고에 부응하는지 궁금할 것입니다.
회사 담당자가 시스템을 시험해 보기 위해 나를 무대 뒤로 데려갔습니다. 저는 아무것도 녹음할 수 없었기 때문에 제 경험을 전달하는 데 도움이 되도록 공식 동영상과 이미지를 사용하고 있습니다.
나는 Immersix 기술이 적용된 안경테 몇 쌍을 받았습니다. 이것은 스마트 안경이나 AR 안경이 아니라 추적 기술을 테스트하기 위해 설계된 프레임일 뿐입니다. 회로가 선명하게 보여서 완제품이 아닌 프로토타입을 테스트하고 있었습니다. 그것은 분명히 개발 키트를 사용한 기술 시연이었습니다.
특수 안경을 착용한 후 노트북에 연결하여 시선 추적 보정 루틴을 시작했습니다. 노트북 화면에서 중앙에 작은 빨간색 직사각형이 있는 큰 마커(예: ArUco 마커)를 볼 수 있었습니다. 이 마커는 분명히 프로토타입 안경이 화면 위치를 추적하는 데 도움을 주기 위한 것이었습니다. AR이나 VR 기능이 부족하고 프레임만으로 구성되어 기기 자체에서 보정을 수행할 수 없었기 때문에 노트북을 통해 보정을 수행해야 했고 안경이 화면을 찾아야 했습니다. 소프트웨어가 안경에 직접 내장되어 있다면 이러한 마커가 필요하지 않을 것이라고 생각합니다.
요컨대 내 눈에 작은 커서가 연결되어 있어 시선을 움직여 커서를 움직일 수 있게 된 것이다. 내 임무는 화면 전체에 걸쳐 이 커서를 쓸어 작은 직사각형을 완전히 지우는 것이었습니다. 이는 MS Paint의 작은 반경 지우개 도구를 사용하여 직사각형을 지우는 것과 비슷했습니다. 완전히 지우려면 눈을 앞뒤로 반복해서 움직여야 했습니다. 나는 진행함에 따라 눈으로 제어되는 커서가 '지연'되는 것처럼 보였고 직사각형을 지우기 위해 눈을 좌우로 더 힘차게 움직여야 한다는 것을 알았습니다. 이것은 카메라가 내 망막 시야의 전체 범위를 포착할 수 있도록 시선을 주변쪽으로 이동하도록 장려하기 위한 의도적인 것일 수 있습니다.
교정에는 몇 분이 걸렸습니다. 예상했던 것보다 약간 길긴 했지만 따라가기는 쉬웠고, 마지막 몇 초 동안 포인터가 움직이는 것을 지켜보니 눈이 약간 피로해졌습니다.
그 후, 시선 추적 세션이 시작될 수 있습니다. 시선 추적이 작동하고 있음을 보여주기 위해 직원이 다른 애플리케이션을 시작했습니다. 노트북 화면에서 다양한 ArUco 마커 세트와 빨간색 원 격자를 보았습니다. 특정 원을 보면 파란색으로 변할 수 있었고 이를 통해 시스템이 올바르게 작동하고 있음을 확인할 수 있었습니다. 나는 그것이 아주 잘 작동했다고 말하고 싶습니다. 정확성이 인상적이었고, 내가 본 요소의 색상이 실시간으로 바뀌었다. 그것은 꽤 멋졌다.
물론 하위 수준 정확도나 120Hz 프레임 속도에 관한 주장을 확인할 수는 없습니다. 그러나 적어도 Apple Vision Pro와 유사한 맥락에서는 시스템이 광고된 대로 정확하게 작동한다는 것을 확인할 수 있습니다. 현재 일부 시선 추적 솔루션이 해당 수준의 성능을 처리하는 데 어려움을 겪고 있다는 점을 고려하면 이는 이미 중요한 성과입니다.
또한 시스템이 재보정 없이 계속 올바르게 작동하는지 확인하기 위해 헤드셋을 약간 이동할 수도 있었습니다. 빠른 테스트에서는 잘 수행되었습니다.
최종 인상: 희망적이지만 개인 정보 보호가 우려됩니다.
이 솔루션은 정말 놀랐습니다. 이는 보정 문제를 제거하고 소형, 저전력, 정밀 시선 추적 모듈을 생성할 수 있는 시선 추적에 대한 새로운 접근 방식을 나타냅니다.
내 실습 경험을 통해 그것이 효과적으로 작동한다는 것을 확인했습니다. 실제 증강 현실 장치에 대한 광범위한 테스트가 아닌 기술 시연으로 제한되어 있어 시험해 볼 시간이 몇 분 밖에 없었으므로 최종 판단은 제가 유보합니다. 그러나 제가 수행한 테스트에서는 긍정적인 결과가 나왔고 성능은 주장에 완전히 부응했습니다.
나의 유일한 관심사는 개인 정보 보호입니다. 시스템은 내 망막의 전체 스캔을 요구하는데, 이는 완전한 망막 데이터가 어딘가에 저장되어야 함을 의미합니다. 즉, 이 문제는 데이터가 사용자 장치를 떠나지 않도록 로컬에 유지함으로써 해결될 수 있습니다.
매우 기대되는 제품이라고 생각합니다.
출처: VRAR 플래닛
