AR 안경의 획기적인 돌파구! Shanghai Jiao Tong University의 팀은 폐색 가능 AR 디스플레이의 빛 투과 문제를 극복하는 마스크 밸런싱 계획을 제안했습니다.

2026년, Shanghai Jiao Tong University, Graz University of Technology(오스트리아), Nara Institute of Science and Technology(일본) 및 Zhejiang Science and Technology 대학의 연구원으로 구성된 공동 팀은 권위 있는 저널인 IEEE Transactions on Visualization and Computer Graphics에 'Mask Balancing: Perception-Driven Dynamic Visibility Enhancement for Occlusion-Capable Optical See-Through Head-Mounted Displays'라는 제목의 랜드마크 연구를 발표했습니다 . 이 연구에서는 편광 광학 경로와 인간의 시각적 인식을 동시에 최적화함으로써 폐색이 가능한 광학 투명 AR 헤드 마운트 디스플레이(OC-OSTHMD)에서 지나치게 낮은 실제 빛 투과율이라는 중요한 산업 과제를 해결하는 혁신적인 '마스크 밸런싱' 솔루션을 소개합니다. 이를 통해 소비자 및 산업용 등급 AR 안경의 상용화에 대한 주요 장애물을 제거합니다.

I. 핵심 산업 문제점: 픽셀 수준 폐색으로 인해 돌이킬 수 없는 휘도 손실이 발생함

가상 요소와 실제 요소를 상호 폐색할 수 있는 광학 투명 AR 헤드 마운트 디스플레이(OC-OSTHMD)는 가상 개체를 사실적인 깊이와 물리적 환경에 완벽하게 통합하는 데 필수적입니다. 이들은 공간 광 변조기(SLM)를 활용하여 픽셀 수준의 이미지 폐색을 달성함으로써 기존 반투명 AR 시스템의 가상 이미지와 관련된 '플로팅 팬텀' 문제를 해결합니다. 그러나 기존 광학 아키텍처는 광 전송과 관련하여 피할 수 없는 단점을 안고 있습니다.

1. 폐색 효과를 얻으려면 실제 장면의 빛이 편광을 거쳐야 하며 그 결과 밝기가 즉시 50% 손실됩니다.

2. SLM, PBS(Polarizing Beam Splitter) 및 광학 결합기와 같은 여러 구성 요소의 적층으로 인해 발생하는 신호 감쇠는 이론적 최대 광 투과율을 20% 미만으로 제한하며, 실제 프로토타입은 종종 7% 미만을 달성합니다.

3. 편광 구성 요소의 다중 광학 경로 반사 및 스펙트럼 손실로 인해 주변 밝기가 더욱 감소합니다. 어두운 실내 환경에서는 현실 세계의 시야가 지나치게 어두워져 사용자 관찰과 상호 작용을 방해하고 안전 위험을 초래합니다.

이전 솔루션은 주로 SLM 투과율 증가, 반사형 LCoS/DMD 기술로 전환, 광변색 재료 탐색 등 하드웨어 반복에 중점을 두었습니다. 그러나 광학 구성 요소는 광 전송에 있어 물리적 한계에 직면해 있으며, 광변색 접근 방식은 느린 응답 시간, 불충분한 픽셀 수준 폐색 정밀도 등의 단점으로 인해 가상과 실제 밝기 수준 간의 충돌을 근본적으로 해결하지 못합니다. 가상 객체에 대한 사실적인 폐색 깊이에 대한 요구와 실제 세계에 대한 높은 가시성에 대한 요구 사이의 균형은 차세대 AR 장치의 대량 상용화에 있어 중요한 병목 현상이 되었습니다.

II. 기술 혁신: 이중 편광 광 경로 융합 + 인식 기반 동적 변조

단순히 개별 하드웨어 구성 요소를 개선하는 접근 방식을 넘어, Shanghai Jiao Tong University 팀은 '마스크 균형 조정 방법'을 제안했습니다. 이 방법은 저비용 편광 광학 경로 수정과 인간 시각적 인식의 정량적 모델을 결합하여 실제 장면과 가상 이미지 사이의 빛 투과율을 동적으로 조정합니다. 전체 솔루션은 기존 OC-OSTHMD(Optical See-Through Head-Mounted Display)에 회전 선형 편광판(Balancing LP)만 추가하면 되므로 높은 호환성과 낮은 수정 비용을 제공합니다.

1. 이중편파 광융합 아키텍처

자연광은 편광 빔 스플리터에 의해 각각 특정 기능을 수행하는 두 개의 독립적인 편광 경로로 분할됩니다.

s-편광 폐색 경로(마스킹 비전): 원래 AR 광학 시스템을 통과하고 SLM을 활용하여 가상 콘텐츠로 실제 세계의 픽셀 수준 폐색을 달성하여 상당한 빛 손실에도 불구하고 공간적 깊이감을 제공합니다.

p-편광 직접 전송 경로(네이티브 실제 비전): 모든 폐색 관련 광학 구성 요소를 우회하여 추가 빛 감쇠 없이 주변 장면의 원래 밝기를 완전히 보존합니다.

이 시스템은 회전 모듈을 사용하여 선형 편광판과 편광 빔 분할기 사이의 각도 ψ를 조정하여 실제 빛과 허상 빛의 투과율을 정밀하게 제어합니다. 전송 속도는 다음 공식에 의해 결정됩니다: 직접 실제 전송 (T_{pass} = cos^2ψ); 가려진 현실 세계 뷰와 가상 이미지 (T_{mask}/T_{image} = sin^2ψ cdot T_{HMD}/T_{display})에 대한 전송. 이 각도를 조정하면 시각적 가중치를 실시간으로 전환할 수 있습니다. 저조도 환경에서는 직접 전송 경로의 비율이 증가하여 실제 시야가 밝아집니다. 밝은 환경에서는 직접 투과율을 줄여 가상 물체의 대비를 향상시킵니다.

2. 인지 기반 실시간 변조 시스템

전체 동적 밸런싱 로직은 시선 추적과 장면 시각적 분석을 결합한 듀얼 센서 접근 방식을 기반으로 실시간으로 작동하며 광학 하드웨어 사양을 기반으로 한 계산에만 의존하기보다는 인간의 시각적 인식 원리에 부합합니다.

실제 가시성 평가: 장면 카메라가 실제 뷰를 캡처하고 Peli 대비 피라미드를 사용하여 이미지를 7개의 대역 통과 레벨로 분해합니다. 시스템은 4.7cpd(도당 사이클) 중간 주파수 대역의 RMS(Root Mean Square) 대비를 평가 지표로 선택합니다. Barten CSF(Contrast Sensitivity Function)를 안구 추적 카메라의 동공 직경 데이터와 통합함으로써 시스템은 인간의 눈이 실제 장면을 인식하는 데 필요한 최소 대비 임계값을 실시간으로 계산합니다. 가시성이 이 기준 이하로 떨어지면 시스템은 자동으로 편광 각도를 조정하여 직접 광 경로의 밝기를 높입니다.

가상 객체 가시성 평가: PSD(Power Spectral Density) 분석은 고주파 텍스처 모델(예: 단풍나무, 크리스마스 트리)과 저주파 미니멀리스트 모델(예: 토끼, 찻주전자)을 구별하기 위해 가상 모델에서 수행되며 Weber 대비는 가상 이미지의 선명도를 정량화하는 데 사용됩니다. 팀은 두 세트의 인간 대상 실험을 통해 지각 임계값을 보정했습니다. 가상 텍스처를 인식하기 위한 임계 Weber 대비는 0.537로 결정된 반면 조명 및 그림자 효과를 인식하기 위한 임계 임계값은 0.443이었습니다. 가상 이미지의 대비가 이러한 임계값 아래로 떨어지면 시스템은 자동으로 폐색 광학 경로의 가중치를 증가시켜 가상 객체의 인지된 질감과 정의를 향상시킵니다.

이 시스템은 Kalman 필터를 사용하여 안구 추적 카메라로 캡처한 변동하는 동공 데이터를 부드럽게 만들어 장비 소음을 제거하고 다양한 조명 조건 간 전환 중에 부드럽고 안정적인 조정을 보장합니다. 알고리즘 제품군은 메인 렌더링 스레드와 독립적으로 실행되는 장면 이미지 분석과 함께 이중 스레드 병렬성을 사용하여 작동합니다. 이로 인해 계산 오버헤드가 낮아져 주류 AR 실시간 렌더링 엔진과 호환됩니다.

III. 인간 인식 실험: 시각적 임계값 정량화 및 제안된 계획 검증

지각 균형에 대한 정확한 기준선을 설정하기 위해 팀은 Shanghai Jiao Tong University의 인간 연구 윤리 위원회에서 승인한 세 가지 표준화된 사용자 실험 세트를 수행했으며 AR 또는 컴퓨터 그래픽 경험이 있는 총 36명의 참가자를 모집했습니다.

1. 가상 텍스처 인식 실험(참가자 12명): 실내 주변 조도(29~626cd/m²)의 4가지 수준을 포괄하는 다양한 공간 주파수를 사용하여 가상 개체를 시뮬레이션하기 위해 대, 중, 소형 크기의 텍스처를 사용했습니다. 결과에 따르면 고주파, 미세한 질감은 시각적 인식을 위해 더 높은 대비가 필요한 반면 중간 및 저주파 모델의 인식 임계값은 최소한으로 다릅니다. 성별, AR 사용 경험, 학생 크기와 같은 요인은 인식 임계값에 큰 영향을 미치지 않았으며 이는 참가자 그룹 전체에서 매우 일관된 인식 패턴을 나타냅니다.

2. 가상 조명 및 그림자 인식 실험(참가자 24명): 쌍을 이루는 가상 모델(예: 찻주전자, 로봇, 크리스마스 트리)(조명/그림자 반사가 있는 모델과 없는 모델)을 비교했습니다. 참가자들은 두 모델이 시각적으로 동일하게 나타날 때까지 편광 각도를 조정했습니다. 실험을 통해 조명과 그림자 효과는 본질적으로 고주파 세부 사항을 포함하므로 저주파 기하학적 모델에서도 쉽게 구별할 수 있음이 입증되었습니다. 공간 주파수는 조명과 그림자에 대한 인식 임계값에 통계적으로 유의미한 영향을 미치지 않는 것으로 나타났습니다.

3. 다중 조명 시나리오의 종합 비교 실험(참가자 12명): 실내 조명 꺼짐(8cd/m²), 실내 조명 켜짐(135cd/m²), 실외 음영 처리(287cd/m²), 실외 밝은 조명(414cd/m²)의 4가지 실제 조명 조건을 시뮬레이션하기 위해 탁상용 프로토타입을 제작했습니다. 제안된 솔루션(MB), 기존 비폐색 AR(AR) 및 정적 폐색 헤드셋(OC)의 세 가지 조건에 대해 블라인드 비교를 수행했습니다.

· 저조도 실내 환경: 기존 AR이 선두(47%)를 차지했고 이 솔루션(44%)이 그 뒤를 쫓았으며 기존 폐색 장치는 8%에 그쳤습니다.

· 밝은 실내 환경: 이 솔루션은 42%의 선호율을 기록했습니다.

· 실외의 밝은 빛/음영 시나리오: 이 솔루션은 각각 58%와 53%의 선호도를 달성하여 기존 솔루션보다 훨씬 뛰어난 성능을 보였습니다.

· 종합 평가: 참가자의 50%는 마스크 기반 균형 시스템을 선호했고, 36%는 기존 폐쇄형 헤드셋을 선택했으며, 14%만이 표준 투명 AR을 선택했습니다.

실제 영상은 차이점을 명확하게 보여줍니다. 기존의 폐색 기반 AR을 사용하면 실제 세계 보기가 모든 환경에서 심각하게 바랜 것처럼 보입니다. 표준 비폐쇄 AR을 사용하면 가상 콘텐츠가 밝은 실외 조명에서 사실상 사라집니다. 이와 대조적으로, 마스크 밸런싱 기술은 밝기를 적응적으로 조정하여 실내에서 실제 세계에 대한 명확한 시야를 유지하면서 밝은 실외 조건에서 가상 물체의 질감, ​​조명 및 그림자를 완전히 보존함으로써 두 시나리오 모두에서 최적의 시각적 경험을 보장합니다.

IV. 애플리케이션 가치 및 산업 전반의 패러다임 전환

1. 다양한 구현 시나리오

이 기술적 혁신은 일반 소비자용 AR 안경을 넘어 전문 산업 환경에서 엄청난 실용적인 가치를 제공합니다.

· 산업용 O&M: 물리적 기계 구조를 명확하게 유지하면서 장비 유지 관리 중에 청사진과 주석을 오버레이합니다.

· 의료 지원: 인체에 대한 실제 시각과 디지털 주석을 결합한 수술 중 이미지 오버레이 및 재활 훈련.

· 교육 및 훈련, 차량 내 내비게이션, 원격 협업, 건축 설계 등의 애플리케이션을 통해 복잡한 조명 환경에서 AR 장치 활용성을 크게 향상시킵니다.

2. AR 디스플레이 디자인에 대한 새로운 접근 방식

이 연구는 업계의 패러다임 전환을 제안합니다. 이전에는 AR 광학 설계가 주로 하드웨어 광 투과율 및 해상도와 같은 물리적 매개변수를 최적화하는 데 중점을 두었지만, 이 연구는 인간의 시각적 인식이 간과할 수 없는 중요한 설계 차원임을 보여줍니다. 팀의 이전 연구에서는 실제 인간의 시각적 인식과 광학 기기로 측정한 값 사이에 상당한 차이가 있음을 확인했으며, 이는 하드웨어 최적화만으로는 최고의 시각적 경험을 얻을 수 없음을 나타냅니다. 인식 기반 제어 방식은 광학 하드웨어의 물리적 한계를 극복할 수 있습니다. 장치 크기나 비용을 저하시키지 않으면서 가상 이미지와 실제 이미지의 품질을 동시에 향상시키는 동시에 사용자의 시각적 편안함과 작동 안전성을 보장합니다.

V. 현재의 한계와 향후 연구 방향

현재 데스크톱 프로토타입에는 여전히 최적화의 여지가 있으며 팀은 향후 반복을 위해 다음과 같은 방향을 계획했습니다.

폐색 정확도 최적화: 실제 밝기는 폐색 경계에서 약간의 빛 누출을 일으킬 수 있습니다. 향후 개선에서는 고휘도 마이크로 OLED, 색상 보정 알고리즘 및 작업 중심 균형 전략(고정밀 모델링 장면에서 가상 폐색 정확도 우선순위)을 통합하여 이를 완화할 것입니다.

부드러운 밝기 조정: 현재 편광 회전 속도가 높기 때문에 갑작스러운 밝기 변화로 인해 시각적 불편함을 유발할 수 있습니다. 향후 개발에서는 원활하고 점진적인 밝기 전환을 위한 알고리즘에 중점을 둘 것입니다.

양안 적응 프로토타입: 현재 장치는 단안입니다. 다음 단계에는 쌍안 마스크 균형 시스템을 구축하고 양안 시각적 대비 인식 모델을 통합하는 작업이 포함됩니다.

자동 객체 스펙트럼 분류: 가상 객체의 고주파 및 저주파 특징을 실시간으로 자동 인식할 수 있으므로 인식 임계값을 수동으로 구성할 필요가 없습니다.

Shanghai Jiao Tong University 팀이 제안한 마스크 밸런싱 기술은 광학 투명 AR의 광범위한 채택을 방해해 온 오랜 밝기 충돌을 해결합니다. 이중 편광 광 경로를 위한 하드웨어 개선 사항과 인식 기반 동적 밸런싱 알고리즘을 결합한 이 솔루션은 구현이 쉽고 주류 AR 광학 아키텍처와 호환됩니다. 광범위한 인간 대상 실험과 다양한 조명 시나리오를 통해 검증된 이 제품은 어두운 실내 환경에서 밝은 실외 환경에 이르기까지 모든 조건에서 실제 환경의 가시성과 가상 물체의 사실적인 질감을 동시에 향상시킵니다. 이 기술은 시각 인식 과학과 근안 디스플레이 엔지니어링을 깊이 통합함으로써 차세대 AR 안경을 위한 새로운 최적화 경로를 마련하고 소비자, 산업 및 의료 부문에서 AR 장치를 하루 종일 실제 배포할 수 있는 실행 가능한 솔루션을 제공함으로써 광학 투명 AR을 실험실 프로토타입에서 실용적인 제품으로 발전시킵니다.

출처 : CINNO