Большой прорыв в сфере AR-очков! Команда из Шанхайского университета Цзяо Тонг предложила схему балансировки маски, позволяющую решить проблему передачи света в AR-дисплеях с возможностью окклюзии.

В 2026 году совместная группа, состоящая из исследователей из Шанхайского университета Цзяо Тонг, Технологического университета Граца (Австрия), Нарского института науки и технологий (Япония) и Чжэцзянского университета науки и технологий, опубликовала знаковое исследование под названием «Балансировка масок: управляемое восприятием динамическое улучшение видимости для окклюзионных оптических прозрачных наголовных дисплеев» в престижном журнале IEEE Transactions on Visualization and Computer. Графика . В исследовании представлено инновационное решение «Балансировка маски», которое решает критическую проблему отрасли — чрезмерно низкий реальный коэффициент пропускания света в оптических прозрачных AR-дисплеях, устанавливаемых на голову (OC-OSTHMD), с возможностью окклюзии — путем одновременной оптимизации поляризационных оптических путей и зрительного восприятия человека, тем самым устраняя ключевое препятствие на пути коммерциализации AR-очков потребительского и промышленного уровня.

I. Основная проблема отрасли: затенение на уровне пикселей приводит к необратимой потере яркости

Оптические прозрачные головные дисплеи AR (OC-OSTHMD), способные взаимно перекрывать виртуальные и реальные элементы, необходимы для рендеринга виртуальных объектов с реалистичной глубиной и плавной интеграции в физическую среду. Они используют пространственные модуляторы света (SLM) для достижения окклюзии изображения на уровне пикселей, тем самым решая проблему «плавающего фантома», связанную с виртуальными изображениями в традиционных полупрозрачных системах дополненной реальности. Однако существующие оптические архитектуры имеют неизбежный недостаток, связанный с передачей света:

1. Чтобы добиться эффекта окклюзии, свет от реальной сцены должен подвергнуться поляризации, что приводит к немедленной потере яркости на 50%;

2. Затухание сигнала, вызванное наложением нескольких компонентов, таких как SLM, поляризационные светоделители (PBS) и оптические сумматоры, ограничивает теоретическое максимальное светопропускание до уровня менее 20%, при этом реальные прототипы часто достигают менее 7%;

3. Множественные отражения оптического пути и спектральные потери из-за поляризационных компонентов еще больше снижают яркость окружающей среды; в затемненных помещениях реальный вид становится слишком темным, что затрудняет наблюдение и взаимодействие пользователя, а также создает угрозу безопасности.

Предыдущие решения были сосредоточены в первую очередь на итерациях аппаратного обеспечения, таких как увеличение коэффициента пропускания SLM, переход на отражающие технологии LCoS/DMD или исследование фотохромных материалов. Однако оптические компоненты сталкиваются с физическими ограничениями на пропускание света, а фотохромные подходы страдают от таких недостатков, как медленное время отклика и недостаточная точность окклюзии на уровне пикселей, что не позволяет фундаментально разрешить конфликт между виртуальными и реальными уровнями яркости. Баланс между необходимостью реалистичной глубины окклюзии для виртуальных объектов и требованием высокой видимости реального мира стал критическим узким местом для массовой коммерциализации AR-устройств следующего поколения.

II. Технические инновации: объединение оптических путей с двойной поляризацией + динамическая модуляция, управляемая восприятием

Выходя за рамки простого улучшения отдельных аппаратных компонентов, команда из Шанхайского университета Цзяо Тонг предложила «метод балансировки маски». Этот метод сочетает в себе недорогие модификации поляризационного оптического пути с количественной моделью зрительного восприятия человека для динамической регулировки коэффициента пропускания света между реальной сценой и виртуальными изображениями. Для всего решения требуется только добавление вращающегося линейного поляризатора (балансировочного LP) к существующему OC-OSTHMD (оптический прозрачный головной дисплей), что обеспечивает высокую совместимость и низкие затраты на модификацию.

1. Архитектура оптического синтеза с двойной поляризацией

Естественный свет разделяется поляризационным светоделителем на два независимых пути поляризации, каждый из которых выполняет определенную функцию:

путь окклюзии s-поляризации (маскирующее зрение): проходит через исходную оптическую систему AR и использует SLM для достижения окклюзии реального мира виртуальным контентом на уровне пикселей, обеспечивая ощущение пространственной глубины, хотя и со значительной потерей света;

Путь прямой передачи p-поляризации (собственное реальное зрение): обходит все оптические компоненты, связанные с окклюзией, полностью сохраняя исходную яркость окружающей сцены без дополнительного ослабления света.

В системе используется вращающийся модуль для регулировки угла φ между линейным поляризатором и поляризационным светоделителем, точно контролируя коэффициенты пропускания реального света и света виртуального изображения. Скорость передачи определяется следующими формулами: прямая реальная передача (T_{pass} = cos^2φ); и передача для закрытого изображения реального мира и виртуального изображения (T_{маска}/T_{изображение} = sin^2φ cdot T_{HMD}/T_{display}). Регулировка этого угла позволяет переключать визуальную нагрузку в режиме реального времени: в условиях низкой освещенности доля пути прямой передачи увеличивается, чтобы сделать изображение реального мира ярче; в условиях яркого освещения коэффициент прямой передачи снижается для повышения контрастности виртуальных объектов.

2. Система модуляции в реальном времени, управляемая восприятием

Вся логика динамической балансировки работает в режиме реального времени на основе подхода с двумя датчиками, сочетающего отслеживание взгляда с визуальным анализом сцены, и согласуется с принципами зрительного восприятия человека, а не полагается исключительно на расчеты, основанные на спецификациях оптического оборудования:

Оценка видимости в реальном мире: камера сцены фиксирует вид реального мира, а изображение разлагается на семь полосовых уровней с использованием пирамиды контраста Пели. Система выбирает среднеквадратичный контраст (RMS) диапазона средних частот 4,7 циклов в день (циклов на градус) в качестве показателя оценки. Интегрируя функцию контрастной чувствительности Бартена (Barten CSF) с данными о диаметре зрачка, поступающими от камеры слежения за глазами, система рассчитывает — в режиме реального времени — минимальный порог контрастности, необходимый человеческому глазу для восприятия реальной сцены. Если видимость падает ниже этого стандарта, система автоматически регулирует угол поляризации, чтобы увеличить яркость прямого оптического пути.

Оценка видимости виртуального объекта: анализ спектральной плотности мощности (PSD) выполняется на виртуальных моделях, чтобы различать высокочастотные текстурированные модели (например, клены, рождественские елки) и низкочастотные минималистские модели (например, кролики, чайники), с контрастом Вебера, используемым для количественной оценки четкости виртуальных изображений. Команда откалибровала пороги восприятия с помощью двух серий экспериментов с людьми: критический контраст Вебера для распознавания виртуальных текстур был определен как 0,537, а критический порог для распознавания эффектов освещения и тени составил 0,443. Когда контраст виртуального изображения падает ниже этих порогов, система автоматически увеличивает вес окклюзионного оптического пути, чтобы улучшить воспринимаемую текстуру и четкость виртуальных объектов.

В системе используется фильтр Калмана для сглаживания колебаний данных о зрачках, получаемых камерой слежения за глазами, устранения шума оборудования и обеспечения плавной и стабильной регулировки при переходе между различными условиями освещения. Набор алгоритмов работает с использованием двухпоточного параллелизма, при этом анализ изображения сцены выполняется независимо от основного потока рендеринга; это приводит к низким вычислительным затратам, что делает его совместимым с основными механизмами рендеринга AR в реальном времени.

III. Эксперименты по человеческому восприятию: количественная оценка визуальных порогов и проверка предложенной схемы

Чтобы установить точную основу для перцептивного баланса, команда провела три серии стандартизированных пользовательских экспериментов — все они были одобрены Комитетом по этике человеческих исследований Шанхайского университета Цзяо Тонг — набрав в общей сложности 36 участников с опытом работы в AR или компьютерной графике.

1. Эксперимент по восприятию виртуальной текстуры (12 участников). Текстуры большого, среднего и малого размера использовались для моделирования виртуальных объектов с различными пространственными частотами, охватывающими четыре уровня внешней освещенности помещения (29–626 кд/м²). Результаты показали, что высокочастотные мелкие текстуры требуют более высокого контраста для визуального распознавания, тогда как пороги распознавания для средне- и низкочастотных моделей различаются минимально. Такие факторы, как пол, опыт использования AR и размер ученика, не оказали существенного влияния на пороги восприятия, что указывает на высокую согласованность моделей восприятия в группе участников.

2. Эксперимент по восприятию виртуального освещения и тени (24 участника): сравнивались парные виртуальные модели (например, чайник, робот, рождественская елка) — одна с отражениями освещения/тени и одна без них. Участники корректировали угол поляризации до тех пор, пока две модели не стали визуально идентичными. Эксперимент показал, что эффекты освещения и тени по своей сути содержат высокочастотные детали, что позволяет их легко различить даже на низкочастотных геометрических моделях; пространственная частота не оказала статистически значимого влияния на пороги восприятия света и теней.

3. Комплексный сравнительный эксперимент в сценариях с несколькими источниками освещения (12 участников). Настольный прототип был создан для имитации четырех реальных условий освещения: выключенный свет в помещении (8 кд/м²), включенный свет в помещении (135 кд/м²), затенение на открытом воздухе (287 кд/м²) и яркий свет на открытом воздухе (414 кд/м²). Слепое сравнение было проведено среди трех условий: предлагаемое решение (MB), традиционные незатененные AR (AR) и статические окклюзионные гарнитуры (OC).

· Помещения в помещениях с низкой освещенностью: традиционное AR-устройство удерживало лидерство (47%), за ним следовало это решение (44%), в то время как традиционные окклюзионные устройства отставали лишь на 8%;

· Яркое помещение в помещении: это решение получило рейтинг предпочтений 42%;

· Сценарии яркого света/затенения на открытом воздухе: это решение достигло показателей предпочтения 58% и 53% соответственно, значительно превосходя традиционные решения;

· Общая оценка: 50% участников предпочли систему балансировки на основе маски, 36% выбрали традиционные окклюзионные гарнитуры и только 14% выбрали стандартную прозрачную AR.

Реальные кадры ясно демонстрируют различия: при использовании традиционной дополненной реальности на основе окклюзии изображение реального мира выглядит сильно размытым во всех средах; со стандартной дополненной реальностью без окклюзии виртуальный контент практически исчезает при ярком наружном освещении; Напротив, технология балансировки масок адаптивно регулирует яркость, сохраняя четкое представление о реальном мире в помещении, полностью сохраняя при этом текстуры, освещение и тени виртуальных объектов в ярких условиях на открытом воздухе, тем самым обеспечивая оптимальное визуальное восприятие в обоих сценариях.

IV. Ценность применения и сдвиг парадигмы в масштабах всей отрасли

1. Разнообразные сценарии реализации

Этот технологический прорыв выходит за рамки потребительских очков AR и предлагает огромную практическую ценность в профессиональных промышленных условиях:

· Промышленная эксплуатация и техническое обслуживание: наложение чертежей и аннотаций во время технического обслуживания оборудования, сохраняя при этом четкое представление о физической механической структуре;

· Медицинская помощь: наложение интраоперационных изображений и реабилитационная подготовка, сочетающая реальный вид человеческого тела с цифровыми аннотациями;

· Такие приложения, как образование и обучение, автомобильная навигация, удаленное сотрудничество и архитектурное проектирование, значительно повышают удобство использования устройств AR в сложных условиях освещения.

2. Новый подход к дизайну AR-дисплеев

Это исследование предлагает смену парадигмы в отрасли: в то время как оптический дизайн AR ранее был сосредоточен в первую очередь на оптимизации физических параметров, таких как аппаратное пропускание света и разрешение, это исследование показывает, что визуальное восприятие человека является критическим аспектом дизайна, который нельзя упускать из виду. Предыдущие исследования команды подтвердили значительное несоответствие между реальным зрительным восприятием человека и измерениями, полученными с помощью оптических инструментов, что указывает на то, что одна только оптимизация оборудования не может обеспечить наилучшее визуальное восприятие. Схема управления, основанная на восприятии, может преодолеть физические ограничения оптического оборудования; он одновременно повышает качество как виртуальных, так и реальных изображений без ущерба для размера или стоимости устройства, обеспечивая при этом визуальный комфорт пользователя и безопасность работы.

V. Текущие ограничения и будущие направления исследований

В текущем настольном прототипе еще есть возможности для оптимизации, и команда запланировала следующие направления для будущих итераций:

Оптимизация точности окклюзии: реальное осветление может вызвать небольшую утечку света на границах окклюзии; будущие улучшения позволят смягчить эту ситуацию за счет интеграции микро-OLED высокой яркости, алгоритмов цветовой компенсации и стратегий балансировки, ориентированных на задачи (приоритет точности виртуальной окклюзии в высокоточно смоделированных сценах).

Плавная регулировка яркости: текущие скорости вращения поляризации высоки, что приводит к резким изменениям яркости, которые могут вызывать зрительный дискомфорт; Будущие разработки будут сосредоточены на алгоритмах плавного и постепенного перехода яркости.

Прототип бинокулярной адаптации: Настоящее устройство является монокулярным; Следующий шаг предполагает создание системы балансировки бинокулярной маски и внедрение модели восприятия бинокулярного визуального контраста.

Автоматическая спектральная классификация объектов: обеспечивает автоматическое распознавание в режиме реального времени высоко- и низкочастотных характеристик виртуальных объектов, устраняя необходимость ручной настройки порогов восприятия.

Технология балансировки масок, предложенная командой Шанхайского университета Цзяо Тонг, решает давний конфликт яркости, который препятствует широкому внедрению оптической прозрачной дополненной реальности. Сочетая аппаратные улучшения для оптических путей с двойной поляризацией с алгоритмом динамической балансировки, управляемым восприятием, решение легко внедрить и совместимо с основными оптическими архитектурами дополненной реальности. Подтвержденный обширными экспериментами с людьми и разнообразными сценариями освещения, он одновременно улучшает видимость реальной среды и реалистичную текстуру виртуальных объектов в любых условиях — от тусклого помещения до яркого освещения на открытом воздухе. Благодаря глубокой интеграции науки о зрительном восприятии с разработкой дисплеев для близи глаз эта технология прокладывает новый путь оптимизации для очков AR следующего поколения, предлагая жизнеспособное решение для повседневного реального использования устройств AR в потребительском, промышленном и медицинском секторах, тем самым продвигая оптическое прозрачное AR от лабораторных прототипов до практических продуктов.

Источник: CINNO