¡Gran avance para las gafas AR! Un equipo de la Universidad Jiao Tong de Shanghai ha propuesto un esquema de equilibrio de máscaras, superando el desafío de la transmisión de luz en pantallas AR con capacidad de oclusión.

En 2026, un equipo colaborativo formado por investigadores de la Universidad Jiao Tong de Shanghai, la Universidad Tecnológica de Graz (Austria), el Instituto de Ciencia y Tecnología de Nara (Japón) y la Universidad de Ciencia y Tecnología de Zhejiang publicaron un estudio histórico titulado 'Mask Balancing: Perception-Driven Dynamic Visibility Enhancement for Occlusion-Capable Optical See-Through Head-Mounted Displays' en la prestigiosa revista IEEE Transactions on Visualization and Computer Graphics . El estudio presenta una solución innovadora de 'equilibrio de máscara' que aborda un desafío crítico de la industria (transmisión de luz excesivamente baja en el mundo real en pantallas montadas en la cabeza AR ópticas transparentes con capacidad de oclusión (OC-OSTHMD)) al optimizar simultáneamente las rutas ópticas de polarización y la percepción visual humana, eliminando así un obstáculo clave para la comercialización de gafas AR de grado industrial y de consumo.

I. Punto débil de la industria central: la oclusión a nivel de píxel provoca una pérdida de luminancia irreversible

Las pantallas ópticas transparentes montadas en la cabeza AR (OC-OSTHMD) capaces de oclusión mutua entre elementos virtuales y reales son esenciales para representar objetos virtuales con profundidad realista y una integración perfecta en el entorno físico. Utilizan moduladores de luz espacial (SLM) para lograr la oclusión de la imagen a nivel de píxeles, resolviendo así el problema del 'fantasma flotante' asociado con las imágenes virtuales en los sistemas AR semitransparentes tradicionales. Sin embargo, las arquitecturas ópticas existentes adolecen de un inconveniente inevitable en cuanto a la transmisión de luz:

1. Para lograr el efecto de oclusión, la luz de la escena del mundo real debe polarizarse, lo que resulta en una pérdida inmediata de brillo del 50%;

2. La atenuación de la señal causada por el apilamiento de múltiples componentes, como SLM, divisores de haz polarizado (PBS) y combinadores ópticos, limita la transmisión de luz máxima teórica a menos del 20 %, y los prototipos reales a menudo alcanzan menos del 7 %;

3. Las múltiples reflexiones del camino óptico y las pérdidas espectrales de los componentes de polarización reducen aún más el brillo ambiental; En ambientes interiores con poca luz, la visión del mundo real se vuelve excesivamente oscura, lo que dificulta la observación y la interacción del usuario y, al mismo tiempo, plantea riesgos para la seguridad.

Las soluciones anteriores se han centrado principalmente en iteraciones de hardware, como aumentar la transmitancia SLM, cambiar a tecnologías reflectantes LCoS/DMD o explorar materiales fotocromáticos. Sin embargo, los componentes ópticos enfrentan límites físicos en la transmisión de luz, y los enfoques fotocromáticos sufren inconvenientes como tiempos de respuesta lentos y una precisión de oclusión insuficiente a nivel de píxeles, lo que no logra resolver fundamentalmente el conflicto entre los niveles de brillo virtual y real. Equilibrar la necesidad de una profundidad de oclusión realista para objetos virtuales con el requisito de una alta visibilidad del mundo real se ha convertido en el cuello de botella crítico para la comercialización masiva de dispositivos AR de próxima generación.

II. Innovación técnica: fusión de trayectoria óptica de doble polarización + modulación dinámica impulsada por la percepción

Yendo más allá del enfoque de simplemente mejorar componentes de hardware individuales, el equipo de la Universidad Jiao Tong de Shanghai propuso un 'método de equilibrio de máscara'. Este método combina modificaciones de la ruta óptica de polarización de bajo costo con un modelo cuantitativo de percepción visual humana para ajustar dinámicamente la relación de transmisión de luz entre la escena del mundo real y las imágenes virtuales. Toda la solución requiere solo la adición de un polarizador lineal giratorio (Balancing LP) a un OC-OSTHMD (pantalla óptica transparente montada en la cabeza) existente, que ofrece alta compatibilidad y bajos costos de modificación.

1. Arquitectura de fusión óptica de doble polarización

La luz natural se divide mediante un divisor de haz polarizador en dos caminos de polarización independientes, cada uno de los cuales cumple una función específica:

Ruta de oclusión de polarización s (visión enmascarada): pasa a través del sistema óptico AR original y utiliza un SLM para lograr una oclusión a nivel de píxeles del mundo real mediante contenido virtual, proporcionando una sensación de profundidad espacial, aunque con una pérdida de luz significativa;

Ruta de transmisión directa de polarización p (visión nativa del mundo real): evita todos los componentes ópticos relacionados con la oclusión, preservando completamente el brillo original de la escena ambiental sin atenuación de luz adicional.

El sistema emplea un módulo giratorio para ajustar el ángulo φ entre el polarizador lineal y el divisor de haz polarizador, controlando con precisión las relaciones de transmisión de la luz del mundo real y la luz de la imagen virtual. Las velocidades de transmisión se rigen por las siguientes fórmulas: transmisión directa en el mundo real (T_{pass} = cos^2φ); y transmisión para la vista ocluida del mundo real y la imagen virtual (T_{mask}/T_{image} = sin^2φ cdot T_{HMD}/T_{display}). Ajustar este ángulo permite cambiar la ponderación visual en tiempo real: en entornos con poca luz, la proporción de la ruta de transmisión directa aumenta para iluminar la vista del mundo real; en entornos con mucha luz, la relación de transmisión directa se reduce para mejorar el contraste de los objetos virtuales.

2. Sistema de modulación en tiempo real basado en la percepción

Toda la lógica de equilibrio dinámico opera en tiempo real basándose en un enfoque de sensor dual (que combina el seguimiento ocular con el análisis visual de la escena) y se alinea con los principios de la percepción visual humana en lugar de depender únicamente de cálculos basados ​​en especificaciones de hardware óptico:

Evaluación de la visibilidad en el mundo real: una cámara de escena captura la vista del mundo real y la imagen se descompone en siete niveles de paso de banda utilizando una pirámide de contraste de Peli. El sistema selecciona el contraste de la raíz cuadrática media (RMS) de la banda de frecuencia media de 4,7 cpd (ciclos por grado) como métrica de evaluación. Al integrar la función de sensibilidad de contraste de Barten (Barten CSF) con los datos del diámetro de la pupila de la cámara de seguimiento ocular, el sistema calcula, en tiempo real, el umbral de contraste mínimo requerido para que el ojo humano perciba la escena del mundo real. Si la visibilidad cae por debajo de este estándar, el sistema ajusta automáticamente el ángulo de polarización para aumentar el brillo de la trayectoria óptica directa.

Evaluación de la visibilidad de objetos virtuales: el análisis de densidad espectral de potencia (PSD) se realiza en modelos virtuales para distinguir entre modelos texturizados de alta frecuencia (p. ej., arces, árboles de Navidad) y modelos minimalistas de baja frecuencia (p. ej., conejos, teteras), y se utiliza el contraste de Weber para cuantificar la claridad de las imágenes virtuales. El equipo calibró los umbrales de percepción a través de dos series de experimentos con sujetos humanos: se determinó que el contraste crítico de Weber para reconocer texturas virtuales era 0,537, mientras que el umbral crítico para reconocer efectos de iluminación y sombras era 0,443. Cuando el contraste de la imagen virtual cae por debajo de estos umbrales, el sistema aumenta automáticamente la ponderación del camino óptico de oclusión para mejorar la textura percibida y la definición de los objetos virtuales.

El sistema emplea un filtro de Kalman para suavizar los datos fluctuantes de la pupila capturados por la cámara de seguimiento ocular, eliminando el ruido del equipo y garantizando un ajuste suave y estable durante las transiciones entre diferentes condiciones de iluminación. El conjunto de algoritmos opera utilizando paralelismo de doble subproceso, con el análisis de imágenes de la escena ejecutándose independientemente del subproceso de renderizado principal; esto da como resultado una baja sobrecarga computacional, lo que lo hace compatible con los principales motores de renderizado AR en tiempo real.

III. Experimentos de percepción humana: cuantificación de umbrales visuales y validación del esquema propuesto

Para establecer una línea de base precisa para el equilibrio perceptual, el equipo llevó a cabo tres conjuntos de experimentos de usuarios estandarizados, todos aprobados por el Comité de Ética en Investigación Humana de la Universidad Jiao Tong de Shanghai, y reclutó a un total de 36 participantes con experiencia en AR o gráficos por computadora.

1. Experimento de percepción de texturas virtuales (12 participantes): se utilizaron texturas de tamaños grande, mediano y pequeño para simular objetos virtuales con diferentes frecuencias espaciales, cubriendo cuatro niveles de iluminancia ambiental interior (29–626 cd/m²). Los resultados mostraron que las texturas finas de alta frecuencia requerían un mayor contraste para el reconocimiento visual, mientras que los umbrales de reconocimiento para los modelos de frecuencia media y baja diferían mínimamente. Factores como el género, la experiencia de uso de AR y el tamaño de la pupila no tuvieron un impacto significativo en los umbrales de percepción, lo que indica patrones de percepción altamente consistentes en todo el grupo participante.

2. Experimento virtual de percepción de iluminación y sombras (24 participantes): Se compararon modelos virtuales emparejados (p. ej., tetera, robot, árbol de Navidad), uno con reflejos de iluminación/sombra y otro sin ellos. Los participantes ajustaron el ángulo de polarización hasta que los dos modelos parecieron visualmente idénticos. El experimento demostró que los efectos de iluminación y sombra contienen inherentemente detalles de alta frecuencia, lo que permite distinguirlos fácilmente incluso en modelos geométricos de baja frecuencia; La frecuencia espacial no mostró ningún efecto estadísticamente significativo sobre los umbrales de percepción de iluminación y sombras.

3. Experimento comparativo integral en escenarios de iluminación múltiple (12 participantes): se construyó un prototipo de mesa para simular cuatro condiciones de iluminación del mundo real: luces interiores apagadas (8 cd/m²), luces interiores encendidas (135 cd/m²), sombra exterior (287 cd/m²) y luz brillante exterior (414 cd/m²). Se realizó una comparación ciega entre tres condiciones: la solución propuesta (MB), AR tradicional sin oclusión (AR) y auriculares de oclusión estática (OC).

· Ambientes interiores con poca luz: la RA tradicional mantuvo el liderazgo (47%), seguida de cerca por esta solución (44%), mientras que los dispositivos de oclusión tradicionales quedaron atrás con solo el 8%;

· Ambientes interiores luminosos: esta solución lideró con una tasa de preferencia del 42%;

· Escenarios exteriores con luz brillante/sombra: esta solución logró tasas de preferencia del 58% y 53% respectivamente, superando significativamente a las soluciones tradicionales;

· Evaluación general: el 50 % de los participantes prefirió el sistema de equilibrio basado en máscara, el 36 % eligió auriculares de oclusión tradicionales y solo el 14 % optó por la AR transparente estándar.

Las imágenes del mundo real demuestran claramente las diferencias: con la RA tradicional basada en oclusión, la vista del mundo real aparece muy desvaída en todos los entornos; con AR estándar sin oclusión, el contenido virtual prácticamente desaparece con la luz exterior brillante; por el contrario, la tecnología de equilibrio de máscara ajusta el brillo de forma adaptativa, manteniendo una visión clara del mundo real en interiores y al mismo tiempo preserva por completo las texturas, la iluminación y las sombras de los objetos virtuales en condiciones exteriores brillantes, garantizando así una experiencia visual óptima en ambos escenarios.

IV. Valor de aplicación y cambio de paradigma en toda la industria

1. Diversos escenarios de implementación

Este avance tecnológico se extiende más allá de las gafas AR de consumo y ofrece un inmenso valor práctico en entornos industriales profesionales:

· O&M industrial: superposición de planos y anotaciones durante el mantenimiento del equipo mientras se mantiene una visión clara de la estructura física mecánica;

· Asistencia médica: superposición de imágenes intraoperatorias y entrenamiento de rehabilitación, combinando la visión del mundo real del cuerpo humano con anotaciones digitales;

· Aplicaciones como educación y capacitación, navegación en vehículos, colaboración remota y diseño arquitectónico, que mejoran significativamente la usabilidad de los dispositivos AR en entornos de iluminación complejos.

2. Un nuevo enfoque para el diseño de pantallas AR

Esta investigación propone un cambio de paradigma en la industria: si bien el diseño óptico de RA anteriormente se centraba principalmente en optimizar parámetros físicos como la transmitancia y la resolución de la luz del hardware, este estudio demuestra que la percepción visual humana es una dimensión de diseño crítica que no se puede pasar por alto. Investigaciones anteriores realizadas por el equipo confirmaron una discrepancia significativa entre la percepción visual humana real y las mediciones tomadas por instrumentos ópticos, lo que indica que la optimización del hardware por sí sola no puede lograr la mejor experiencia visual. Un esquema de control basado en la percepción puede superar las limitaciones físicas del hardware óptico; mejora simultáneamente la calidad de las imágenes tanto virtuales como del mundo real, sin comprometer el tamaño o el costo del dispositivo, al tiempo que garantiza la comodidad visual del usuario y la seguridad operativa.

V. Limitaciones actuales y direcciones futuras de investigación

Todavía hay margen de optimización en el prototipo de escritorio actual y el equipo ha planificado las siguientes direcciones para futuras iteraciones:

Optimización de la precisión de la oclusión: el brillo del mundo real puede provocar una ligera fuga de luz en los límites de la oclusión; Las mejoras futuras mitigarán esto mediante la integración de micro-OLED de alto brillo, algoritmos de compensación de color y estrategias de equilibrio orientadas a tareas (priorizando la precisión de la oclusión virtual en escenas modeladas de alta precisión).

Ajuste suave del brillo: Las velocidades de rotación de la polarización actual son altas, lo que provoca cambios bruscos de brillo que pueden causar molestias visuales; El desarrollo futuro se centrará en algoritmos para transiciones de brillo graduales y fluidas.

Prototipo de adaptación binocular: El dispositivo actual es monocular; El siguiente paso consiste en construir un sistema de equilibrio de máscara binocular e incorporar un modelo de percepción de contraste visual binocular.

Clasificación espectral automática de objetos: permite el reconocimiento automático en tiempo real de características de alta y baja frecuencia de objetos virtuales, eliminando la necesidad de configuración manual de umbrales de percepción.

La tecnología de equilibrio de máscaras propuesta por el equipo de la Universidad Jiao Tong de Shanghai resuelve el conflicto de brillo de larga data que ha obstaculizado la adopción generalizada de la RA óptica transparente. Al combinar mejoras de hardware para rutas ópticas de doble polarización con un algoritmo de equilibrio dinámico basado en la percepción, la solución es fácil de implementar y compatible con las arquitecturas ópticas AR convencionales. Validado a través de extensos experimentos con sujetos humanos y diversos escenarios de iluminación, mejora simultáneamente la visibilidad del entorno del mundo real y la textura realista de los objetos virtuales en todas las condiciones, desde entornos interiores con poca luz hasta entornos exteriores brillantes. Al integrar profundamente la ciencia de la percepción visual con la ingeniería de visualización cercana al ojo, esta tecnología allana un nuevo camino de optimización para las gafas AR de próxima generación, ofreciendo una solución viable para la implementación durante todo el día y en el mundo real de dispositivos AR en los sectores de consumo, industrial y médico, avanzando así la AR óptica transparente desde prototipos de laboratorio hasta productos prácticos.

Fuente: CINNO