Grande avanço para óculos AR! Uma equipe da Universidade Jiao Tong de Xangai propôs um esquema de equilíbrio de máscara, superando o desafio da transmissão de luz em monitores AR com capacidade de oclusão.

Em 2026, uma equipe colaborativa composta por pesquisadores da Universidade Jiao Tong de Xangai, da Universidade de Tecnologia de Graz (Áustria), do Instituto de Ciência e Tecnologia de Nara (Japão) e da Universidade de Ciência e Tecnologia de Zhejiang publicou um estudo de referência intitulado 'Balanceamento de máscara: aprimoramento de visibilidade dinâmica orientado por percepção para monitores ópticos transparentes com capacidade de oclusão' na prestigiada revista IEEE Transactions on Visualization and Computer Graphics . O estudo apresenta uma solução inovadora de 'Balanceamento de máscara' que aborda um desafio crítico da indústria - transmitância de luz excessivamente baixa no mundo real em monitores ópticos transparentes de AR (OC-OSTHMDs) com capacidade de oclusão - otimizando simultaneamente os caminhos ópticos de polarização e a percepção visual humana, eliminando assim um obstáculo importante à comercialização de óculos AR de nível industrial e de consumo.

I. Ponto problemático da indústria central: a oclusão em nível de pixel causa perda irreversível de luminância

Head-mounted displays ópticos AR transparentes (OC-OSTHMDs) capazes de oclusão mútua entre elementos virtuais e reais são essenciais para renderizar objetos virtuais com profundidade realista e integração perfeita no ambiente físico. Eles utilizam moduladores de luz espacial (SLMs) para obter oclusão de imagem em nível de pixel, resolvendo assim o problema do 'fantasma flutuante' associado a imagens virtuais em sistemas tradicionais de AR semitransparentes. No entanto, as arquiteturas ópticas existentes sofrem de uma desvantagem inevitável em relação à transmissão de luz:

1. Para obter o efeito de oclusão, a luz da cena do mundo real deve sofrer polarização, resultando em uma perda imediata de brilho de 50%;

2. A atenuação do sinal causada pelo empilhamento de múltiplos componentes – como SLMs, Polarizing Beam Splitters (PBS) e combinadores ópticos – limita a transmissão máxima teórica de luz a menos de 20%, com protótipos reais frequentemente atingindo menos de 7%;

3. Múltiplas reflexões de caminho óptico e perdas espectrais de componentes de polarização reduzem ainda mais o brilho ambiente; em ambientes internos escuros, a visão do mundo real torna-se excessivamente escura, dificultando a observação e a interação do usuário e, ao mesmo tempo, apresentando riscos à segurança.

As soluções anteriores se concentraram principalmente em iterações de hardware – como aumentar a transmitância SLM, mudar para tecnologias reflexivas LCoS/DMD ou explorar materiais fotocrômicos. No entanto, os componentes ópticos enfrentam limites físicos na transmissão de luz, e as abordagens fotocrômicas sofrem de desvantagens como tempos de resposta lentos e precisão insuficiente de oclusão no nível de pixel, falhando em resolver fundamentalmente o conflito entre os níveis de brilho do mundo virtual e do mundo real. Equilibrar a necessidade de profundidade de oclusão realista para objetos virtuais com a exigência de alta visibilidade do mundo real tornou-se o gargalo crítico para a comercialização em massa de dispositivos AR de próxima geração.

II. Inovação Técnica: Fusão de Caminho Óptico de Polarização Dupla + Modulação Dinâmica Orientada à Percepção

Indo além da abordagem de apenas melhorar componentes de hardware individuais, a equipe da Universidade Jiao Tong de Xangai propôs um 'método de equilíbrio de máscara'. Este método combina modificações de caminho óptico de polarização de baixo custo com um modelo quantitativo de percepção visual humana para ajustar dinamicamente a taxa de transmissão de luz entre a cena do mundo real e as imagens virtuais. Toda a solução requer apenas a adição de um polarizador linear rotativo (Balancing LP) a um OC-OSTHMD (Optical See-Through Head-Mounted Display) existente, oferecendo alta compatibilidade e baixos custos de modificação.

1. Arquitetura de fusão óptica de dupla polarização

A luz natural é dividida por um divisor de feixe polarizador em dois caminhos de polarização independentes, cada um servindo uma função específica:

caminho de oclusão de polarização s (mascarando a visão): passa pelo sistema óptico AR original e utiliza um SLM para obter oclusão em nível de pixel do mundo real por conteúdo virtual, proporcionando uma sensação de profundidade espacial, embora com perda significativa de luz;

Caminho de transmissão direta de polarização p (visão nativa do mundo real): Ignora todos os componentes ópticos relacionados à oclusão, preservando totalmente o brilho original da cena ambiente sem atenuação de luz adicional.

O sistema emprega um módulo rotativo para ajustar o ângulo φ entre o polarizador linear e o divisor de feixe polarizador, controlando com precisão as relações de transmissão da luz do mundo real e da luz da imagem virtual. As taxas de transmissão são regidas pelas seguintes fórmulas: transmissão direta no mundo real (T_{pass} = cos^2φ); e transmissão para a visão obstruída do mundo real e imagem virtual (T_{mask}/T_{image} = sin^2φ cdot T_{HMD}/T_{display}). O ajuste deste ângulo permite a mudança em tempo real da ponderação visual: em ambientes com pouca luz, a proporção do caminho de transmissão direta é aumentada para iluminar a visão do mundo real; em ambientes com muita luz, a taxa de transmissão direta é reduzida para melhorar o contraste dos objetos virtuais.

2. Sistema de modulação em tempo real baseado em percepção

Toda a lógica de balanceamento dinâmico opera em tempo real com base em uma abordagem de sensor duplo – combinando rastreamento ocular com análise visual de cena – e se alinha com os princípios da percepção visual humana, em vez de depender apenas de cálculos baseados em especificações de hardware óptico:

Avaliação da visibilidade do mundo real: Uma câmera de cena captura a visão do mundo real e a imagem é decomposta em sete níveis de passagem de banda usando uma pirâmide de contraste Peli. O sistema seleciona o contraste Root Mean Square (RMS) da banda de frequência média de 4,7 cpd (ciclos por grau) como métrica de avaliação. Ao integrar a Função de Sensibilidade ao Contraste Barten (Barten CSF) com os dados do diâmetro da pupila da câmera de rastreamento ocular, o sistema calcula – em tempo real – o limite mínimo de contraste necessário para que o olho humano perceba a cena do mundo real. Se a visibilidade cair abaixo deste padrão, o sistema ajusta automaticamente o ângulo de polarização para aumentar o brilho do caminho óptico direto.

Avaliação de visibilidade de objetos virtuais: A análise de densidade espectral de potência (PSD) é realizada em modelos virtuais para distinguir entre modelos texturizados de alta frequência (por exemplo, árvores de bordo, árvores de Natal) e modelos minimalistas de baixa frequência (por exemplo, coelhos, bules), com contraste de Weber usado para quantificar a clareza das imagens virtuais. A equipe calibrou os limiares de percepção por meio de dois conjuntos de experimentos humanos: o contraste crítico de Weber para reconhecer texturas virtuais foi determinado em 0,537, enquanto o limiar crítico para reconhecer efeitos de iluminação e sombra foi de 0,443. Quando o contraste da imagem virtual cai abaixo desses limites, o sistema aumenta automaticamente a ponderação do caminho óptico de oclusão para melhorar a textura percebida e a definição dos objetos virtuais.

O sistema emprega um filtro Kalman para suavizar os dados flutuantes da pupila capturados pela câmera de rastreamento ocular, eliminando o ruído do equipamento e garantindo um ajuste suave e estável durante as transições entre diferentes condições de iluminação. O conjunto de algoritmos opera usando paralelismo dual-thread, com análise de imagem de cena sendo executada independentemente do thread de renderização principal; isso resulta em baixa sobrecarga computacional, tornando-o compatível com os principais mecanismos de renderização de AR em tempo real.

III. Experimentos de percepção humana: quantificando limites visuais e validando o esquema proposto

Para estabelecer uma linha de base precisa para o equilíbrio perceptivo, a equipe conduziu três conjuntos de experimentos de usuário padronizados – todos aprovados pelo Comitê de Ética em Pesquisa em Seres Humanos da Universidade Jiao Tong de Xangai – recrutando um total de 36 participantes com experiência em RA ou computação gráfica.

1. Experimento de percepção de textura virtual (12 participantes): Texturas de tamanhos grandes, médios e pequenos foram usadas para simular objetos virtuais com frequências espaciais variadas, cobrindo quatro níveis de iluminância ambiente interno (29–626 cd/m²). Os resultados mostraram que texturas finas de alta frequência exigiam maior contraste para reconhecimento visual, enquanto os limiares de reconhecimento para modelos de média e baixa frequência diferiam minimamente. Fatores como gênero, experiência de uso de RA e tamanho da pupila não tiveram impacto significativo nos limiares de percepção, indicando padrões perceptivos altamente consistentes em todo o grupo de participantes.

2. Experiência virtual de iluminação e percepção de sombras (24 participantes): Modelos virtuais emparelhados (por exemplo, bule, robô, árvore de Natal) – um com reflexos de iluminação/sombra e outro sem – foram comparados. Os participantes ajustaram o ângulo de polarização até que os dois modelos parecessem visualmente idênticos. O experimento demonstrou que os efeitos de iluminação e sombra contêm inerentemente detalhes de alta frequência, permitindo que sejam facilmente distinguidos mesmo em modelos geométricos de baixa frequência; a frequência espacial não mostrou efeito estatisticamente significativo nos limiares de percepção de iluminação e sombras.

3. Experiência comparativa abrangente em cenários de iluminação múltipla (12 participantes): Um protótipo de mesa foi construído para simular quatro condições de iluminação do mundo real: luzes internas apagadas (8 cd/m²), luzes internas acesas (135 cd/m²), sombra externa (287 cd/m²) e luz externa brilhante (414 cd/m²). Uma comparação cega foi realizada entre três condições: a solução proposta (MB), AR não ocluída tradicional (AR) e headsets de oclusão estática (OC).

· Ambientes internos com pouca luz: a AR tradicional manteve a liderança (47%), seguida de perto por esta solução (44%), enquanto os dispositivos de oclusão tradicionais ficaram atrás com apenas 8%;

· Ambientes interiores claros: Esta solução liderou com uma taxa de preferência de 42%;

· Cenários exteriores com muita luz/sombreamento: Esta solução obteve taxas de preferência de 58% e 53% respetivamente, superando significativamente as soluções tradicionais;

· Avaliação geral: 50% dos participantes preferiram o sistema de equilíbrio baseado em máscara, 36% escolheram headsets de oclusão tradicionais e apenas 14% optaram pela AR transparente padrão.

As imagens do mundo real demonstram claramente as diferenças: com a AR tradicional baseada em oclusão, a visão do mundo real parece bastante desbotada em todos os ambientes; com AR sem oclusão padrão, o conteúdo virtual praticamente desaparece sob luz externa intensa; em contraste, a tecnologia de equilíbrio de máscara ajusta o brilho de forma adaptativa – mantendo uma visão clara do mundo real em ambientes internos enquanto preserva totalmente as texturas, iluminação e sombras de objetos virtuais em condições externas de muita luz – garantindo assim uma experiência visual ideal em ambos os cenários.

4. Valor da aplicação e mudança de paradigma em todo o setor

1. Diversos cenários de implementação

Este avanço tecnológico vai além dos óculos AR de consumo, oferecendo imenso valor prático em ambientes industriais profissionais:

· O&M Industrial: Sobreposição de plantas e anotações durante a manutenção de equipamentos, mantendo uma visão clara da estrutura físico-mecânica;

· Assistência médica: Sobreposição de imagens intraoperatórias e treinamento de reabilitação, combinando a visão do mundo real do corpo humano com anotações digitais;

· Aplicações como educação e treinamento, navegação em veículos, colaboração remota e projeto arquitetônico, melhorando significativamente a usabilidade do dispositivo AR em ambientes de iluminação complexos.

2. Uma nova abordagem para design de display AR

Esta pesquisa propõe uma mudança de paradigma na indústria: embora o design óptico de AR anteriormente se concentrasse principalmente na otimização de parâmetros físicos, como transmissão de luz e resolução de hardware, este estudo demonstra que a percepção visual humana é uma dimensão crítica do design que não pode ser negligenciada. Pesquisas anteriores da equipe confirmaram uma discrepância significativa entre a percepção visual humana real e as medições feitas por instrumentos ópticos, indicando que a otimização do hardware por si só não pode alcançar a melhor experiência visual. Um esquema de controle baseado na percepção pode superar as limitações físicas do hardware óptico; ele melhora simultaneamente a qualidade das imagens virtuais e do mundo real — sem comprometer o tamanho ou o custo do dispositivo — ao mesmo tempo que garante o conforto visual do usuário e a segurança operacional.

V. Limitações atuais e direções futuras de pesquisas

Ainda há espaço para otimização no protótipo de desktop atual, e a equipe planejou as seguintes direções para futuras iterações:

Otimização da precisão da oclusão: O brilho no mundo real pode causar um leve vazamento de luz nos limites da oclusão; melhorias futuras irão mitigar isso integrando micro-OLEDs de alto brilho, algoritmos de compensação de cores e estratégias de balanceamento orientadas a tarefas (priorizando a precisão da oclusão virtual em cenas modeladas de alta precisão).

Ajuste suave de brilho: As velocidades de rotação da polarização atual são altas, levando a mudanças abruptas de brilho que podem causar desconforto visual; o desenvolvimento futuro se concentrará em algoritmos para transições de brilho graduais e contínuas.

Protótipo de adaptação binocular: O dispositivo atual é monocular; a próxima etapa envolve a construção de um sistema de equilíbrio de máscara binocular e a incorporação de um modelo de percepção de contraste visual binocular.

Classificação espectral automática de objetos: permite o reconhecimento automático em tempo real de recursos de alta e baixa frequência de objetos virtuais, eliminando a necessidade de configuração manual de limites de percepção.

A tecnologia de equilíbrio de máscara proposta pela equipe da Universidade Jiao Tong de Xangai resolve o conflito de brilho de longa data que tem dificultado a adoção generalizada da AR óptica transparente. Ao combinar melhorias de hardware para caminhos ópticos de polarização dupla com um algoritmo de balanceamento dinâmico orientado à percepção, a solução é fácil de implementar e compatível com as principais arquiteturas ópticas AR. Validado através de extensos experimentos com sujeitos humanos e diversos cenários de iluminação, ele melhora simultaneamente a visibilidade do ambiente do mundo real e a textura realista de objetos virtuais em todas as condições – desde ambientes internos escuros até ambientes externos claros. Ao integrar profundamente a ciência da percepção visual com a engenharia de exibição perto do olho, esta tecnologia abre um novo caminho de otimização para óculos AR de próxima geração, oferecendo uma solução viável para a implantação de dispositivos AR durante todo o dia e no mundo real nos setores de consumo, industrial e médico, avançando assim a AR óptica transparente de protótipos de laboratório a produtos práticos.

Fonte: CINNO