Percée majeure pour les lunettes AR ! Une équipe de l'Université Jiao Tong de Shanghai a proposé un système d'équilibrage des masques, surmontant le défi de la transmission de la lumière dans les écrans AR compatibles avec l'occlusion.

En 2026, une équipe collaborative comprenant des chercheurs de l'Université Jiao Tong de Shanghai, de l'Université de technologie de Graz (Autriche), de l'Institut des sciences et technologies de Nara (Japon) et de l'Université des sciences et technologies du Zhejiang a publié une étude historique intitulée « Mask Balancing: Perception-Driven Dynamic Visibility Enhancement for Occlusion-Capable Optical See-Through Head-Mounted Displays » dans la prestigieuse revue IEEE Transactions on Visualization and Computer Graphics . L'étude présente une solution innovante de « équilibrage des masques » qui répond à un défi critique de l'industrie : une transmission de la lumière réelle excessivement faible dans les visiocasques AR optiques transparents capables d'occlusion (OC-OSTHMD) - en optimisant simultanément les chemins optiques de polarisation et la perception visuelle humaine, éliminant ainsi un obstacle clé à la commercialisation de lunettes AR de qualité grand public et industrielle.

I. Point sensible de l'industrie principale : l'occlusion au niveau des pixels entraîne une perte irréversible de luminance

Les visiocasques AR optiques transparents (OC-OSTHMD) capables d'occlusion mutuelle entre les éléments virtuels et réels sont essentiels pour restituer des objets virtuels avec une profondeur réaliste et une intégration transparente dans l'environnement physique. Ils utilisent des modulateurs spatiaux de lumière (SLM) pour obtenir une occlusion d'image au niveau des pixels, résolvant ainsi le problème du « fantôme flottant » associé aux images virtuelles dans les systèmes AR semi-transparents traditionnels. Cependant, les architectures optiques existantes souffrent d'un inconvénient incontournable concernant la transmission de la lumière :

1. Pour obtenir l'effet d'occlusion, la lumière de la scène réelle doit subir une polarisation, ce qui entraîne une perte immédiate de luminosité de 50 % ;

2. L'atténuation du signal provoquée par l'empilement de plusieurs composants, tels que les SLM, les séparateurs de faisceau polarisant (PBS) et les combineurs optiques, limite la transmission lumineuse maximale théorique à moins de 20 %, les prototypes réels atteignant souvent moins de 7 % ;

3. Les réflexions multiples du chemin optique et les pertes spectrales dues aux composants de polarisation réduisent encore davantage la luminosité ambiante ; dans des environnements intérieurs sombres, la vue du monde réel devient excessivement sombre, ce qui gêne l'observation et l'interaction de l'utilisateur tout en posant des risques pour la sécurité.

Les solutions précédentes se concentraient principalement sur les itérations matérielles, telles que l'augmentation de la transmission SLM, le passage aux technologies réfléchissantes LCoS/DMD ou l'exploration des matériaux photochromiques. Cependant, les composants optiques sont confrontés à des limites physiques en matière de transmission de la lumière, et les approches photochromiques souffrent d'inconvénients tels que des temps de réponse lents et une précision d'occlusion insuffisante au niveau des pixels, ne parvenant pas à résoudre fondamentalement le conflit entre les niveaux de luminosité virtuels et réels. Trouver un équilibre entre le besoin d’une profondeur d’occlusion réaliste pour les objets virtuels et l’exigence d’une grande visibilité du monde réel est devenu le goulot d’étranglement critique pour la commercialisation massive des dispositifs AR de nouvelle génération.

II. Innovation technique : Fusion de chemin optique à double polarisation + Modulation dynamique basée sur la perception

Allant au-delà de l'approche consistant simplement à améliorer des composants matériels individuels, l'équipe de l'Université Jiao Tong de Shanghai a proposé une « méthode d'équilibrage des masques ». Cette méthode combine des modifications à faible coût du chemin optique de polarisation avec un modèle quantitatif de perception visuelle humaine pour ajuster dynamiquement le rapport de transmission de la lumière entre la scène du monde réel et l'imagerie virtuelle. L'ensemble de la solution nécessite uniquement l'ajout d'un polariseur linéaire rotatif (Balancing LP) à un OC-OSTHMD (Optical See-Through Head-Mounted Display) existant, offrant une compatibilité élevée et de faibles coûts de modification.

1. Architecture de fusion optique à double polarisation

La lumière naturelle est divisée par un séparateur de faisceau polarisant en deux chemins de polarisation indépendants, chacun remplissant une fonction spécifique :

Chemin d'occlusion de polarisation S (masquage de la vision) : traverse le système optique AR d'origine et utilise un SLM pour obtenir une occlusion au niveau des pixels du monde réel par un contenu virtuel, offrant une impression de profondeur spatiale, bien qu'avec une perte de lumière importante ;

Voie de transmission directe à polarisation P (vision native du monde réel) : contourne tous les composants optiques liés à l'occlusion, préservant ainsi entièrement la luminosité d'origine de la scène ambiante sans atténuation supplémentaire de la lumière.

Le système utilise un module rotatif pour ajuster l'angle φ entre le polariseur linéaire et le séparateur de faisceau polarisant, contrôlant avec précision les rapports de transmission de la lumière du monde réel et de la lumière de l'image virtuelle. Les taux de transmission sont régis par les formules suivantes : transmission directe dans le monde réel (T_{pass} = cos^2φ) ; et transmission pour la vue du monde réel occluse et l'image virtuelle (T_{mask}/T_{image} = sin^2φ cdot T_{HMD}/T_{display}). Le réglage de cet angle permet une commutation en temps réel de la pondération visuelle : dans les environnements faiblement éclairés, la proportion du trajet de transmission directe est augmentée pour éclaircir la vue du monde réel ; dans les environnements très lumineux, le rapport de transmission directe est réduit pour améliorer le contraste des objets virtuels.

2. Système de modulation en temps réel basé sur la perception

L'ensemble de la logique d'équilibrage dynamique fonctionne en temps réel sur la base d'une approche à deux capteurs (combinant le suivi oculaire et l'analyse visuelle de la scène) et s'aligne sur les principes de la perception visuelle humaine plutôt que de s'appuyer uniquement sur des calculs basés sur des spécifications matérielles optiques :

Évaluation de la visibilité dans le monde réel : une caméra de scène capture la vue du monde réel et l'image est décomposée en sept niveaux passe-bande à l'aide d'une pyramide de contraste Peli. Le système sélectionne le contraste Root Mean Square (RMS) de la bande de fréquence moyenne de 4,7 cpd (cycles par degré) comme mesure d'évaluation. En intégrant la fonction de sensibilité au contraste de Barten (Barten CSF) aux données de diamètre de pupille provenant de la caméra de suivi oculaire, le système calcule, en temps réel, le seuil de contraste minimum requis pour que l'œil humain perçoive la scène du monde réel. Si la visibilité tombe en dessous de cette norme, le système ajuste automatiquement l'angle de polarisation pour augmenter la luminosité du chemin optique direct.

Évaluation de la visibilité des objets virtuels : une analyse de densité spectrale de puissance (PSD) est effectuée sur des modèles virtuels pour distinguer les modèles texturés à haute fréquence (par exemple, les érables, les arbres de Noël) et les modèles minimalistes à basse fréquence (par exemple, les lapins, les théières), le contraste Weber étant utilisé pour quantifier la clarté de l'imagerie virtuelle. L'équipe a calibré les seuils de perception à travers deux séries d'expériences sur des sujets humains : le contraste Weber critique pour reconnaître les textures virtuelles a été déterminé à 0,537, tandis que le seuil critique pour reconnaître les effets d'éclairage et d'ombre était de 0,443. Lorsque le contraste de l'image virtuelle tombe en dessous de ces seuils, le système augmente automatiquement la pondération du chemin optique d'occlusion pour améliorer la texture perçue et la définition des objets virtuels.

Le système utilise un filtre de Kalman pour lisser les données fluctuantes de la pupille capturées par la caméra de suivi oculaire, éliminant ainsi le bruit de l'équipement et garantissant un ajustement fluide et stable lors des transitions entre différentes conditions d'éclairage. La suite d'algorithmes fonctionne en utilisant un parallélisme à double thread, l'analyse des images de scène s'exécutant indépendamment du thread de rendu principal ; cela entraîne une faible surcharge de calcul, ce qui le rend compatible avec les moteurs de rendu en temps réel AR traditionnels.

III. Expériences de perception humaine : quantification des seuils visuels et validation du schéma proposé

Pour établir une base de référence précise pour l'équilibre perceptuel, l'équipe a mené trois séries d'expériences utilisateur standardisées, toutes approuvées par le comité d'éthique de la recherche humaine de l'université Jiao Tong de Shanghai, recrutant un total de 36 participants ayant une expérience en RA ou en infographie.

1. Expérience de perception de texture virtuelle (12 participants) : des textures de grandes, moyennes et petites tailles ont été utilisées pour simuler des objets virtuels avec des fréquences spatiales variables, couvrant quatre niveaux d'éclairement ambiant intérieur (29 à 626 cd/m²). Les résultats ont montré que les textures fines à haute fréquence nécessitaient un contraste plus élevé pour la reconnaissance visuelle, alors que les seuils de reconnaissance pour les modèles à moyenne et basse fréquence différaient peu. Des facteurs tels que le sexe, l'expérience d'utilisation de la RA et la taille des élèves n'ont eu aucun impact significatif sur les seuils de perception, indiquant des modèles de perception très cohérents au sein du groupe de participants.

2. Expérience virtuelle de perception de l'éclairage et des ombres (24 participants) : des modèles virtuels appariés (par exemple, une théière, un robot, un arbre de Noël) – un avec des reflets d'éclairage/d'ombre et un sans – ont été comparés. Les participants ont ajusté l’angle de polarisation jusqu’à ce que les deux modèles apparaissent visuellement identiques. L'expérience a démontré que les effets d'éclairage et d'ombre contiennent intrinsèquement des détails à haute fréquence, ce qui leur permet d'être facilement distingués même sur des modèles géométriques à basse fréquence ; la fréquence spatiale n'a montré aucun effet statistiquement significatif sur les seuils de perception de l'éclairage et des ombres.

3. Expérience comparative complète dans des scénarios multi-éclairage (12 participants) : Un prototype de table a été construit pour simuler quatre conditions d'éclairage du monde réel : lumières intérieures éteintes (8 cd/m²), lumières intérieures allumées (135 cd/m²), extérieur ombragé (287 cd/m²) et lumière vive extérieure (414 cd/m²). Une comparaison aveugle a été menée entre trois conditions : la solution proposée (MB), l'AR non obstrué traditionnel (AR) et les casques d'occlusion statique (OC).

· Environnements intérieurs à faible luminosité : la réalité augmentée traditionnelle était en tête (47 %), suivie de près par cette solution (44 %), tandis que les dispositifs d'occlusion traditionnels étaient à la traîne avec seulement 8 % ;

· Environnements intérieurs lumineux : cette solution a obtenu un taux de préférence de 42 % ;

· Scénarios extérieurs lumineux/ombragés : cette solution a atteint des taux de préférence de 58 % et 53 % respectivement, surpassant largement les solutions traditionnelles ;

· Évaluation globale : 50 % des participants ont préféré le système d'équilibrage basé sur un masque, 36 % ont choisi les casques d'occlusion traditionnels et seulement 14 % ont opté pour la RA transparente standard.

Les images du monde réel démontrent clairement les différences : avec la RA traditionnelle basée sur l'occlusion, la vue du monde réel semble gravement délavée dans tous les environnements ; avec la RA sans occlusion standard, le contenu virtuel disparaît pratiquement sous une lumière extérieure vive ; en revanche, la technologie d'équilibrage des masques ajuste la luminosité de manière adaptative, en maintenant une vision claire du monde réel à l'intérieur tout en préservant pleinement les textures, l'éclairage et les ombres des objets virtuels dans des conditions extérieures lumineuses, garantissant ainsi une expérience visuelle optimale dans les deux scénarios.

IV. Valeur des applications et changement de paradigme à l’échelle de l’industrie

1. Divers scénarios de mise en œuvre

Cette avancée technologique s'étend au-delà des lunettes AR grand public, offrant une immense valeur pratique dans les environnements industriels professionnels :

· O&M industriel : superposition des plans et des annotations lors de la maintenance des équipements tout en conservant une vue claire de la structure mécanique physique ;

· Assistance médicale : superposition d'images peropératoires et formation en rééducation, combinant la vision réelle du corps humain avec des annotations numériques ;

· Des applications telles que l'éducation et la formation, la navigation embarquée, la collaboration à distance et la conception architecturale, améliorant considérablement la convivialité des appareils AR dans des environnements d'éclairage complexes.

2. Une nouvelle approche de la conception d'écrans AR

Cette recherche propose un changement de paradigme dans l'industrie : alors que la conception optique AR se concentrait auparavant principalement sur l'optimisation de paramètres physiques tels que la transmission matérielle de la lumière et la résolution, cette étude démontre que la perception visuelle humaine est une dimension de conception critique qui ne peut être négligée. Des recherches antérieures menées par l'équipe ont confirmé un écart significatif entre la perception visuelle humaine réelle et les mesures prises par les instruments optiques, indiquant que l'optimisation du matériel à elle seule ne peut pas permettre d'obtenir la meilleure expérience visuelle. Un système de contrôle basé sur la perception peut surmonter les limitations physiques du matériel optique ; il améliore simultanément la qualité des images virtuelles et réelles, sans compromettre la taille ou le coût de l'appareil, tout en garantissant le confort visuel de l'utilisateur et la sécurité opérationnelle.

V. Limites actuelles et orientations futures de la recherche

Il y a encore de la place pour l'optimisation dans le prototype de bureau actuel, et l'équipe a prévu les orientations suivantes pour les itérations futures :

Optimisation de la précision de l'occlusion : l'éclaircissement réel peut provoquer de légères fuites de lumière aux limites de l'occlusion ; les améliorations futures atténueront ce problème en intégrant des micro-OLED à haute luminosité, des algorithmes de compensation des couleurs et des stratégies d'équilibrage orientées tâches (en donnant la priorité à la précision de l'occlusion virtuelle dans les scènes modélisées de haute précision).

Réglage fluide de la luminosité : les vitesses de rotation de polarisation actuelles sont élevées, entraînant des changements brusques de luminosité pouvant provoquer un inconfort visuel ; les développements futurs se concentreront sur des algorithmes permettant des transitions de luminosité fluides et progressives.

Prototype d'adaptation binoculaire : L'appareil actuel est monoculaire ; la prochaine étape consiste à construire un système d’équilibrage de masque binoculaire et à incorporer un modèle binoculaire de perception du contraste visuel.

Classification spectrale automatique des objets : permet la reconnaissance automatique en temps réel des caractéristiques hautes et basses fréquences des objets virtuels, éliminant ainsi le besoin de configuration manuelle des seuils de perception.

La technologie d'équilibrage des masques proposée par l'équipe de l'Université Jiao Tong de Shanghai résout le conflit de luminosité de longue date qui a entravé l'adoption généralisée de la RA optique transparente. En combinant des améliorations matérielles pour les chemins optiques à double polarisation avec un algorithme d'équilibrage dynamique basé sur la perception, la solution est facile à mettre en œuvre et compatible avec les architectures optiques AR traditionnelles. Validée par de nombreuses expériences sur des sujets humains et divers scénarios d'éclairage, elle améliore simultanément la visibilité de l'environnement réel et la texture réaliste des objets virtuels dans toutes les conditions, des environnements intérieurs sombres aux environnements extérieurs lumineux. En intégrant profondément la science de la perception visuelle à l'ingénierie de l'affichage à proximité de l'œil, cette technologie ouvre une nouvelle voie d'optimisation pour les lunettes AR de nouvelle génération, offrant une solution viable pour le déploiement quotidien et réel d'appareils AR dans les secteurs grand public, industriel et médical, faisant ainsi progresser la RA optique transparente des prototypes de laboratoire aux produits pratiques.

Source : CINNO