Grote doorbraak voor AR-brillen! Een team van de Shanghai Jiao Tong Universiteit heeft een maskerbalanceringsplan voorgesteld, waarmee de uitdaging van lichttransmissie in AR-displays die voor occlusie geschikt zijn, wordt overwonnen.

In 2026 publiceerde een samenwerkend team bestaande uit onderzoekers van de Shanghai Jiao Tong University, de Graz University of Technology (Oostenrijk), het Nara Institute of Science and Technology (Japan) en de Zhejiang University of Science and Technology een baanbrekend onderzoek met de titel 'Mask Balancing: Perception-Driven Dynamic Visibility Enhancement for Occlusion-Capable Optical See-Through Head-Mounted Displays' in het prestigieuze tijdschrift IEEE Transactions on Visualization and Computer Graphics . De studie introduceert een innovatieve 'Mask Balancing'-oplossing die een kritieke uitdaging in de sector aanpakt – een te lage lichttransmissie in de echte wereld in occlusie-compatibele optische doorzichtige AR-head-mounted displays (OC-OSTHMD's) – door tegelijkertijd optische polarisatiepaden en menselijke visuele perceptie te optimaliseren, waardoor een belangrijk obstakel wordt weggenomen voor de commercialisering van AR-brillen van consumenten- en industriële kwaliteit.

I. Pijnpunt in de kernsector: occlusie op pixelniveau veroorzaakt onomkeerbaar verlies van luminantie

Optische doorzichtige AR-head-mounted displays (OC-OSTHMD's) die in staat zijn tot wederzijdse occlusie tussen virtuele en echte elementen zijn essentieel voor het weergeven van virtuele objecten met realistische diepte en naadloze integratie in de fysieke omgeving. Ze maken gebruik van ruimtelijke lichtmodulatoren (SLM's) om beeldocclusie op pixelniveau te bereiken, waardoor het 'zwevende fantoom'-probleem wordt opgelost dat gepaard gaat met virtuele beelden in traditionele semi-transparante AR-systemen. Bestaande optische architecturen lijden echter aan een onvermijdelijk nadeel met betrekking tot lichttransmissie:

1. Om het occlusie-effect te bereiken moet licht uit de echte wereld polarisatie ondergaan, wat resulteert in een onmiddellijk verlies van 50% aan helderheid;

2. Signaalverzwakking veroorzaakt door het stapelen van meerdere componenten, zoals SLM's, Polarizing Beam Splitters (PBS) en optische combiners, beperkt de theoretische maximale lichttransmissie tot minder dan 20%, terwijl daadwerkelijke prototypes vaak minder dan 7% bereiken;

3. Meerdere optische padreflecties en spectrale verliezen door polarisatiecomponenten verminderen de omgevingshelderheid verder; in schemerige binnenomgevingen wordt het beeld van de echte wereld buitengewoon donker, wat de observatie en interactie van de gebruiker belemmert en tegelijkertijd veiligheidsrisico's met zich meebrengt.

Eerdere oplossingen waren vooral gericht op hardware-iteraties, zoals het vergroten van de SLM-transmissie, het overschakelen naar reflecterende LCoS/DMD-technologieën of het verkennen van fotochrome materialen. Optische componenten worden echter geconfronteerd met fysieke beperkingen op het gebied van lichttransmissie, en fotochrome benaderingen hebben te kampen met nadelen zoals trage responstijden en onvoldoende occlusieprecisie op pixelniveau, waardoor het conflict tussen virtuele en reële helderheidsniveaus niet fundamenteel kan worden opgelost. Het balanceren van de behoefte aan realistische occlusiediepte voor virtuele objecten met de eis van hoge zichtbaarheid van de echte wereld is het kritische knelpunt geworden voor de massale commercialisering van AR-apparaten van de volgende generatie.

II. Technische innovatie: Dual-polarisatie optische padfusie + perceptiegestuurde dynamische modulatie

Het team van de Shanghai Jiao Tong Universiteit ging verder dan de aanpak van louter het verbeteren van individuele hardwarecomponenten en stelde een 'maskerbalanceringsmethode' voor. Deze methode combineert goedkope optische padmodificaties met polarisatie met een kwantitatief model van menselijke visuele perceptie om de lichttransmissieverhouding tussen de scène in de echte wereld en de virtuele beelden dynamisch aan te passen. De hele oplossing vereist alleen de toevoeging van een roterende lineaire polarisator (Balancing LP) aan een bestaande OC-OSTHMD (Optical See-Through Head-Mounted Display), wat een hoge compatibiliteit en lage aanpassingskosten biedt.

1. Dual-polarisatie optische fusie-architectuur

Natuurlijk licht wordt door een polariserende bundelsplitser gesplitst in twee onafhankelijke polarisatiepaden, die elk een specifieke functie vervullen:

s-polarisatie-occlusiepad (maskerende visie): Gaat door het originele optische AR-systeem en maakt gebruik van een SLM om occlusie op pixelniveau van de echte wereld te bereiken door virtuele inhoud, wat een gevoel van ruimtelijke diepte geeft, zij het met aanzienlijk lichtverlies;

p-polarisatie directe transmissiepad (native real-world vision): Omzeilt alle occlusiegerelateerde optische componenten, waardoor de oorspronkelijke helderheid van de omgevingsscène volledig behouden blijft zonder extra lichtverzwakking.

Het systeem maakt gebruik van een roterende module om de hoek φ tussen de lineaire polarisator en de polariserende bundelsplitser aan te passen, waardoor de transmissieverhoudingen van het echte licht en het virtuele beeldlicht nauwkeurig worden geregeld. De transmissiesnelheden worden bepaald door de volgende formules: directe transmissie in de echte wereld (T_{pass} = cos^2φ); en transmissie voor het afgesloten zicht in de echte wereld en het virtuele beeld (T_{mask}/T_{image} = sin^2φ cdot T_{HMD}/T_{display}). Door deze hoek aan te passen, kan de visuele weging in realtime worden geschakeld: in omgevingen met weinig licht wordt het aandeel van het directe transmissiepad vergroot om het beeld in de echte wereld helderder te maken; in omgevingen met veel licht wordt de directe transmissieverhouding verlaagd om het contrast van virtuele objecten te verbeteren.

2. Perceptiegestuurd real-time modulatiesysteem

De gehele dynamische balanceringslogica werkt in realtime op basis van een dubbele sensorbenadering – waarbij eye-tracking wordt gecombineerd met visuele analyse van scènes – en komt overeen met de principes van menselijke visuele perceptie in plaats van uitsluitend te vertrouwen op berekeningen op basis van optische hardwarespecificaties:

Beoordeling van de zichtbaarheid in de echte wereld: een scènecamera legt het beeld in de echte wereld vast en het beeld wordt opgesplitst in zeven banddoorlaatniveaus met behulp van een Peli-contrastpiramide. Het systeem selecteert het Root Mean Square (RMS)-contrast van de middenfrequentieband van 4,7 cpd (cycli per graad) als evaluatiemetriek. Door de Barten Contrast Sensitivity Function (Barten CSF) te integreren met gegevens over de pupildiameter van de eye-tracking camera, berekent het systeem in realtime de minimale contrastdrempel die nodig is voor het menselijk oog om de scène in de echte wereld waar te nemen. Als de zichtbaarheid onder deze norm daalt, past het systeem automatisch de polarisatiehoek aan om de helderheid van het directe optische pad te vergroten.

Beoordeling van de zichtbaarheid van virtuele objecten: Power Spectral Density (PSD)-analyse wordt uitgevoerd op virtuele modellen om onderscheid te maken tussen hoogfrequente getextureerde modellen (bijv. esdoorns, kerstbomen) en laagfrequente minimalistische modellen (bijv. konijnen, theepotten), waarbij Weber-contrast wordt gebruikt om de helderheid van de virtuele beelden te kwantificeren. Het team kalibreerde perceptuele drempels door middel van twee reeksen mens-proefpersoon-experimenten: het kritische Weber-contrast voor het herkennen van virtuele texturen werd vastgesteld op 0,537, terwijl de kritische drempel voor het herkennen van licht- en schaduweffecten 0,443 was. Wanneer het contrast van het virtuele beeld onder deze drempelwaarden daalt, verhoogt het systeem automatisch de weging van het optische occlusiepad om de waargenomen textuur en definitie van de virtuele objecten te verbeteren.

Het systeem maakt gebruik van een Kalman-filter om fluctuerende pupilgegevens die door de eye-trackingcamera worden vastgelegd, glad te strijken, apparatuurruis te elimineren en een soepele, stabiele aanpassing te garanderen tijdens overgangen tussen verschillende lichtomstandigheden. De algoritmesuite werkt met behulp van dual-thread parallellisme, waarbij de analyse van scènebeelden onafhankelijk van de hoofdrenderingthread wordt uitgevoerd; dit resulteert in een lage rekenkracht, waardoor het compatibel is met reguliere AR real-time rendering-engines.

III. Menselijke perceptie-experimenten: visuele drempels kwantificeren en het voorgestelde schema valideren

Om een ​​precieze basislijn voor perceptueel evenwicht vast te stellen, voerde het team drie sets gestandaardiseerde gebruikersexperimenten uit – allemaal goedgekeurd door de Human Research Ethics Committee van de Shanghai Jiao Tong Universiteit – waarbij in totaal 36 deelnemers werden gerekruteerd met ervaring in AR of computergraphics.

1. Experiment voor virtuele textuurperceptie (12 deelnemers): Texturen van grote, middelgrote en kleine afmetingen werden gebruikt om virtuele objecten met variërende ruimtelijke frequenties te simuleren, die vier niveaus van omgevingsverlichting binnenshuis bestrijken (29–626 cd/m²). De resultaten toonden aan dat hoogfrequente, fijne texturen een hoger contrast vereisten voor visuele herkenning, terwijl herkenningsdrempels voor midden- en laagfrequente modellen minimaal verschilden. Factoren zoals geslacht, AR-gebruikservaring en pupilgrootte hadden geen significante invloed op de perceptiedrempels, wat wijst op zeer consistente perceptuele patronen binnen de deelnemersgroep.

2. Experiment met virtuele verlichting en schaduwperceptie (24 deelnemers): Gekoppelde virtuele modellen (bijv. theepot, robot, kerstboom) – één met verlichting/schaduwreflecties en één zonder – werden vergeleken. Deelnemers pasten de polarisatiehoek aan totdat de twee modellen visueel identiek leken. Het experiment toonde aan dat licht- en schaduweffecten inherent hoogfrequente details bevatten, waardoor ze zelfs op laagfrequente geometrische modellen gemakkelijk te onderscheiden zijn; de ruimtelijke frequentie vertoonde geen statistisch significant effect op de perceptiedrempels voor verlichting en schaduwen.

3. Uitgebreid vergelijkend experiment in scenario's met meerdere verlichting (12 deelnemers): Er werd een tafelmodel-prototype gebouwd om vier reële lichtomstandigheden te simuleren: binnenverlichting uit (8 cd/m²), binnenverlichting aan (135 cd/m²), buiten in de schaduw (287 cd/m²) en helder licht buiten (414 cd/m²). Er werd een blinde vergelijking uitgevoerd tussen drie omstandigheden: de voorgestelde oplossing (MB), traditionele niet-geoccludeerde AR (AR) en statische occlusie-headsets (OC).

· Binnenomgevingen met weinig licht: Traditionele AR had de leiding (47%), op de voet gevolgd door deze oplossing (44%), terwijl traditionele occlusieapparaten slechts 8% achterbleven;

· Heldere binnenomgevingen: deze oplossing was koploper met een voorkeurspercentage van 42%;

· Scenario's met helder licht/schaduw buiten: deze oplossing behaalde een voorkeurspercentage van respectievelijk 58% en 53%, wat aanzienlijk beter presteerde dan traditionele oplossingen;

· Algemene beoordeling: 50% van de deelnemers gaf de voorkeur aan het op maskers gebaseerde balanceringssysteem, 36% koos voor traditionele occlusie-headsets en slechts 14% koos voor standaard doorzichtige AR.

Real-world beelden laten duidelijk de verschillen zien: met traditionele, op occlusie gebaseerde AR lijkt het real-world beeld in alle omgevingen ernstig vervaagd; met standaard non-occlusie AR verdwijnt virtuele inhoud vrijwel bij helder buitenlicht; Daarentegen past de maskerbalancerende technologie de helderheid adaptief aan, waardoor een duidelijk zicht op de echte wereld binnenshuis behouden blijft, terwijl de texturen, verlichting en schaduwen van virtuele objecten volledig behouden blijven in heldere buitenomstandigheden, waardoor een optimale visuele ervaring in beide scenario's wordt gegarandeerd.

IV. Toepassingswaarde en sectorbrede paradigmaverschuiving

1. Diverse implementatiescenario's

Deze technologische doorbraak gaat verder dan alleen AR-brillen voor consumenten en biedt een enorme praktische waarde in professionele industriële omgevingen:

· Industriële O&M: het over elkaar leggen van blauwdrukken en annotaties tijdens het onderhoud van apparatuur, terwijl een duidelijk zicht op de fysiek-mechanische structuur behouden blijft;

· Medische hulp: intra-operatieve beeldoverlay en revalidatietraining, waarbij het reële beeld van het menselijk lichaam wordt gecombineerd met digitale annotaties;

· Toepassingen zoals onderwijs en training, navigatie in voertuigen, samenwerking op afstand en architectonisch ontwerp, verbeteren de bruikbaarheid van AR-apparaten in complexe verlichtingsomgevingen aanzienlijk.

2. Een nieuwe benadering van AR-displayontwerp

Dit onderzoek stelt een paradigmaverschuiving in de industrie voor: terwijl optisch AR-ontwerp voorheen voornamelijk gericht was op het optimaliseren van fysieke parameters zoals hardware-lichttransmissie en resolutie, toont dit onderzoek aan dat menselijke visuele perceptie een kritische ontwerpdimensie is die niet over het hoofd kan worden gezien. Eerder onderzoek door het team bevestigde een significante discrepantie tussen de werkelijke menselijke visuele perceptie en metingen uitgevoerd door optische instrumenten, wat aangeeft dat het optimaliseren van hardware alleen niet de beste visuele ervaring kan bereiken. Een op perceptie gebaseerd besturingsschema kan de fysieke beperkingen van optische hardware overwinnen; het verbetert tegelijkertijd de kwaliteit van zowel virtuele als echte beelden – zonder afbreuk te doen aan de apparaatgrootte of -kosten – terwijl het visuele comfort en de operationele veiligheid van de gebruiker worden gewaarborgd.

V. Huidige beperkingen en toekomstige onderzoeksrichtingen

Er is nog steeds ruimte voor optimalisatie in het huidige desktopprototype en het team heeft de volgende richtingen gepland voor toekomstige iteraties:

Optimalisatie van de nauwkeurigheid van de occlusie: verheldering in de echte wereld kan een lichte lichtlekkage veroorzaken bij de occlusiegrenzen; toekomstige verbeteringen zullen dit verzachten door het integreren van micro-OLED's met hoge helderheid, algoritmen voor kleurcompensatie en taakgerichte balanceringsstrategieën (waarbij prioriteit wordt gegeven aan de nauwkeurigheid van virtuele occlusie in met hoge precisie gemodelleerde scènes).

Soepele helderheidsaanpassing: De huidige polarisatierotatiesnelheden zijn hoog, wat leidt tot abrupte helderheidsveranderingen die visueel ongemak kunnen veroorzaken; toekomstige ontwikkelingen zullen zich richten op algoritmen voor naadloze, geleidelijke helderheidsovergangen.

Prototype voor verrekijkeraanpassing: het huidige apparaat is monoculair; de volgende stap omvat het bouwen van een binoculair maskerbalanceringssysteem en het integreren van een binoculair visueel contrastwaarnemingsmodel.

Automatische spectrale classificatie van objecten: Maakt real-time, automatische herkenning van hoog- en laagfrequente kenmerken van virtuele objecten mogelijk, waardoor de noodzaak voor handmatige configuratie van perceptiedrempels wordt geëlimineerd.

De maskerbalanceringstechnologie die is voorgesteld door het team van de Shanghai Jiao Tong Universiteit lost het al lang bestaande helderheidsconflict op dat de wijdverbreide adoptie van optische, doorzichtige AR heeft belemmerd. Door hardwareverbeteringen voor optische paden met dubbele polarisatie te combineren met een perceptiegestuurd dynamisch balanceringsalgoritme, is de oplossing eenvoudig te implementeren en compatibel met reguliere optische AR-architecturen. Gevalideerd door middel van uitgebreide experimenten tussen mens en onderwerp en diverse verlichtingsscenario's, verbetert het tegelijkertijd de zichtbaarheid van de echte omgeving en de realistische textuur van virtuele objecten onder alle omstandigheden - van donkere binnenomgevingen tot heldere buitenomgevingen. Door de visuele waarnemingswetenschap diepgaand te integreren met near-eye display-engineering, baant deze technologie een nieuw optimalisatiepad voor de volgende generatie AR-brillen, en biedt het een haalbare oplossing voor de dagelijkse inzet van AR-apparaten in de consumenten-, industriële en medische sector, waardoor optische doorzichtige AR wordt bevorderd van laboratoriumprototypes naar praktische producten.

Bron: CINNO