Großer Durchbruch für AR-Brillen! Ein Team der Shanghai Jiao Tong University hat ein Schema zum Maskenausgleich vorgeschlagen, das die Herausforderung der Lichtdurchlässigkeit in okklusionsfähigen AR-Displays meistert.

Im Jahr 2026 veröffentlichte ein Gemeinschaftsteam bestehend aus Forschern der Shanghai Jiao Tong University, der Technischen Universität Graz (Österreich), dem Nara Institute of Science and Technology (Japan) und der Zhejiang University of Science and Technology eine bahnbrechende Studie mit dem Titel „Mask Balancing: Perception-Driven Dynamic Visibility Enhancement for Occlusion-Capable Optical See-Through Head-Mounted Displays“ in der renommierten Zeitschrift IEEE Transactions on Visualization and Computer Graphics . Die Studie stellt eine innovative „Mask Balancing“-Lösung vor, die eine entscheidende Herausforderung der Branche angeht – die übermäßig geringe reale Lichtdurchlässigkeit in okklusionsfähigen optischen durchsichtigen AR-Head-Mounted-Displays (OC-OSTHMDs) –, indem sie gleichzeitig die optischen Polarisationspfade und die menschliche visuelle Wahrnehmung optimiert und damit ein wesentliches Hindernis für die Kommerzialisierung von AR-Brillen für Verbraucher und Industrie beseitigt.

I. Kernproblem der Branche: Verdeckung auf Pixelebene führt zu irreversiblem Luminanzverlust

Optische durchsichtige AR-Head-Mounted-Displays (OC-OSTHMDs), die in der Lage sind, virtuelle und reale Elemente gegenseitig zu verdecken, sind für die Darstellung virtueller Objekte mit realistischer Tiefe und nahtloser Integration in die physische Umgebung unerlässlich. Sie nutzen räumliche Lichtmodulatoren (SLMs), um eine Bildverdeckung auf Pixelebene zu erreichen und so das Problem des „schwebenden Phantoms“ zu lösen, das mit virtuellen Bildern in herkömmlichen halbtransparenten AR-Systemen verbunden ist. Bestehende optische Architekturen weisen jedoch einen unvermeidbaren Nachteil hinsichtlich der Lichtübertragung auf:

1. Um den Okklusionseffekt zu erzielen, muss das Licht der realen Szene einer Polarisation unterzogen werden, was zu einem sofortigen Helligkeitsverlust von 50 % führt;

2. Die Signaldämpfung, die durch die Stapelung mehrerer Komponenten – wie SLMs, polarisierender Strahlteiler (PBS) und optischer Kombinierer – verursacht wird, begrenzt die theoretische maximale Lichtdurchlässigkeit auf unter 20 %, wobei tatsächliche Prototypen oft weniger als 7 % erreichen;

3. Mehrere Reflexionen im optischen Pfad und spektrale Verluste durch Polarisationskomponenten reduzieren die Umgebungshelligkeit weiter; In dunklen Innenräumen wird die reale Sicht übermäßig dunkel, was die Beobachtung und Interaktion des Benutzers behindert und gleichzeitig ein Sicherheitsrisiko darstellt.

Frühere Lösungen konzentrierten sich hauptsächlich auf Hardware-Iterationen – etwa die Erhöhung der SLM-Transmission, den Wechsel zu reflektierenden LCoS/DMD-Technologien oder die Erforschung photochromer Materialien. Allerdings stoßen optische Komponenten bei der Lichtübertragung an physikalische Grenzen, und photochrome Ansätze haben Nachteile wie langsame Reaktionszeiten und eine unzureichende Okklusionsgenauigkeit auf Pixelebene, sodass der Konflikt zwischen virtuellen und realen Helligkeitsniveaus nicht grundsätzlich gelöst werden kann. Der Ausgleich zwischen der Notwendigkeit einer realistischen Okklusionstiefe für virtuelle Objekte und der Anforderung einer hohen Sichtbarkeit der realen Welt ist zum entscheidenden Engpass für die Massenkommerzialisierung von AR-Geräten der nächsten Generation geworden.

II. Technische Innovation: Fusion des optischen Pfades mit doppelter Polarisation + wahrnehmungsgesteuerte dynamische Modulation

Das Team der Shanghai Jiao Tong University ging über den Ansatz hinaus, lediglich einzelne Hardwarekomponenten zu verbessern, und schlug eine „Maskenausgleichsmethode“ vor. Diese Methode kombiniert kostengünstige Modifikationen des optischen Polarisationspfads mit einem quantitativen Modell der menschlichen visuellen Wahrnehmung, um das Lichtdurchlässigkeitsverhältnis zwischen der realen Szene und den virtuellen Bildern dynamisch anzupassen. Die gesamte Lösung erfordert lediglich die Hinzufügung eines rotierenden linearen Polarisators (Balancing LP) zu einem vorhandenen OC-OSTHMD (Optical See-Through Head-Mounted Display), was eine hohe Kompatibilität und niedrige Änderungskosten bietet.

1. Optische Fusionsarchitektur mit doppelter Polarisation

Natürliches Licht wird durch einen polarisierenden Strahlteiler in zwei unabhängige Polarisationspfade aufgeteilt, die jeweils eine bestimmte Funktion erfüllen:

S-Polarisations-Okklusionspfad (maskierendes Sehen): Führt durch das ursprüngliche optische AR-System und nutzt einen SLM, um eine Verdeckung der realen Welt auf Pixelebene durch virtuelle Inhalte zu erreichen und so ein Gefühl räumlicher Tiefe zu vermitteln, wenn auch mit erheblichem Lichtverlust;

p-Polarisations-Direktübertragungspfad (natives Sehen in der realen Welt): Umgeht alle okklusionsbezogenen optischen Komponenten und behält die ursprüngliche Helligkeit der Umgebungsszene ohne zusätzliche Lichtdämpfung vollständig bei.

Das System verwendet ein rotierendes Modul, um den Winkel φ zwischen dem linearen Polarisator und dem polarisierenden Strahlteiler einzustellen und so die Übertragungsverhältnisse des realen Lichts und des virtuellen Bildlichts präzise zu steuern. Die Übertragungsraten werden durch die folgenden Formeln bestimmt: direkte Übertragung in der realen Welt (T_{pass} = cos^2φ); und Übertragung für die verdeckte reale Weltansicht und das virtuelle Bild (T_{mask}/T_{image} = sin^2φ cdot T_{HMD}/T_{display}). Durch Anpassen dieses Winkels kann die visuelle Gewichtung in Echtzeit umgeschaltet werden: In Umgebungen mit wenig Licht wird der Anteil des direkten Übertragungspfads erhöht, um die reale Sicht aufzuhellen. In Umgebungen mit viel Licht wird das Direktübertragungsverhältnis reduziert, um den Kontrast virtueller Objekte zu verbessern.

2. Wahrnehmungsgesteuertes Echtzeit-Modulationssystem

Die gesamte dynamische Ausgleichslogik arbeitet in Echtzeit auf der Grundlage eines Dual-Sensor-Ansatzes – der Eye-Tracking mit der visuellen Analyse der Szene kombiniert – und orientiert sich an den Prinzipien der menschlichen visuellen Wahrnehmung, anstatt sich ausschließlich auf Berechnungen zu verlassen, die auf optischen Hardware-Spezifikationen basieren:

Beurteilung der Sichtbarkeit in der realen Welt: Eine Szenenkamera erfasst die Sicht in der realen Welt und das Bild wird mithilfe einer Peli-Kontrastpyramide in sieben Bandpassstufen zerlegt. Das System wählt den quadratischen Mittelwert (RMS) des Mittelfrequenzbandes mit 4,7 cpd (Zyklen pro Grad) als Bewertungsmaßstab. Durch die Integration der Barten-Kontrastempfindlichkeitsfunktion (Barten CSF) mit Pupillendurchmesserdaten der Eye-Tracking-Kamera berechnet das System in Echtzeit die minimale Kontrastschwelle, die das menschliche Auge benötigt, um die reale Szene wahrzunehmen. Wenn die Sichtweite unter diesen Standard fällt, passt das System automatisch den Polarisationswinkel an, um die Helligkeit des direkten Strahlengangs zu erhöhen.

Bewertung der Sichtbarkeit virtueller Objekte: Die Power Spectral Density (PSD)-Analyse wird an virtuellen Modellen durchgeführt, um zwischen hochfrequenten texturierten Modellen (z. B. Ahornbäume, Weihnachtsbäume) und niederfrequenten minimalistischen Modellen (z. B. Kaninchen, Teekannen) zu unterscheiden, wobei der Weber-Kontrast zur Quantifizierung der Klarheit der virtuellen Bilder verwendet wird. Das Team kalibrierte Wahrnehmungsschwellen durch zwei Sätze von Mensch-Subjekt-Experimenten: Der kritische Weber-Kontrast zum Erkennen virtueller Texturen wurde auf 0,537 festgelegt, während der kritische Schwellenwert für das Erkennen von Licht- und Schatteneffekten bei 0,443 lag. Wenn der Kontrast des virtuellen Bildes unter diese Schwellenwerte fällt, erhöht das System automatisch die Gewichtung des optischen Okklusionspfads, um die wahrgenommene Textur und Definition der virtuellen Objekte zu verbessern.

Das System verwendet einen Kalman-Filter, um schwankende Pupillendaten zu glätten, die von der Eye-Tracking-Kamera erfasst werden. Dadurch werden Gerätegeräusche eliminiert und eine reibungslose, stabile Anpassung bei Übergängen zwischen verschiedenen Lichtverhältnissen gewährleistet. Die Algorithmen-Suite arbeitet mit Dual-Thread-Parallelität, wobei die Szenenbildanalyse unabhängig vom Haupt-Rendering-Thread läuft; Dies führt zu einem geringen Rechenaufwand und macht es kompatibel mit gängigen AR-Echtzeit-Rendering-Engines.

III. Experimente zur menschlichen Wahrnehmung: Quantifizierung visueller Schwellenwerte und Validierung des vorgeschlagenen Schemas

Um eine genaue Grundlage für das Wahrnehmungsgleichgewicht festzulegen, führte das Team drei Sätze standardisierter Benutzerexperimente durch – alle genehmigt von der Ethikkommission für Humanforschung der Shanghai Jiao Tong University – und rekrutierte insgesamt 36 Teilnehmer mit Erfahrung in AR oder Computergrafik.

1. Virtuelles Texturwahrnehmungsexperiment (12 Teilnehmer): Texturen großer, mittlerer und kleiner Größe wurden verwendet, um virtuelle Objekte mit unterschiedlichen räumlichen Frequenzen zu simulieren, die vier Stufen der Umgebungsbeleuchtungsstärke in Innenräumen abdecken (29–626 cd/m²). Die Ergebnisse zeigten, dass hochfrequente, feine Texturen einen höheren Kontrast für die visuelle Erkennung erforderten, wohingegen sich die Erkennungsschwellen für mittel- und niederfrequente Modelle minimal unterschieden. Faktoren wie Geschlecht, AR-Nutzungserfahrung und Pupillengröße hatten keinen signifikanten Einfluss auf die Wahrnehmungsschwellen, was auf sehr konsistente Wahrnehmungsmuster in der gesamten Teilnehmergruppe hinweist.

2. Virtuelles Licht- und Schattenwahrnehmungsexperiment (24 Teilnehmer): Gepaarte virtuelle Modelle (z. B. Teekanne, Roboter, Weihnachtsbaum) – eines mit Licht-/Schattenreflexionen und eines ohne – wurden verglichen. Die Teilnehmer passten den Polarisationswinkel an, bis die beiden Modelle optisch identisch erschienen. Das Experiment zeigte, dass Licht- und Schatteneffekte von Natur aus hochfrequente Details enthalten, sodass sie selbst in niederfrequenten geometrischen Modellen leicht unterschieden werden können; Die Ortsfrequenz zeigte keinen statistisch signifikanten Einfluss auf die Wahrnehmungsschwellen für Licht und Schatten.

3. Umfassendes Vergleichsexperiment in Szenarien mit mehreren Beleuchtungen (12 Teilnehmer): Ein Tischprototyp wurde konstruiert, um vier reale Lichtbedingungen zu simulieren: Licht im Innenbereich aus (8 cd/m²), Licht im Innenbereich an (135 cd/m²), im Freien beschattet (287 cd/m²) und helles Licht im Freien (414 cd/m²). Es wurde ein Blindvergleich zwischen drei Bedingungen durchgeführt: der vorgeschlagenen Lösung (MB), herkömmlicher nicht okkludierter AR (AR) und Headsets mit statischer Okklusion (OC).

· Innenräume mit wenig Licht: Herkömmliche AR lag an der Spitze (47 %), dicht gefolgt von dieser Lösung (44 %), während herkömmliche Okklusionsgeräte nur 8 % zurückblieben;

· Helle Innenräume: Diese Lösung lag mit einer Präferenzquote von 42 % an der Spitze;

· Szenarien mit hellem Licht/Schatten im Freien: Diese Lösung erreichte Präferenzraten von 58 % bzw. 53 % und übertraf damit herkömmliche Lösungen deutlich;

· Gesamtbewertung: 50 % der Teilnehmer bevorzugten das maskenbasierte Ausgleichssystem, 36 % entschieden sich für herkömmliche Okklusions-Headsets und nur 14 % entschieden sich für standardmäßige durchsichtige AR.

Aufnahmen aus der realen Welt zeigen die Unterschiede deutlich: Bei herkömmlicher okklusionsbasierter AR erscheint die reale Ansicht in allen Umgebungen stark verwaschen; Mit Standard-AR ohne Okklusion verschwinden virtuelle Inhalte bei hellem Außenlicht praktisch. Im Gegensatz dazu passt die Maskenausgleichstechnologie die Helligkeit adaptiv an – so bleibt eine klare Sicht auf die reale Welt in Innenräumen erhalten, während die Texturen, Beleuchtung und Schatten virtueller Objekte bei hellen Außenbedingungen vollständig erhalten bleiben – und sorgt so für ein optimales visuelles Erlebnis in beiden Szenarien.

IV. Anwendungswert und branchenweiter Paradigmenwechsel

1. Verschiedene Implementierungsszenarien

Dieser technologische Durchbruch geht über AR-Brillen für Endverbraucher hinaus und bietet einen enormen praktischen Wert in professionellen Industrieumgebungen:

· Industrieller Betrieb und Wartung: Überlagerung von Bauplänen und Anmerkungen während der Gerätewartung unter Beibehaltung einer klaren Sicht auf die physikalisch-mechanische Struktur;

· Medizinische Hilfe: Intraoperative Bildüberlagerung und Rehabilitationstraining, bei dem die reale Sicht des menschlichen Körpers mit digitalen Anmerkungen kombiniert wird;

· Anwendungen wie Bildung und Schulung, Navigation im Fahrzeug, Remote-Zusammenarbeit und Architekturdesign, die die Benutzerfreundlichkeit von AR-Geräten in komplexen Beleuchtungsumgebungen erheblich verbessern.

2. Ein neuer Ansatz für das AR-Display-Design

Diese Forschung schlägt einen Paradigmenwechsel in der Branche vor: Während sich das AR-Optikdesign bisher hauptsächlich auf die Optimierung physikalischer Parameter wie der Lichtdurchlässigkeit und Auflösung der Hardware konzentrierte, zeigt diese Studie, dass die visuelle Wahrnehmung des Menschen eine entscheidende Designdimension ist, die nicht übersehen werden darf. Frühere Untersuchungen des Teams bestätigten eine erhebliche Diskrepanz zwischen der tatsächlichen visuellen Wahrnehmung des Menschen und den Messungen optischer Instrumente, was darauf hindeutet, dass die Optimierung der Hardware allein nicht das beste visuelle Erlebnis erzielen kann. Ein wahrnehmungsgesteuertes Steuerungsschema kann die physikalischen Einschränkungen optischer Hardware überwinden; Es verbessert gleichzeitig die Qualität sowohl virtueller als auch realer Bilder – ohne Kompromisse bei der Gerätegröße oder den Kosten – und sorgt gleichzeitig für Sehkomfort und Betriebssicherheit des Benutzers.

V. Aktuelle Einschränkungen und zukünftige Forschungsrichtungen

Im aktuellen Desktop-Prototyp gibt es noch Raum für Optimierungen, und das Team hat die folgenden Richtungen für zukünftige Iterationen geplant:

Optimierung der Okklusionsgenauigkeit: Die Aufhellung in der realen Welt kann an den Okklusionsgrenzen zu einem leichten Lichtverlust führen. Zukünftige Verbesserungen werden dies durch die Integration von Mikro-OLEDs mit hoher Helligkeit, Farbkompensationsalgorithmen und aufgabenorientierten Ausgleichsstrategien (Priorisierung der virtuellen Okklusionsgenauigkeit in hochpräzise modellierten Szenen) abmildern.

Stufenlose Helligkeitsanpassung: Die aktuellen Polarisationsrotationsgeschwindigkeiten sind hoch, was zu abrupten Helligkeitsänderungen führt, die zu Sehbeschwerden führen können. Zukünftige Entwicklungen werden sich auf Algorithmen für nahtlose, allmähliche Helligkeitsübergänge konzentrieren.

Prototyp der binokularen Anpassung: Das aktuelle Gerät ist monokular; Der nächste Schritt umfasst den Aufbau eines binokularen Maskenausgleichssystems und die Integration eines binokularen visuellen Kontrastwahrnehmungsmodells.

Automatische spektrale Klassifizierung von Objekten: Ermöglicht die automatische Erkennung von Hoch- und Niederfrequenzmerkmalen virtueller Objekte in Echtzeit, sodass keine manuelle Konfiguration von Wahrnehmungsschwellen erforderlich ist.

Die vom Team der Shanghai Jiao Tong University vorgeschlagene Maskenausgleichstechnologie löst den seit langem bestehenden Helligkeitskonflikt, der die weit verbreitete Einführung optischer durchsichtiger AR behindert. Durch die Kombination von Hardware-Verbesserungen für optische Pfade mit doppelter Polarisation und einem wahrnehmungsgesteuerten dynamischen Ausgleichsalgorithmus ist die Lösung einfach zu implementieren und mit gängigen optischen AR-Architekturen kompatibel. Es wurde durch umfangreiche Experimente mit menschlichen Probanden und verschiedenen Beleuchtungsszenarien validiert und verbessert gleichzeitig die Sichtbarkeit der realen Umgebung und die realistische Textur virtueller Objekte unter allen Bedingungen – von dunklen Innenräumen bis hin zu hellen Außenumgebungen. Durch die tiefgreifende Integration der Wissenschaft der visuellen Wahrnehmung mit der augennahen Displaytechnik ebnet diese Technologie einen neuen Optimierungspfad für AR-Brillen der nächsten Generation und bietet eine praktikable Lösung für den ganztägigen, realen Einsatz von AR-Geräten im Verbraucher-, Industrie- und Medizinbereich und treibt so die optische durchsichtige AR von Laborprototypen zu praktischen Produkten voran.

Quelle: CINNO