Grande svolta per gli occhiali AR! Un team dell'Università Jiao Tong di Shanghai ha proposto uno schema di bilanciamento della maschera, superando la sfida della trasmissione della luce nei display AR con capacità di occlusione.

Nel 2026, un team collaborativo composto da ricercatori dell'Università Jiao Tong di Shanghai, dell'Università di Tecnologia di Graz (Austria), dell'Istituto di Scienza e Tecnologia di Nara (Giappone) e dell'Università di Scienza e Tecnologia di Zhejiang ha pubblicato uno studio fondamentale intitolato 'Mask Balancing: Perception-Driven Dynamic Visibility Enhancement for Occlusion-Capable Optical See-Through Head-Mounted Displays' sulla prestigiosa rivista IEEE Transactions on Visualization and Computer Graphics . Lo studio introduce un'innovativa soluzione di 'Mask Balancing' che affronta una sfida critica del settore - trasmittanza della luce nel mondo reale eccessivamente bassa nei display AR ottici trasparenti montati sulla testa (OC-OSTHMD) con capacità di occlusione - ottimizzando contemporaneamente i percorsi ottici di polarizzazione e la percezione visiva umana, eliminando così un ostacolo chiave alla commercializzazione di occhiali AR di livello consumer e industriale.

I. Punto critico del settore principale: l'occlusione a livello di pixel provoca una perdita irreversibile di luminanza

I display AR ottici trasparenti montati sulla testa (OC-OSTHMD) capaci di occlusione reciproca tra elementi virtuali e reali sono essenziali per il rendering di oggetti virtuali con profondità realistica e integrazione perfetta nell'ambiente fisico. Utilizzano modulatori spaziali di luce (SLM) per ottenere l'occlusione dell'immagine a livello di pixel, risolvendo così il problema del 'fantasma fluttuante' associato alle immagini virtuali nei tradizionali sistemi AR semitrasparenti. Tuttavia, le architetture ottiche esistenti soffrono di un inevitabile inconveniente relativo alla trasmissione della luce:

1. Per ottenere l'effetto di occlusione, la luce proveniente dalla scena del mondo reale deve subire una polarizzazione, con conseguente perdita immediata di luminosità del 50%;

2. L'attenuazione del segnale causata dall'impilamento di più componenti, come SLM, divisori di fascio polarizzato (PBS) e combinatori ottici, limita la trasmissione massima teorica della luce a meno del 20%, con i prototipi effettivi che spesso raggiungono meno del 7%;

3. Le riflessioni multiple del percorso ottico e le perdite spettrali derivanti dai componenti di polarizzazione riducono ulteriormente la luminosità ambientale; in ambienti interni poco illuminati, la visione del mondo reale diventa eccessivamente scura, ostacolando l'osservazione e l'interazione dell'utente e comportando rischi per la sicurezza.

Le soluzioni precedenti si sono concentrate principalmente sulle iterazioni hardware, come l’aumento della trasmittanza SLM, il passaggio alle tecnologie riflettenti LCoS/DMD o l’esplorazione dei materiali fotocromatici. Tuttavia, i componenti ottici devono affrontare limiti fisici nella trasmissione della luce e gli approcci fotocromatici soffrono di inconvenienti come tempi di risposta lenti e precisione di occlusione a livello di pixel insufficiente, non riuscendo a risolvere radicalmente il conflitto tra i livelli di luminosità virtuale e reale. Bilanciare la necessità di una profondità di occlusione realistica per gli oggetti virtuali con il requisito di un’elevata visibilità del mondo reale è diventato il collo di bottiglia critico per la commercializzazione di massa dei dispositivi AR di prossima generazione.

II. Innovazione tecnica: fusione del percorso ottico a doppia polarizzazione + modulazione dinamica guidata dalla percezione

Andando oltre l'approccio basato sul semplice miglioramento dei singoli componenti hardware, il team dell'Università Jiao Tong di Shanghai ha proposto un 'metodo di bilanciamento della maschera'. Questo metodo combina modifiche del percorso ottico di polarizzazione a basso costo con un modello quantitativo della percezione visiva umana per regolare dinamicamente il rapporto di trasmissione della luce tra la scena del mondo reale e le immagini virtuali. L'intera soluzione richiede solo l'aggiunta di un polarizzatore lineare rotante (Balancing LP) a un OC-OSTHMD (Optical See-Through Head-Mounted Display) esistente, offrendo elevata compatibilità e bassi costi di modifica.

1. Architettura di fusione ottica a doppia polarizzazione

La luce naturale viene divisa da un divisore di fascio polarizzante in due percorsi di polarizzazione indipendenti, ciascuno con una funzione specifica:

Percorso di occlusione con polarizzazione s (visione mascherata): passa attraverso il sistema ottico AR originale e utilizza un SLM per ottenere un'occlusione a livello di pixel del mondo reale da parte del contenuto virtuale, fornendo un senso di profondità spaziale, anche se con una significativa perdita di luce;

Percorso di trasmissione diretta con polarizzazione p (visione nativa del mondo reale): ignora tutti i componenti ottici correlati all'occlusione, preservando completamente la luminosità originale della scena ambientale senza ulteriore attenuazione della luce.

Il sistema utilizza un modulo rotante per regolare l'angolo φ tra il polarizzatore lineare e il divisore di fascio polarizzante, controllando con precisione i rapporti di trasmissione della luce del mondo reale e della luce dell'immagine virtuale. Le velocità di trasmissione sono governate dalle seguenti formule: trasmissione diretta nel mondo reale (T_{pass} = cos^2φ); e trasmissione per la vista occlusa del mondo reale e l'immagine virtuale (T_{mask}/T_{image} = sin^2φ cdot T_{HMD}/T_{display}). La regolazione di questo angolo consente la commutazione in tempo reale della ponderazione visiva: in ambienti con scarsa illuminazione, la proporzione del percorso di trasmissione diretta viene aumentata per illuminare la visione del mondo reale; negli ambienti molto luminosi, il rapporto di trasmissione diretta è ridotto per migliorare il contrasto degli oggetti virtuali.

2. Sistema di modulazione in tempo reale guidato dalla percezione

L'intera logica di bilanciamento dinamico opera in tempo reale sulla base di un approccio a doppio sensore, combinando il tracciamento oculare con l'analisi visiva della scena, e si allinea con i principi della percezione visiva umana anziché fare affidamento esclusivamente su calcoli basati su specifiche hardware ottiche:

Valutazione della visibilità nel mondo reale: una telecamera di scena cattura la visione del mondo reale e l'immagine viene scomposta in sette livelli passa-banda utilizzando una piramide di contrasto Peli. Il sistema seleziona il contrasto efficace (RMS) della banda di media frequenza di 4,7 cpd (cicli per grado) come metrica di valutazione. Integrando la funzione Barten Contrast Sensitivity (Barten CSF) con i dati sul diametro della pupilla provenienti dalla telecamera di tracciamento oculare, il sistema calcola, in tempo reale, la soglia di contrasto minima richiesta affinché l'occhio umano possa percepire la scena del mondo reale. Se la visibilità scende al di sotto di questo standard, il sistema regola automaticamente l'angolo di polarizzazione per aumentare la luminosità del percorso ottico diretto.

Valutazione della visibilità degli oggetti virtuali: l'analisi della densità spettrale di potenza (PSD) viene eseguita su modelli virtuali per distinguere tra modelli con texture ad alta frequenza (ad esempio, alberi di acero, alberi di Natale) e modelli minimalisti a bassa frequenza (ad esempio, conigli, teiere), con il contrasto Weber utilizzato per quantificare la chiarezza delle immagini virtuali. Il team ha calibrato le soglie percettive attraverso due serie di esperimenti su soggetti umani: il contrasto Weber critico per il riconoscimento delle trame virtuali è stato determinato essere 0,537, mentre la soglia critica per il riconoscimento degli effetti di illuminazione e ombra era 0,443. Quando il contrasto dell'immagine virtuale scende al di sotto di queste soglie, il sistema aumenta automaticamente la ponderazione del percorso ottico di occlusione per migliorare la texture percepita e la definizione degli oggetti virtuali.

Il sistema utilizza un filtro Kalman per attenuare i dati fluttuanti della pupilla catturati dalla telecamera di tracciamento oculare, eliminando il rumore dell'apparecchiatura e garantendo una regolazione fluida e stabile durante le transizioni tra diverse condizioni di illuminazione. La suite di algoritmi funziona utilizzando il parallelismo a doppio thread, con l'analisi dell'immagine della scena eseguita indipendentemente dal thread di rendering principale; ciò si traduce in un basso sovraccarico computazionale, rendendolo compatibile con i principali motori di rendering AR in tempo reale.

III. Esperimenti di percezione umana: quantificazione delle soglie visive e convalida dello schema proposto

Per stabilire una linea di base precisa per l’equilibrio percettivo, il team ha condotto tre serie di esperimenti utente standardizzati, tutti approvati dal Comitato etico per la ricerca umana dell’Università Jiao Tong di Shanghai, reclutando un totale di 36 partecipanti con esperienza in AR o computer grafica.

1. Esperimento di percezione della trama virtuale (12 partecipanti): trame di dimensioni grandi, medie e piccole sono state utilizzate per simulare oggetti virtuali con frequenze spaziali variabili, coprendo quattro livelli di illuminamento ambientale interno (29–626 cd/m²). I risultati hanno mostrato che le texture fini ad alta frequenza richiedevano un contrasto più elevato per il riconoscimento visivo, mentre le soglie di riconoscimento per i modelli a media e bassa frequenza differivano minimamente. Fattori come il genere, l’esperienza di utilizzo dell’AR e le dimensioni degli alunni non hanno avuto un impatto significativo sulle soglie di percezione, indicando modelli percettivi altamente coerenti all’interno del gruppo di partecipanti.

2. Esperimento di illuminazione virtuale e percezione dell'ombra (24 partecipanti): sono stati confrontati modelli virtuali accoppiati (ad es. teiera, robot, albero di Natale), uno con riflessi di illuminazione/ombra e uno senza. I partecipanti hanno regolato l’angolo di polarizzazione finché i due modelli non apparivano visivamente identici. L'esperimento ha dimostrato che gli effetti di luce e ombra contengono intrinsecamente dettagli ad alta frequenza, consentendo loro di essere facilmente distinti anche su modelli geometrici a bassa frequenza; la frequenza spaziale non ha mostrato effetti statisticamente significativi sulle soglie di percezione di luci e ombre.

3. Esperimento comparativo completo in scenari multi-illuminazione (12 partecipanti): è stato costruito un prototipo da tavolo per simulare quattro condizioni di illuminazione del mondo reale: luci interne spente (8 cd/m²), luci interne accese (135 cd/m²), ombreggiate esterne (287 cd/m²) e luce intensa esterna (414 cd/m²). È stato condotto un confronto cieco tra tre condizioni: la soluzione proposta (MB), la tradizionale AR non occlusa (AR) e le cuffie per occlusione statica (OC).

· Ambienti interni con scarsa illuminazione: l'AR tradizionale ha mantenuto il comando (47%), seguito da vicino da questa soluzione (44%), mentre i dispositivi di occlusione tradizionali sono rimasti solo all'8%;

· Ambienti interni luminosi: questa soluzione ha ottenuto un tasso di preferenza del 42%;

· Scenari esterni in piena luce/ombra: questa soluzione ha raggiunto tassi di preferenza rispettivamente del 58% e del 53%, superando significativamente le soluzioni tradizionali;

· Valutazione complessiva: il 50% dei partecipanti ha preferito il sistema di bilanciamento basato sulla maschera, il 36% ha scelto i tradizionali visori per l'occlusione e solo il 14% ha optato per l'AR trasparente standard.

Le riprese del mondo reale dimostrano chiaramente le differenze: con la tradizionale AR basata sull'occlusione, la visione del mondo reale appare gravemente sbiadita in tutti gli ambienti; con l'AR standard senza occlusione, il contenuto virtuale scompare virtualmente alla luce esterna intensa; al contrario, la tecnologia di bilanciamento della maschera regola in modo adattivo la luminosità, mantenendo una visione chiara del mondo reale all'interno e preservando completamente le trame, l'illuminazione e le ombre degli oggetti virtuali in condizioni esterne luminose, garantendo così un'esperienza visiva ottimale in entrambi gli scenari.

IV. Valore applicativo e cambiamento di paradigma a livello di settore

1. Diversi scenari di implementazione

Questa innovazione tecnologica va oltre gli occhiali AR di livello consumer, offrendo un immenso valore pratico in ambienti industriali professionali:

· O&M industriale: sovrapposizione di progetti e annotazioni durante la manutenzione delle apparecchiature mantenendo una visione chiara della struttura fisico-meccanica;

· Assistenza medica: sovrapposizione di immagini intraoperatorie e formazione riabilitativa, che combina la visione del mondo reale del corpo umano con annotazioni digitali;

· Applicazioni quali istruzione e formazione, navigazione a bordo di veicoli, collaborazione remota e progettazione architettonica, che migliorano significativamente l'usabilità dei dispositivi AR in ambienti di illuminazione complessi.

2. Un nuovo approccio alla progettazione dei display AR

Questa ricerca propone un cambio di paradigma nel settore: mentre la progettazione ottica AR in precedenza si concentrava principalmente sull’ottimizzazione dei parametri fisici come la trasmissione della luce e la risoluzione dell’hardware, questo studio dimostra che la percezione visiva umana è una dimensione di progettazione critica che non può essere trascurata. Precedenti ricerche del team hanno confermato una discrepanza significativa tra la percezione visiva umana effettiva e le misurazioni effettuate da strumenti ottici, indicando che l'ottimizzazione dell'hardware da sola non può ottenere la migliore esperienza visiva. Uno schema di controllo basato sulla percezione può superare i limiti fisici dell'hardware ottico; migliora contemporaneamente la qualità delle immagini sia virtuali che reali, senza compromettere le dimensioni o i costi del dispositivo, garantendo al tempo stesso il comfort visivo dell'utente e la sicurezza operativa.

V. Limitazioni attuali e direzioni future della ricerca

C'è ancora spazio per l'ottimizzazione nell'attuale prototipo desktop e il team ha pianificato le seguenti direzioni per le iterazioni future:

Ottimizzazione della precisione dell'occlusione: l'illuminazione del mondo reale può causare una leggera perdita di luce ai confini dell'occlusione; i miglioramenti futuri attenueranno questo problema integrando micro-OLED ad alta luminosità, algoritmi di compensazione del colore e strategie di bilanciamento orientate alle attività (dando priorità all'accuratezza dell'occlusione virtuale nelle scene modellate ad alta precisione).

Regolazione fluida della luminosità: le velocità di rotazione della polarizzazione attuale sono elevate, portando a bruschi cambiamenti di luminosità che possono causare disagio visivo; lo sviluppo futuro si concentrerà su algoritmi per transizioni di luminosità graduali e senza interruzioni.

Prototipo di adattamento binoculare: il dispositivo attuale è monoculare; il passo successivo prevede la costruzione di un sistema di bilanciamento della maschera binoculare e l'incorporazione di un modello di percezione del contrasto visivo binoculare.

Classificazione spettrale automatica degli oggetti: consente il riconoscimento automatico in tempo reale delle caratteristiche ad alta e bassa frequenza degli oggetti virtuali, eliminando la necessità di configurazione manuale delle soglie di percezione.

La tecnologia di bilanciamento della maschera proposta dal team dell’Università Jiao Tong di Shanghai risolve il conflitto di luminosità di lunga data che ha ostacolato l’adozione diffusa dell’AR ottica trasparente. Combinando miglioramenti hardware per percorsi ottici a doppia polarizzazione con un algoritmo di bilanciamento dinamico basato sulla percezione, la soluzione è facile da implementare e compatibile con le principali architetture ottiche AR. Convalidato attraverso estesi esperimenti su soggetti umani e diversi scenari di illuminazione, migliora contemporaneamente la visibilità dell'ambiente del mondo reale e la trama realistica degli oggetti virtuali in tutte le condizioni, dagli ambienti interni poco luminosi agli ambienti esterni luminosi. Integrando profondamente la scienza della percezione visiva con l’ingegneria del display vicino all’occhio, questa tecnologia apre un nuovo percorso di ottimizzazione per gli occhiali AR di prossima generazione, offrendo una soluzione praticabile per l’implementazione quotidiana e nel mondo reale di dispositivi AR nei settori consumer, industriale e medico, facendo avanzare così l’AR ottica trasparente dai prototipi di laboratorio ai prodotti pratici.

Fonte: CINNO