Wielki przełom w okularach AR! Zespół z Uniwersytetu Jiao Tong w Szanghaju zaproponował schemat równoważenia maski, przezwyciężający wyzwanie związane z transmisją światła w wyświetlaczach AR obsługujących okluzję.

W 2026 roku zespół składający się z naukowców z Uniwersytetu Jiao Tong w Szanghaju, Politechniki w Grazu (Austria), Instytutu Nauki i Technologii Nara (Japonia) oraz Uniwersytetu Naukowo-Technologicznego w Zhejiang opublikował przełomowe badanie zatytułowane „Mask Balancing: Perception-Driven Dynamic Visibility Enhancement for Occlusion-Capable Optical See-Through Head-Mounted Displays” w prestiżowym czasopiśmie IEEE Transactions on Visualization and Computer Graphics . W badaniu wprowadzono innowacyjne rozwiązanie „równoważenia maski”, które stanowi odpowiedź na kluczowe wyzwanie branżowe – zbyt niską przepuszczalność światła w świecie rzeczywistym w przezroczystych, optycznych wyświetlaczach AR z możliwością okluzji na głowie (OC-OSTHMD) – poprzez jednoczesną optymalizację ścieżek optycznych polaryzacji i percepcji wzrokowej człowieka, usuwając w ten sposób kluczową przeszkodę w komercjalizacji okularów AR klasy konsumenckiej i przemysłowej.

I. Podstawowy problem branżowy: okluzja na poziomie pikseli powoduje nieodwracalną utratę luminancji

Optyczne, przezroczyste wyświetlacze AR montowane na głowie (OC-OSTHMD), zdolne do wzajemnego okluzji elementów wirtualnych i rzeczywistych, są niezbędne do renderowania obiektów wirtualnych z realistyczną głębią i bezproblemową integracją ze środowiskiem fizycznym. Wykorzystują przestrzenne modulatory światła (SLM), aby uzyskać okluzję obrazu na poziomie pikseli, rozwiązując w ten sposób problem „pływającego fantomu” związany z obrazami wirtualnymi w tradycyjnych półprzezroczystych systemach AR. Jednakże istniejące architektury optyczne mają nieuniknioną wadę dotyczącą transmisji światła:

1. Aby uzyskać efekt okluzji, światło ze sceny świata rzeczywistego musi zostać poddane polaryzacji, co powoduje natychmiastową utratę jasności o 50%.

2. Tłumienie sygnału spowodowane układaniem wielu komponentów — takich jak SLM, rozdzielacze wiązki polaryzacyjnej (PBS) i łączniki optyczne — ogranicza teoretyczną maksymalną transmisję światła do poniżej 20%, przy czym rzeczywiste prototypy często osiągają mniej niż 7%;

3. Wielokrotne odbicia ścieżki optycznej i straty widmowe od składników polaryzacyjnych dodatkowo zmniejszają jasność otoczenia; w ciemnych pomieszczeniach obraz świata rzeczywistego staje się zbyt ciemny, co utrudnia użytkownikowi obserwację i interakcję, stwarzając jednocześnie zagrożenie dla bezpieczeństwa.

Poprzednie rozwiązania skupiały się głównie na iteracjach sprzętowych — takich jak zwiększanie przepuszczalności SLM, przejście na odblaskowe technologie LCoS/DMD lub badanie materiałów fotochromowych. Jednak komponenty optyczne napotykają fizyczne ograniczenia w transmisji światła, a podejścia fotochromowe mają wady, takie jak długi czas reakcji i niewystarczająca precyzja okluzji na poziomie pikseli, co nie rozwiązuje zasadniczo konfliktu między poziomami jasności w świecie wirtualnym i rzeczywistym. Zrównoważenie potrzeby realistycznej głębokości okluzji obiektów wirtualnych z wymogiem dobrej widoczności świata rzeczywistego stało się krytycznym wąskim gardłem w masowej komercjalizacji urządzeń AR nowej generacji.

II. Innowacja techniczna: Fuzja ścieżek optycznych o podwójnej polaryzacji + dynamiczna modulacja oparta na percepcji

Wychodząc poza podejście polegające jedynie na ulepszaniu poszczególnych komponentów sprzętowych, zespół z Uniwersytetu Jiao Tong w Szanghaju zaproponował „metodę równoważenia maski”. Metoda ta łączy niedrogie modyfikacje ścieżki optycznej polaryzacji z ilościowym modelem ludzkiej percepcji wzrokowej w celu dynamicznego dostosowywania współczynnika transmisji światła pomiędzy sceną świata rzeczywistego a obrazami wirtualnymi. Całe rozwiązanie wymaga jedynie dodania obrotowego polaryzatora liniowego (Balancing LP) do istniejącego OC-OSTHMD (Optical See-Through Head-Mounted Display), oferując wysoką kompatybilność i niskie koszty modyfikacji.

1. Architektura syntezy optycznej o podwójnej polaryzacji

Światło naturalne jest rozdzielane przez polaryzacyjny rozdzielacz wiązki na dwie niezależne ścieżki polaryzacji, z których każda pełni określoną funkcję:

ścieżka okluzji polaryzacji s (widzenie maskujące): przechodzi przez oryginalny system optyczny AR i wykorzystuje SLM, aby uzyskać okluzję świata rzeczywistego na poziomie pikseli przez zawartość wirtualną, zapewniając poczucie głębi przestrzennej, aczkolwiek ze znaczną utratą światła;

Ścieżka bezpośredniej transmisji z polaryzacją p (natywna wizja w świecie rzeczywistym): omija wszystkie komponenty optyczne związane z okluzją, w pełni zachowując oryginalną jasność sceny otoczenia bez dodatkowego tłumienia światła.

System wykorzystuje moduł obrotowy do regulacji kąta φ pomiędzy polaryzatorem liniowym a polaryzacyjnym rozdzielaczem wiązki, precyzyjnie kontrolując współczynniki transmisji światła świata rzeczywistego i światła obrazu wirtualnego. Szybkości transmisji są regulowane przez następujące wzory: bezpośrednia transmisja w świecie rzeczywistym (T_{pass} = cos^2φ); i transmisja dla zasłoniętego widoku świata rzeczywistego i obrazu wirtualnego (T_{maska}/T_{image} = sin^2φ cdot T_{HMD}/T_{display}). Regulacja tego kąta umożliwia przełączanie korekcji obrazu w czasie rzeczywistym: w warunkach słabego oświetlenia zwiększa się proporcja ścieżki transmisji bezpośredniej, aby rozjaśnić obraz świata rzeczywistego; w środowiskach o dużym oświetleniu współczynnik transmisji bezpośredniej jest zmniejszany, aby zwiększyć kontrast obiektów wirtualnych.

2. System modulacji w czasie rzeczywistym sterowany percepcją

Cała logika dynamicznego równoważenia działa w czasie rzeczywistym w oparciu o podejście dwuczujnikowe – łączące śledzenie wzroku z analizą wizualną sceny – i jest zgodne z zasadami ludzkiej percepcji wzrokowej, a nie polega wyłącznie na obliczeniach opartych na specyfikacjach sprzętu optycznego:

Ocena widoczności w świecie rzeczywistym: kamera sceniczna rejestruje widok świata rzeczywistego, a obraz jest rozkładany na siedem poziomów pasmowo-przepustowych przy użyciu piramidy kontrastu Peli. System jako miarę oceny wykorzystuje kontrast średniokwadratowy (RMS) pasma średniej częstotliwości wynoszącego 4,7 cpd (cykli na stopień). Integrując funkcję czułości kontrastu Bartena (Barten CSF) z danymi o średnicy źrenicy z kamery śledzącej wzrok, system oblicza w czasie rzeczywistym minimalny próg kontrastu wymagany, aby ludzkie oko mogło dostrzec scenę w świecie rzeczywistym. Jeśli widoczność spadnie poniżej tego standardu, system automatycznie dostosowuje kąt polaryzacji, aby zwiększyć jasność bezpośredniej ścieżki optycznej.

Ocena widoczności obiektu wirtualnego: Analiza gęstości widmowej mocy (PSD) jest przeprowadzana na modelach wirtualnych w celu rozróżnienia modeli teksturowanych o wysokiej częstotliwości (np. Klony, choinki) od modeli minimalistycznych o niskiej częstotliwości (np. Króliki, czajniki), z kontrastem Webera używanym do ilościowego określenia przejrzystości wirtualnych obrazów. Zespół skalibrował progi percepcji za pomocą dwóch zestawów eksperymentów na ludziach: krytyczny kontrast Webera dla rozpoznawania wirtualnych tekstur ustalono na 0,537, natomiast krytyczny próg dla rozpoznawania efektów oświetlenia i cienia wyniósł 0,443. Kiedy kontrast obrazu wirtualnego spadnie poniżej tych progów, system automatycznie zwiększa wagę okluzji ścieżki optycznej, aby poprawić postrzeganą teksturę i definicję wirtualnych obiektów.

System wykorzystuje filtr Kalmana do wygładzania danych o wahaniach źrenic zarejestrowanych przez kamerę śledzącą wzrok, eliminując szumy sprzętu i zapewniając płynną, stabilną regulację podczas przejść między różnymi warunkami oświetleniowymi. Zestaw algorytmów działa w oparciu o równoległość dwuwątkową, a analiza obrazu sceny przebiega niezależnie od głównego wątku renderującego; skutkuje to niskim obciążeniem obliczeniowym, dzięki czemu jest kompatybilny z głównymi silnikami renderującymi AR w czasie rzeczywistym.

III. Eksperymenty z percepcją człowieka: ilościowe określenie progów wizualnych i weryfikacja proponowanego schematu

Aby ustalić dokładną podstawę równowagi percepcyjnej, zespół przeprowadził trzy zestawy standardowych eksperymentów z użytkownikami – wszystkie zatwierdzone przez Komisję Etyki Badań nad Człowiekiem Uniwersytetu Jiao Tong w Szanghaju – rekrutując łącznie 36 uczestników z doświadczeniem w zakresie rzeczywistości rozszerzonej lub grafiki komputerowej.

1. Eksperyment z wirtualną percepcją tekstur (12 uczestników): Tekstury o dużych, średnich i małych rozmiarach wykorzystano do symulacji wirtualnych obiektów o różnych częstotliwościach przestrzennych, obejmujących cztery poziomy natężenia oświetlenia otoczenia w pomieszczeniach (29–626 cd/m²). Wyniki pokazały, że delikatne tekstury o wysokiej częstotliwości wymagały większego kontrastu do rozpoznawania wizualnego, podczas gdy progi rozpoznawania dla modeli o średniej i niskiej częstotliwości różniły się minimalnie. Czynniki takie jak płeć, doświadczenie w korzystaniu z AR i rozmiar źrenicy nie miały znaczącego wpływu na progi percepcji, co wskazuje na bardzo spójne wzorce percepcji w całej grupie uczestników.

2. Eksperyment z wirtualnym oświetleniem i percepcją cienia (24 uczestników): Porównano sparowane modele wirtualne (np. czajnik, robot, choinka) – jeden z odbiciami światła/cienia i drugi bez. Uczestnicy dostosowywali kąt polaryzacji, aż oba modele wyglądały identycznie. Eksperyment wykazał, że efekty oświetlenia i cienia z natury zawierają szczegóły o wysokiej częstotliwości, co pozwala na ich łatwe rozróżnienie nawet w modelach geometrycznych o niskiej częstotliwości; częstotliwość przestrzenna nie wykazała statystycznie istotnego wpływu na progi percepcji światła i cieni.

3. Kompleksowy eksperyment porównawczy w scenariuszach z wieloma rodzajami oświetlenia (12 uczestników): Skonstruowano prototyp na stole, aby symulować cztery rzeczywiste warunki oświetleniowe: wyłączone światło w pomieszczeniu (8 cd/m²), włączone światło w pomieszczeniu (135 cd/m²), zacienienie na zewnątrz (287 cd/m²) i jasne światło na zewnątrz (414 cd/m²). Dokonano ślepego porównania trzech warunków: proponowanego rozwiązania (MB), tradycyjnego niezasłoniętego AR (AR) i statycznych zestawów okluzyjnych (OC).

· W pomieszczeniach o słabym oświetleniu: tradycyjna technologia AR objęła prowadzenie (47%), tuż za nią plasowało się to rozwiązanie (44%), podczas gdy tradycyjne urządzenia okluzyjne pozostawały w tyle z jedynie 8%;

· Jasne wnętrza: to rozwiązanie uzyskało odsetek preferujących 42%;

· Scenariusze z jasnym światłem/zacienieniem na zewnątrz: To rozwiązanie osiągnęło współczynnik preferencji odpowiednio 58% i 53%, znacznie przewyższając tradycyjne rozwiązania;

· Ogólna ocena: 50% uczestników preferowało system równoważenia oparty na masce, 36% wybrało tradycyjne zestawy okluzyjne, a tylko 14% zdecydowało się na standardowe, przezroczyste AR.

Materiał filmowy ze świata rzeczywistego wyraźnie pokazuje różnice: w przypadku tradycyjnej AR opartej na okluzji obraz świata rzeczywistego wydaje się mocno rozmyty we wszystkich środowiskach; w przypadku standardowego AR bez okluzji wirtualne treści praktycznie znikają w jasnym świetle zewnętrznym; dla kontrastu, technologia równoważenia maski adaptacyjnie dostosowuje jasność, utrzymując wyraźny obraz prawdziwego świata w pomieszczeniu, jednocześnie w pełni zachowując tekstury, oświetlenie i cienie wirtualnych obiektów w jasnych warunkach zewnętrznych, zapewniając w ten sposób optymalne wrażenia wizualne w obu scenariuszach.

IV. Wartość aplikacji i zmiana paradygmatu w całej branży

1. Różnorodne scenariusze wdrożeń

Ten przełom technologiczny wykracza poza okulary AR klasy konsumenckiej, oferując ogromną wartość praktyczną w profesjonalnych zastosowaniach przemysłowych:

· Przemysłowa obsługa i konserwacja: Nakładanie planów i adnotacji podczas konserwacji sprzętu przy jednoczesnym zachowaniu przejrzystości fizycznej struktury mechanicznej;

· Pomoc medyczna: Śródoperacyjne nakładanie obrazów i szkolenie rehabilitacyjne, łączące rzeczywisty obraz ludzkiego ciała z cyfrowymi adnotacjami;

· Zastosowania takie jak edukacja i szkolenia, nawigacja w pojazdach, zdalna współpraca i projektowanie architektoniczne, znacznie zwiększające użyteczność urządzeń AR w złożonych środowiskach oświetleniowych.

2. Nowe podejście do projektowania wyświetlaczy AR

Badanie to proponuje zmianę paradygmatu w branży: podczas gdy projekty optyczne AR skupiały się wcześniej głównie na optymalizacji parametrów fizycznych, takich jak sprzętowa przepuszczalność światła i rozdzielczość, to badanie pokazuje, że ludzka percepcja wzrokowa jest krytycznym wymiarem projektu, którego nie można przeoczyć. Poprzednie badania zespołu potwierdziły znaczną rozbieżność między rzeczywistą percepcją wzrokową człowieka a pomiarami wykonanymi przez instrumenty optyczne, wskazując, że sama optymalizacja sprzętu nie jest w stanie zapewnić najlepszych wrażeń wizualnych. Schemat sterowania oparty na percepcji może pokonać fizyczne ograniczenia sprzętu optycznego; jednocześnie poprawia jakość obrazów zarówno wirtualnych, jak i rzeczywistych – bez uszczerbku dla rozmiaru i kosztów urządzenia – zapewniając jednocześnie użytkownikowi komfort wizualny i bezpieczeństwo operacyjne.

V. Aktualne ograniczenia i przyszłe kierunki badań

W obecnym prototypie komputera stacjonarnego nadal jest miejsce na optymalizację, a zespół zaplanował następujące kierunki przyszłych iteracji:

Optymalizacja dokładności okluzji: Rozjaśnienie w świecie rzeczywistym może powodować niewielki wyciek światła na granicach okluzji; przyszłe ulepszenia złagodzą ten problem poprzez integrację mikro-OLED o wysokiej jasności, algorytmów kompensacji kolorów i strategii równoważenia zorientowanych na zadania (priorytetowo traktując dokładność wirtualnej okluzji w precyzyjnie modelowanych scenach).

Płynna regulacja jasności: Obecne prędkości obrotowe polaryzacji są wysokie, co prowadzi do nagłych zmian jasności, które mogą powodować dyskomfort wizualny; Przyszły rozwój skupi się na algorytmach zapewniających płynne, stopniowe przejścia jasności.

Prototyp adaptacji lornetkowej: obecne urządzenie jest jednooczne; Następny krok polega na zbudowaniu systemu równoważenia maski lornetkowej i włączeniu modelu percepcji kontrastu wizualnego obuocznego.

Automatyczna klasyfikacja widmowa obiektów: Umożliwia automatyczne rozpoznawanie w czasie rzeczywistym cech obiektów wirtualnych o wysokiej i niskiej częstotliwości, eliminując potrzebę ręcznej konfiguracji progów percepcji.

Technologia równoważenia maski zaproponowana przez zespół z Uniwersytetu Jiao Tong w Szanghaju rozwiązuje długotrwały konflikt jasności, który utrudniał powszechne przyjęcie optycznej przezroczystej rzeczywistości AR. Łącząc ulepszenia sprzętowe dla ścieżek optycznych o podwójnej polaryzacji z algorytmem dynamicznego równoważenia opartym na percepcji, rozwiązanie jest łatwe do wdrożenia i kompatybilne z głównymi architekturami optycznymi AR. Potwierdzony w drodze szeroko zakrojonych eksperymentów na ludziach i różnorodnych scenariuszy oświetleniowych, jednocześnie poprawia widoczność rzeczywistego środowiska i realistyczną teksturę wirtualnych obiektów we wszystkich warunkach — od ciemnych wnętrz po jasne środowiska zewnętrzne. Dzięki głębokiej integracji nauki o percepcji wizualnej z inżynierią wyświetlaczy bliskiego oka, technologia ta toruje nową ścieżkę optymalizacji dla okularów AR nowej generacji, oferując realne rozwiązanie do codziennego stosowania urządzeń AR w świecie rzeczywistym w sektorach konsumenckim, przemysłowym i medycznym, poprawiając w ten sposób przezroczystość optyczną AR od prototypów laboratoryjnych po praktyczne produkty.

źródło: CINNO