Śledzenie wzroku: jednorazowa kalibracja, używanie przez całe życie?

Technologia śledzenia wzroku od dawna jest podstawową metodą interakcji w zestawach słuchawkowych XR, jednak wydajność często spada w przypadku choćby nieznacznego przesunięcia zestawu słuchawkowego. Czy istnieje sposób, aby skalibrować go tylko raz i mieć tę kalibrację na całe życie?

Skarredghost — znany zagraniczny recenzent XR i założyciel witryny XR The Ghost Howls — spotkał się ze startupem Immersix na targach branży VR/AR w Szanghaju. Immersix przyjmuje radykalnie odmienne podejście do śledzenia wzroku: zamiast śledzić źrenicę, śledzi siatkówkę.

Poniższy tekst został nieznacznie zmieniony w celu zapewnienia czytelności.

Przełamanie formy: podczas gdy inne celują w źrenicę, oni celują w siatkówkę

Podczas gdy prawie wszystkie rozwiązania do śledzenia wzroku dostępne obecnie na rynku śledzą źrenicę, Immersix wybrał zupełnie inną drogę: śledzenie siatkówki użytkownika.

Według firmy śledzenie siatkówki ma kilka głównych zalet w porównaniu z tradycyjnymi metodami:

1. Siatkówka jest unikalna dla każdego człowieka, dzięki czemu nadaje się do uwierzytelniania tożsamości i jest niezwykle trudna do podrobienia;

2. Siatkówka pozostaje praktycznie niezmieniona w czasie, dlatego kalibrację śledzenia wzroku należy przeprowadzić tylko raz i pozostaje ona ważna po tym czasie;

3. Siatkówka reprezentuje „podstawową prawdę” oka; niezależnie od tego, jak zestaw słuchawkowy przesuwa się na głowie użytkownika, początkowa kalibracja pozostaje skuteczna, co oznacza, że ​​nie jest wymagana ponowna kalibracja nawet po wyjęciu i ponownym założeniu urządzenia;

4. Precyzja śledzenia może być niezwykle wysoka;

5. Moduły mogą być bardzo małe (wymagają tylko dwóch małych jednostek w pobliżu grzbietu nosa), działać przy bardzo niskim zużyciu energii (poniżej 10 mW) i osiągać bardzo duże prędkości (do 120 Hz).

To skutecznie rozwiązuje praktycznie wszystkie problemy związane ze śledzeniem wzroku w obecnych zestawach MR, takie jak spadek wydajności po kilkukrotnym założeniu i zdjęciu zestawu słuchawkowego, co wymaga powtarzania żmudnego procesu kalibracji. Dzięki rozwiązaniu Immersix teoretycznie takie kłopoty zostają wyeliminowane.

Jak to działa?

Podejście jest niezwykle pomysłowe.

Każdy moduł śledzenia wzroku składa się z pojedynczej kamery i jednej diody podczerwieni służącej do oświetlania oka. Warto zauważyć, że wystarczy pojedyncza dioda LED, dzięki czemu moduł jest znacznie bardziej kompaktowy niż tradycyjne konstrukcje wymagające pierścienia diod LED.

Podczas fazy kalibracji użytkownik wykonuje określone ruchy gałek ocznych. Każdy moduł kamery obserwuje oko, ale zamiast skupiać się na zewnątrz, próbuje „zajrzeć do środka”. Dzięki temu kamera może rejestrować dane na temat zmian siatkówki w czasie.

Koncepcja projektowa procesu kalibracji polega na tym, aby oko poruszało się w różnych kierunkach, co krok po kroku odsłaniało przed kamerą całą siatkówkę. Następnie oprogramowanie rekonstruuje kompletny obraz siatkówki i wyodrębnia jego unikalny „odcisk palca”. W rezultacie proces kalibracji generuje kompleksową mapę cech siatkówki użytkownika. Ponieważ siatkówka pozostaje stabilna w czasie (przynajmniej do zaawansowanego wieku), z tej mapy można korzystać przez wiele lat.

W jaki sposób system aktywnie śledzi oko po kalibracji? Na tym etapie każda kamera nadal monitoruje swoje odpowiednie oko, a konkretnie obszar siatkówki widoczny na podstawie aktualnej orientacji oka. Dzięki zastosowaniu specjalistycznego algorytmu dopasowującego ten mały, widoczny obszar siatkówki do pełnej mapy siatkówki utworzonej podczas kalibracji, system może precyzyjnie określić orientację oka.

Według Immersix to śledzenie jest bardzo precyzyjne (twierdząc, że dokładność jest poniżej stopnia). Co więcej, ponieważ kamera śledzi bezwzględny obrót gałki ocznej względem siatkówki, a nie położenie źrenicy względem okularów, śledzenie jest wyjątkowo odporne na ruch kamery. Dzięki temu możesz dowolnie zakładać lub zdejmować okulary, a śledzenie wzroku będzie nadal działać bez ponownej kalibracji, nawet jeśli pozycja i orientacja za każdym razem nieznacznie się różnią.

Doświadczenie w świecie rzeczywistym: czy to naprawdę działa

Pewnie już się zastanawiasz, czy rzeczywiście zasługuje na ten szum.

Przedstawiciel firmy zabrał mnie za kulisy, abym mógł wypróbować system. Nie pozwolono mi niczego nagrywać, więc używam oficjalnych filmów i zdjęć, aby przekazać moje doświadczenia.

W ręce trafiło mi kilka par oprawek wyposażonych w technologię Immersix. Nie były to inteligentne okulary ani okulary AR – po prostu ramki zaprojektowane do testowania technologii śledzenia. Wyraźnie widziałem obwody, więc testowałem prototyp, a nie gotowy produkt. Była to wyraźnie demonstracja technologii z wykorzystaniem zestawu rozwojowego.

Po założeniu specjalnych okularów podłączono je do laptopa, uruchamiając procedurę kalibracji śledzenia wzroku. Widziałem duże znaczniki (prawdopodobnie znaczniki ArUco) na ekranie laptopa, z małym czerwonym prostokątem pośrodku. Znaczniki te miały wyraźnie pomóc prototypowym okularom w śledzeniu położenia ekranu; ponieważ kalibracji nie można było przeprowadzić na samym urządzeniu – biorąc pod uwagę, że nie posiadało ono możliwości AR ani VR i składało się jedynie z ramek – należało ją przeprowadzić za pośrednictwem laptopa, co wymagało od okularów zlokalizowania ekranu. Myślę, że te znaczniki nie byłyby potrzebne, gdyby oprogramowanie zostało osadzone bezpośrednio w okularach.

Krótko mówiąc, z moimi oczami powiązany był mały kursor, dzięki czemu mogłem go przesuwać, przesuwając wzrok. Moim zadaniem było przesunięcie tego kursora po ekranie, aby całkowicie usunąć mały prostokąt. Przypominało to użycie narzędzia do wymazywania o małym promieniu w programie MS Paint do wycierania prostokąta. Musiałem kilkakrotnie poruszać oczami w tę i z powrotem, aby całkowicie je usunąć. Zauważyłem, że w miarę postępów kursor sterowany oczami wydawał się „opóźniać”, co zmuszało mnie do intensywniejszego poruszania oczami z boku na bok, aby wyczyścić prostokąt. Mogło to być zamierzone i miało na celu zachęcenie mnie do skierowania wzroku na peryferie, aby kamery mogły uchwycić pełny zakres pola widzenia siatkówki.

Kalibracja trwała kilka minut. Łatwo było go śledzić, choć nieco dłużej, niż się spodziewałem, a obserwowanie poruszania się wskaźnika w ciągu ostatnich kilku sekund powodowało lekkie zmęczenie oczu.

Następnie można rozpocząć sesję śledzenia wzroku. Aby wykazać, że śledzenie wzroku działa, pracownik uruchomił inną aplikację; Na ekranie laptopa zobaczyłem inny zestaw markerów ArUco i siatkę czerwonych kółek. Mogłem spojrzeć na konkretny okrąg i zmienić jego kolor na niebieski, co potwierdziło, że system działa prawidłowo. Muszę powiedzieć, że zadziałało całkiem nieźle. Dokładność była imponująca, a kolor oglądanych przeze mnie elementów zmieniał się w czasie rzeczywistym. To było całkiem fajne.

Oczywiście nie mogę weryfikować twierdzeń dotyczących dokładności poniżej stopnia lub częstotliwości odświeżania 120 Hz. Mogę jednak potwierdzić, że system działa dokładnie tak, jak reklamowano – przynajmniej w kontekście podobnym do Apple Vision Pro. To już znaczące osiągnięcie, biorąc pod uwagę, że niektóre obecne rozwiązania do śledzenia wzroku mają trudności z poradzeniem sobie nawet na takim poziomie wydajności.

Udało mi się także nieznacznie przesunąć zestaw słuchawkowy, aby sprawdzić, czy system będzie nadal działał poprawnie bez ponownej kalibracji; w moich szybkich testach spisał się dobrze.

Końcowe wrażenie: obiecujące, ale prywatność jest problemem

To rozwiązanie naprawdę mnie zaskoczyło. Reprezentuje nowatorskie podejście do śledzenia wzroku, które eliminuje problemy z kalibracją i umożliwia tworzenie kompaktowych, energooszczędnych i precyzyjnych modułów do śledzenia wzroku.

Moje praktyczne doświadczenie potwierdziło, że działa skutecznie. Miałem tylko kilka minut na wypróbowanie go – ograniczając się do demonstracji technicznej, a nie szeroko zakrojonych testów na rzeczywistym urządzeniu z rzeczywistością rozszerzoną – więc wstrzymam się z ostateczną oceną. Jednak przeprowadzone przeze mnie testy dały pozytywne wyniki, a wydajność w pełni odpowiadała twierdzeniom.

Moją jedyną troską jest prywatność. System wymaga pełnego skanowania mojej siatkówki, co oznacza, że ​​pełne dane siatkówki muszą być gdzieś przechowywane. To powiedziawszy, problem ten można rozwiązać, przechowując dane lokalnie, tak aby nigdy nie opuszczały urządzenia użytkownika.

Uważam, że jest to bardzo obiecujący produkt.

Źródło: Planeta VRAR