Eye Tracking: Kalibrovat jednou, používat po celý život?

Technologie sledování očí je již dlouho základní metodou interakce pro náhlavní soupravy XR, ale výkon často klesá, pokud se náhlavní souprava byť jen nepatrně posune. Existuje způsob, jak jej zkalibrovat pouze jednou a mít tuto kalibraci na celý život?

Skarredghost – renomovaný zámořský recenzent XR a zakladatel webu XR The Ghost Howls – se setkal se startupem Immersix na průmyslové výstavě VR/AR v Šanghaji. Immersix zaujímá radikálně odlišný přístup ke sledování očí: místo sledování zornice sleduje sítnici.

Následující text byl kvůli čitelnosti mírně upraven.

Prolomení plísně: Zatímco jiní cílí na zornici, ona se zaměřuje na sítnici

Zatímco téměř všechna řešení pro sledování očí, která jsou v současné době na trhu, sledují zornici, Immersix zvolil zcela jinou cestu: sledování sítnice uživatele.

Podle společnosti nabízí sledování sítnice oproti tradičním metodám několik hlavních výhod:

1. Sítnice je jedinečná pro každého jednotlivce, takže je vhodná pro ověřování identity a je extrémně obtížné ji zfalšovat;

2. Sítnice zůstává v průběhu času prakticky nezměněna, takže kalibraci sledování očí je třeba provést pouze jednou a poté zůstává v platnosti;

3. Sítnice představuje 'základní pravdu' oka; bez ohledu na to, jak se náhlavní souprava posouvá na hlavě uživatele, zůstává počáteční kalibrace účinná – to znamená, že není nutná žádná rekalibrace ani po sejmutí a opětovném nasazení zařízení;

4. Přesnost sledování může být extrémně vysoká;

5. Moduly mohou být vyrobeny velmi malé (vyžadují pouze dvě malé jednotky blízko kořene nosu), pracovat s velmi nízkou spotřebou energie (méně než 10 mW) a dosahovat velmi vysokých rychlostí (až 120 Hz).

To účinně řeší prakticky všechny bolestivé body spojené se sledováním očí u současných MR náhlavních souprav – jako je pokles výkonu po několikanásobném nasazení a sejmutí náhlavní soupravy, což vyžaduje opakování zdlouhavého procesu kalibrace. S řešením Immersix jsou takové potíže teoreticky eliminovány.

Jak to funguje

Přístup je velmi důmyslný.

Každý modul pro sledování očí se skládá pouze z jedné kamery a jedné infračervené LED diody používané k osvětlení oka. Je pozoruhodné, že stačí jedna LED, což umožňuje modulu být mnohem kompaktnější než tradiční konstrukce, které vyžadují kruh LED.

Během kalibrační fáze uživatel provádí specifické pohyby očí. Každý modul kamery pozoruje oko, ale místo toho, aby zaostřoval ven, pokouší se 'podívat se dovnitř'. To umožňuje kameře zachytit data o tom, jak se sítnice v průběhu času mění.

Koncepce designu za procesem kalibrace spočívá v tom, že se oko pohybuje různými směry, čímž se celá sítnice postupně vystavuje fotoaparátu. Software poté rekonstruuje kompletní obraz sítnice a extrahuje jeho jedinečný „otisk prstu“. Tento proces kalibrace ve skutečnosti vytváří komplexní mapu funkcí sítnice uživatele. Vzhledem k tomu, že sítnice zůstává stabilní v průběhu času (alespoň do pokročilého věku), lze tuto mapu používat po mnoho let.

Jak systém aktivně sleduje oko po kalibraci? V této fázi každá kamera nadále sleduje své příslušné oko – konkrétně oblast sítnice viditelnou na základě aktuální orientace oka. Pomocí specializovaného algoritmu pro porovnání této malé viditelné oblasti sítnice s kompletní mapou sítnice vytvořenou během kalibrace může systém přesně určit orientaci oka.

Podle Immersix je toto sledování vysoce přesné (prohlašuje přesnost pod stupně). Navíc, protože kamera sleduje absolutní rotaci oční bulvy vzhledem k sítnici – spíše než polohu zornice vzhledem k brýlím – je sledování extrémně odolné vůči pohybu kamery. Brýle si tak můžete libovolně nasazovat nebo sundávat a sledování očí nadále funguje bez rekalibrace, i když se poloha a orientace pokaždé mírně liší.

Zkušenosti z reálného světa: Opravdu to funguje

Teď už si asi říkáte, jestli to opravdu splňuje ten humbuk.

Zástupce společnosti mě vzal do zákulisí, abych systém vyzkoušel. Nesměl jsem nic nahrávat, takže používám oficiální videa a obrázky, které mi pomáhají zprostředkovat mé zkušenosti.

Bylo mi předáno několik párů rámů vybavených technologií Immersix. Nebyly to chytré brýle ani brýle pro AR – jen rámečky navržené k testování technologie sledování. Jasně jsem viděl obvody, takže jsem testoval spíše prototyp než hotový produkt. Šlo jednoznačně o ukázku technologie pomocí vývojového kitu.

Po nasazení speciálních brýlí byly připojeny k notebooku a spustily kalibrační rutinu sledování očí. Na obrazovce notebooku jsem viděl velké značky (pravděpodobně značky ArUco) s malým červeným obdélníkem uprostřed. Tyto značky byly jasně určeny k tomu, aby pomohly prototypovým brýlím sledovat polohu obrazovky; protože kalibraci nebylo možné provést na samotném zařízení – vzhledem k tomu, že postrádalo možnosti AR nebo VR a skládalo se pouze z rámečků – musela být provedena prostřednictvím notebooku, což vyžadovalo, aby brýle lokalizovaly obrazovku. Představuji si, že tyto značky by nebyly nutné, pokud by byl software zabudován přímo do brýlí.

Stručně řečeno, malý kurzor byl propojen s mými očima, což mi umožňovalo pohybovat s ním posunem pohledu. Mým úkolem bylo přejet tímto kurzorem po obrazovce a úplně vymazat malý obdélník. Bylo to podobné, jako když v programu MS Paint použijete nástroj na gumu s malým poloměrem k vymazání obdélníku. Musel jsem opakovaně pohybovat očima tam a zpět, abych to úplně vymazal. Všiml jsem si, že jak jsem postupoval, okem ovládaný kurzor jakoby 'zaostával', nutil mě pohybovat očima silněji ze strany na stranu, abych vyčistil obdélník. Mohlo to být záměrné, navrženo tak, aby mě povzbudilo přesunout pohled směrem k periferii, aby kamery mohly zachytit celý rozsah mého pohledu na sítnici.

Kalibrace trvala několik minut. Bylo snadné to sledovat, i když trochu déle, než jsem čekal, a sledování pohybu ukazatele během posledních několika sekund způsobilo trochu únavu očí.

Poté mohlo začít sledování očí. Aby prokázal, že sledování očí funguje, spustil zaměstnanec jinou aplikaci; Na obrazovce notebooku jsem viděl jinou sadu značek ArUco a mřížku červených kruhů. Mohl jsem se podívat na konkrétní kruh, aby se změnil na modrou, což potvrdilo, že systém funguje správně. Musím říct, že to docela fungovalo. Přesnost byla působivá a barva prvků, na které jsem se díval, se měnila v reálném čase. Bylo to docela v pohodě.

Samozřejmě nemohu ověřit tvrzení týkající se podstupňové přesnosti nebo snímkové frekvence 120 Hz. Mohu však potvrdit, že systém funguje přesně tak, jak je inzerováno – alespoň v kontextu podobném Apple Vision Pro. To je již významný úspěch vzhledem k tomu, že některá současná řešení pro sledování očí se snaží zvládnout i tuto úroveň výkonu.

Podařilo se mi také mírně posunout náhlavní soupravu, abych zjistil, zda bude systém nadále správně fungovat bez rekalibrace; v mých rychlých testech fungoval dobře.

Výsledný dojem: Slibný, ale soukromí je problém

Toto řešení mě opravdu překvapilo. Představuje nový přístup ke sledování očí, který eliminuje problémy s kalibrací a umožňuje vytvoření kompaktních, nízkoenergetických a přesných modulů sledování očí.

Moje praktické zkušenosti potvrdily, že to funguje efektivně. Měl jsem jen pár minut na vyzkoušení – omezeno na technickou ukázku spíše než na rozsáhlé testování na skutečném zařízení s rozšířenou realitou – takže si ponechávám konečný úsudek. Testy, které jsem provedl, však přinesly pozitivní výsledky a výkon plně odpovídal tvrzením.

Jediné, co mě zajímá, je soukromí. Systém vyžaduje úplné skenování mé sítnice, což znamená, že kompletní data sítnice musí být někde uložena. To znamená, že tento problém by mohl být vyřešen ponecháním dat lokálních, takže nikdy neopustí zařízení uživatele.

Věřím, že se jedná o velmi slibný produkt.

Zdroj: VRAR Planet