Urmărirea ochilor: calibrați o dată, utilizați toată viața?

Tehnologia de urmărire a ochilor a fost mult timp o metodă de interacțiune de bază pentru căștile XR, dar performanța se degradează adesea dacă setul cu cască se schimbă chiar și ușor. Există vreo modalitate de a-l calibra o singură dată și ca calibrarea să dureze toată viața?

Skarredghost — un renumit recenzent XR de peste mări și fondatorul site-ului web XR The Ghost Howls — a întâlnit startup-ul Immersix la o expoziție a industriei VR/AR din Shanghai. Immersix adoptă o abordare radical diferită a urmăririi ochilor: în loc să urmărească pupila, urmărește retina.

Următorul text a fost ușor editat pentru a fi lizibil.

Ruperea mucegaiului: în timp ce alții vizează pupila, aceasta vizează retina

În timp ce aproape toate soluțiile de urmărire a ochilor de pe piață urmăresc pupila, Immersix a ales o cale complet diferită: urmărirea retinei utilizatorului.

Potrivit companiei, urmărirea retinei oferă câteva avantaje majore față de metodele tradiționale:

1. Retina este unică pentru fiecare individ, făcând-o potrivită pentru autentificarea identității și extrem de dificil de falsificat;

2. Retina rămâne practic neschimbată în timp, astfel încât calibrarea urmăririi ochilor trebuie efectuată o singură dată și rămâne valabilă ulterior;

3. Retina reprezintă „adevărul de bază” al ochiului; indiferent de modul în care se deplasează setul cu cască pe capul utilizatorului, calibrarea inițială rămâne eficientă, ceea ce înseamnă că nu este necesară nicio recalibrare chiar și după scoaterea și repunerea dispozitivului;

4. Precizia urmăririi poate fi extrem de mare;

5. Modulele pot fi făcute foarte mici (necesită doar două unități minuscule lângă podul nasului), funcționează cu un consum de energie ultra-scăzut (mai puțin de 10 mW) și ating viteze foarte mari (până la 120 Hz).

Acest lucru rezolvă efectiv practic toate punctele dureroase asociate cu urmărirea ochilor în căștile MR actuale, cum ar fi scăderea performanței după ce ați pus și scoateți setul cu cască de câteva ori, ceea ce necesită repetarea procesului de calibrare plictisitor. Cu soluția Immersix, astfel de probleme sunt teoretic eliminate.

Cum funcționează

Abordarea este foarte ingenioasă.

Fiecare modul de urmărire a ochilor este format dintr-o singură cameră și un LED cu infraroșu folosit pentru a ilumina ochiul. În special, un singur LED este suficient, permițând modulului să fie mult mai compact decât modelele tradiționale care necesită un inel de LED-uri.

În timpul fazei de calibrare, utilizatorul efectuează mișcări specifice ale ochilor. Fiecare modul al camerei observă ochiul, dar în loc să se concentreze spre exterior, încearcă să „privească înăuntru”. Acest lucru permite camerei să capteze date despre cum se schimbă retina în timp.

Conceptul de design din spatele procesului de calibrare este ca ochiul să se miște în diferite direcții, expunând astfel întreaga retină la cameră pas cu pas. Apoi, software-ul reconstruiește o imagine completă a retinei și extrage „amprenta digitală” a acesteia unică. De fapt, acest proces de calibrare generează o hartă cuprinzătoare a caracteristicilor retinei utilizatorului. Deoarece retina rămâne stabilă în timp (cel puțin până la vârsta înaintată), această hartă poate fi folosită mulți ani.

Cum urmărește sistemul în mod activ ochiul după calibrare? În această etapă, fiecare cameră continuă să-și monitorizeze ochiul respectiv - în special, zona retinei vizibilă pe baza orientării curente a ochiului. Folosind un algoritm specializat pentru a potrivi această zonă mică, vizibilă a retinei cu harta retiniană completă creată în timpul calibrării, sistemul poate determina cu precizie orientarea ochiului.

Potrivit Immersix, această urmărire este foarte precisă (pretinde acuratețe sub-grad). În plus, deoarece camera urmărește rotația absolută a globului ocular în raport cu retină – mai degrabă decât poziția pupilei față de ochelari – urmărirea este extrem de robustă împotriva mișcării camerei. În consecință, puteți pune ochelarii sau îi puteți scoate după bunul plac, iar urmărirea ochilor continuă să funcționeze fără recalibrare, chiar dacă poziția și orientarea variază ușor de fiecare dată.

Experiență în lumea reală: funcționează cu adevărat

Până acum, probabil vă întrebați dacă într-adevăr se ridică la înălțimea hype-ului.

Un reprezentant al companiei m-a dus în culise pentru a încerca sistemul. Nu am avut voie să înregistrez nimic, așa că folosesc videoclipuri și imagini oficiale pentru a-mi transmite experiența.

Mi s-au înmânat câteva perechi de rame echipate cu tehnologia Immersix. Nu erau ochelari inteligenți sau ochelari AR, ci doar rame concepute pentru a testa tehnologia de urmărire. Am putut vedea clar circuitele, așa că testam mai degrabă un prototip decât un produs finit. A fost în mod clar o demonstrație de tehnologie folosind un kit de dezvoltare.

După ce și-au pus ochelarii speciali, aceștia au fost conectați la un laptop, declanșând o rutină de calibrare a urmăririi ochilor. Am putut vedea markeri mari (probabil markeri ArUco) pe ecranul laptopului, cu un mic dreptunghi roșu în centru. Acești markeri au fost în mod clar menționați să ajute ochelarii prototip să urmărească poziția ecranului; întrucât calibrarea nu a putut fi efectuată pe dispozitivul în sine – având în vedere că nu avea capabilități AR sau VR și consta doar din cadre – trebuia făcută prin intermediul laptopului, necesitând ochelarii pentru a localiza ecranul. Îmi imaginez că aceste markere nu ar fi necesare dacă software-ul ar fi încorporat direct în ochelari.

Pe scurt, un mic cursor era legat de ochii mei, permițându-mi să-l mișc prin mișcarea privirii. Sarcina mea a fost să trec acest cursor pe ecran pentru a șterge complet micul dreptunghi. Era asemănător cu utilizarea unui instrument de ștergere cu rază mică în MS Paint pentru a șterge un dreptunghi. A trebuit să-mi mișc ochii înainte și înapoi în mod repetat pentru a-l șterge complet. Am observat că pe măsură ce progresam, cursorul controlat de ochi părea să „întârzie”, forțându-mă să-mi mișc ochii mai viguros dintr-o parte în alta pentru a șterge dreptunghiul. Acest lucru ar fi fost intenționat, conceput pentru a mă încuraja să-mi mută privirea către periferie, astfel încât camerele să poată surprinde întreaga gamă a vederii mele retiniene.

Calibrarea a durat câteva minute. A fost ușor de urmărit, deși puțin mai lung decât mă așteptam, iar urmărirea mișcării indicatorului în ultimele secunde a cauzat o mică oboseală a ochilor.

După aceea, ar putea începe sesiunea de urmărire a ochilor. Pentru a demonstra că eye-tracking funcționează, un membru al personalului a lansat o altă aplicație; Am văzut un set diferit de markere ArUco și o grilă de cercuri roșii pe ecranul laptopului. Am putut să mă uit la un anumit cerc pentru a-l transforma în albastru, ceea ce a confirmat că sistemul funcționa corect. Trebuie să spun că a funcționat destul de bine. Precizia a fost impresionantă, iar culoarea elementelor pe care le-am privit s-a schimbat în timp real. A fost destul de misto.

Desigur, nu pot verifica afirmațiile cu privire la acuratețea sub-gradului sau o rată a cadrelor de 120 Hz. Cu toate acestea, pot confirma că sistemul funcționează exact așa cum este anunțat, cel puțin într-un context similar cu Apple Vision Pro. Aceasta este deja o realizare semnificativă, având în vedere că unele soluții actuale de urmărire a ochilor se luptă să gestioneze chiar și acel nivel de performanță.

De asemenea, am putut să schimb ușor setul cu cască pentru a vedea dacă sistemul va continua să funcționeze corect fără recalibrare; a funcționat bine la testele mele rapide.

Impresie finală: promițător, dar confidențialitatea este o preocupare

Această soluție chiar m-a surprins. Reprezintă o abordare nouă a urmăririi ochilor care elimină problemele de calibrare și permite crearea de module de urmărire a ochilor compacte, cu putere redusă și precise.

Experiența mea practică a confirmat că funcționează eficient. Am avut la dispoziție doar câteva minute pentru a-l încerca - limitat la o demonstrație tehnică, mai degrabă decât la testare extinsă pe un dispozitiv real de realitate augmentată - așa că îmi rezerv judecata finală. Cu toate acestea, testele pe care le-am efectuat au dat rezultate pozitive, iar performanța a fost pe deplin la nivelul afirmațiilor.

Singura mea preocupare este intimitatea. Sistemul necesită o scanare completă a retinei mele, ceea ce implică faptul că datele complete ale retinei trebuie stocate undeva. Acestea fiind spuse, această problemă ar putea fi rezolvată prin păstrarea datelor locale, astfel încât să nu părăsească dispozitivul utilizatorului.

Cred că acesta este un produs foarte promițător.

Sursa: VRAR Planet