Eye Tracking: één keer kalibreren, een leven lang gebruiken?

Eye-trackingtechnologie is lange tijd een belangrijke interactiemethode geweest voor XR-headsets, maar de prestaties gaan vaak achteruit als de headset zelfs maar een klein beetje verschuift. Is er een manier om het slechts één keer te kalibreren en ervoor te zorgen dat die kalibratie een leven lang meegaat?

Skarredghost – een gerenommeerde buitenlandse XR-recensent en oprichter van de XR-website The Ghost Howls – ontmoette de startup Immersix op een VR/AR-industriebeurs in Shanghai. Immersix hanteert een radicaal andere benadering van eye-tracking: in plaats van de pupil te volgen, volgt het het netvlies.

De volgende tekst is enigszins aangepast voor de leesbaarheid.

De mal doorbreken: terwijl anderen zich op de pupil richten, richt deze zich op het netvlies

Terwijl bijna alle eye-trackingoplossingen die momenteel op de markt zijn de pupil volgen, heeft Immersix een heel ander pad gekozen: het volgen van het netvlies van de gebruiker.

Volgens het bedrijf biedt retinale tracking verschillende grote voordelen ten opzichte van traditionele methoden:

1. Het netvlies is uniek voor elk individu, waardoor het geschikt is voor identiteitsauthenticatie en uiterst moeilijk te vervalsen is;

2. Het netvlies blijft in de loop van de tijd vrijwel onveranderd, dus eye-tracking-kalibratie hoeft slechts één keer te worden uitgevoerd en blijft daarna geldig;

3. Het netvlies vertegenwoordigt de ‘grondwaarheid’ van het oog; ongeacht hoe de headset op het hoofd van de gebruiker verschuift, blijft de initiële kalibratie effectief, wat betekent dat er geen herkalibratie nodig is, zelfs niet nadat het apparaat is verwijderd en weer is opgezet;

4. De trackingprecisie kan extreem hoog zijn;

5. De modules kunnen heel klein worden gemaakt (er zijn slechts twee kleine eenheden nodig nabij de neusbrug), werken met een ultralaag stroomverbruik (minder dan 10 mW) en bereiken zeer hoge snelheden (tot 120 Hz).

Dit lost op effectieve wijze vrijwel alle pijnpunten op die gepaard gaan met eye-tracking in de huidige MR-headsets, zoals de prestatiedaling na het opzetten en afzetten van de headset, waardoor het vervelende kalibratieproces moet worden herhaald. Met de oplossing van Immersix worden dergelijke problemen theoretisch geëlimineerd.

Hoe werkt het

De aanpak is uiterst ingenieus.

Elke eye-trackingmodule bestaat uit slechts één camera en één infrarood-LED die wordt gebruikt om het oog te verlichten. Met name één enkele LED volstaat, waardoor de module veel compacter kan zijn dan traditionele ontwerpen waarvoor een ring LED's nodig is.

Tijdens de kalibratiefase voert de gebruiker specifieke oogbewegingen uit. Elke cameramodule observeert het oog, maar in plaats van naar buiten te focussen, probeert het 'naar binnen te kijken'. Hierdoor kan de camera gegevens vastleggen over hoe het netvlies in de loop van de tijd verandert.

Het ontwerpconcept achter het kalibratieproces is om het oog in verschillende richtingen te laten bewegen, waardoor stap voor stap het hele netvlies aan de camera wordt blootgesteld. De software reconstrueert vervolgens een compleet netvliesbeeld en haalt daar de unieke 'vingerafdruk' uit. In feite genereert dit kalibratieproces een uitgebreide kaart van de kenmerken van het netvlies van de gebruiker. Omdat het netvlies in de loop van de tijd (tenminste tot op hogere leeftijd) stabiel blijft, kan deze kaart vele jaren worden gebruikt.

Hoe volgt het systeem het oog actief na kalibratie? In dit stadium blijft elke camera zijn respectieve oog in de gaten houden, met name het gebied van het netvlies dat zichtbaar is op basis van de huidige oriëntatie van het oog. Door een gespecialiseerd algoritme te gebruiken dat dit kleine, zichtbare netvliesgebied vergelijkt met de volledige netvlieskaart die tijdens de kalibratie is gemaakt, kan het systeem nauwkeurig de oriëntatie van het oog bepalen.

Volgens Immersix is ​​deze tracking zeer nauwkeurig (waarbij een nauwkeurigheid van minder dan een graad wordt beweerd). Omdat de camera bovendien de absolute rotatie van de oogbol ten opzichte van het netvlies volgt (in plaats van de positie van de pupil ten opzichte van de bril), is de tracking uiterst robuust tegen camerabewegingen. Hierdoor kunt u de bril naar wens op- of afzetten en blijft eye-tracking functioneren zonder herkalibratie, zelfs als de positie en oriëntatie elke keer enigszins variëren.

Ervaring uit de echte wereld: werkt het echt?

Inmiddels vraag je je waarschijnlijk af of het echt de hype waarmaakt.

Een vertegenwoordiger van het bedrijf nam me mee backstage om het systeem uit te proberen. Ik mocht niets opnemen, dus gebruik ik officiële video's en afbeeldingen om mijn ervaring over te brengen.

Ik kreeg een paar paar frames overhandigd die waren uitgerust met Immersix-technologie. Dit waren geen slimme brillen of AR-brillen, maar alleen frames die waren ontworpen om de trackingtechnologie te testen. Ik kon de circuits duidelijk zien, dus testte ik een prototype in plaats van een eindproduct. Het was duidelijk een technologiedemonstratie met behulp van een ontwikkelingskit.

Nadat ze de speciale bril hadden opgezet, werden ze verbonden met een laptop, waardoor een eye-tracking-kalibratieroutine werd geactiveerd. Ik zag grote markeringen (waarschijnlijk ArUco-markeringen) op het laptopscherm, met een kleine rode rechthoek in het midden. Deze markeringen waren duidelijk bedoeld om de prototypebril te helpen de positie van het scherm te volgen; Omdat de kalibratie niet op het apparaat zelf kon worden uitgevoerd (aangezien het geen AR- of VR-mogelijkheden had en alleen uit frames bestond), moest het via de laptop worden gedaan, waardoor de bril nodig was om het scherm te lokaliseren. Ik kan me voorstellen dat deze markeringen niet nodig zouden zijn als de software rechtstreeks in de bril zou worden ingebed.

Kortom, er was een kleine cursor aan mijn ogen gekoppeld, waardoor ik deze kon verplaatsen door mijn blik te verschuiven. Mijn taak was om deze cursor over het scherm te bewegen om de kleine rechthoek volledig te wissen. Het leek op het gebruik van een gummetje met een kleine straal in MS Paint om een ​​rechthoek weg te vegen. Ik moest mijn ogen herhaaldelijk heen en weer bewegen om het volledig uit te wissen. Ik merkte dat naarmate ik verder kwam, de ooggestuurde cursor 'achterliep', waardoor ik gedwongen werd mijn ogen krachtiger heen en weer te bewegen om de rechthoek vrij te maken. Dit kan opzettelijk zijn geweest, bedoeld om mij aan te moedigen mijn blik naar de periferie te verleggen, zodat de camera's het volledige bereik van mijn netvlieszicht konden vastleggen.

De kalibratie duurde een paar minuten. Het was gemakkelijk te volgen, hoewel iets langer dan ik had verwacht, en het kijken naar de wijzerbeweging tijdens de laatste paar seconden veroorzaakte wat vermoeide ogen.

Daarna kon de eye-trackingsessie beginnen. Om aan te tonen dat de eye-tracking werkte, lanceerde een medewerker een nieuwe applicatie; Ik zag een andere set ArUco-markeringen en een raster van rode cirkels op het laptopscherm. Ik kon naar een specifieke cirkel kijken om deze blauw te maken, wat bevestigde dat het systeem correct functioneerde. Ik moet zeggen: het werkte best goed. De nauwkeurigheid was indrukwekkend en de kleur van de elementen waar ik naar keek, veranderde in realtime. Het was best gaaf.

Natuurlijk kan ik claims met betrekking tot nauwkeurigheid onder de graad of een framesnelheid van 120 Hz niet verifiëren. Ik kan echter bevestigen dat het systeem precies werkt zoals geadverteerd, tenminste in een context die vergelijkbaar is met de Apple Vision Pro. Dat is al een belangrijke prestatie, aangezien sommige huidige eye-trackingoplossingen zelfs dat prestatieniveau moeilijk aankunnen.

Ik kon de headset ook een beetje verschuiven om te zien of het systeem zonder herkalibratie correct zou blijven functioneren; het presteerde goed in mijn snelle tests.

Eindindruk: Veelbelovend, maar privacy is een punt van zorg

Deze oplossing heeft mij enorm verrast. Het vertegenwoordigt een nieuwe benadering van eye-tracking die kalibratieproblemen elimineert en de creatie van compacte, energiezuinige en nauwkeurige eye-tracking-modules mogelijk maakt.

Mijn praktijkervaring bevestigde dat het effectief werkt. Ik had maar een paar minuten om het uit te proberen (beperkt tot een technische demonstratie in plaats van uitgebreid testen op een echt augmented reality-apparaat), dus ik reserveer een definitief oordeel. De tests die ik heb uitgevoerd, leverden echter positieve resultaten op en de prestaties voldeden volledig aan de verwachtingen.

Mijn enige zorg is privacy. Het systeem vereist een volledige scan van mijn netvlies, wat impliceert dat de volledige netvliesgegevens ergens moeten worden opgeslagen. Dat gezegd hebbende, zou dit probleem kunnen worden opgelost door de gegevens lokaal te houden, zodat deze het apparaat van de gebruiker nooit verlaten.

Ik geloof dat dit een veelbelovend product is.

Bron: VRAR-planeet