Eye Tracking : calibrer une fois, utiliser toute une vie ?

La technologie de suivi oculaire constitue depuis longtemps une méthode d'interaction essentielle pour les casques XR, mais les performances se dégradent souvent si le casque se déplace, même légèrement. Existe-t-il un moyen de le calibrer une seule fois et de faire en sorte que cet calibrage dure toute une vie ?

Skarredghost, un critique international renommé de XR et fondateur du site Web XR The Ghost Howls, a rencontré la startup Immersix lors d'une exposition de l'industrie VR/AR à Shanghai. Immersix adopte une approche radicalement différente du suivi oculaire : au lieu de suivre la pupille, il suit la rétine.

Le texte suivant a été légèrement modifié pour plus de lisibilité.

Briser le moule : alors que d'autres ciblent la pupille, il cible la rétine

Alors que presque toutes les solutions d'oculométrie actuellement sur le marché suivent la pupille, Immersix a choisi une toute autre voie : suivre la rétine de l'utilisateur.

Selon l’entreprise, le suivi rétinien offre plusieurs avantages majeurs par rapport aux méthodes traditionnelles :

1. La rétine est unique à chaque individu, ce qui la rend adaptée à l'authentification de l'identité et extrêmement difficile à falsifier ;

2. La rétine reste pratiquement inchangée au fil du temps, de sorte que l'étalonnage du suivi oculaire ne doit être effectué qu'une seule fois et reste valable par la suite ;

3. La rétine représente la « vérité fondamentale » de l'œil ; quelle que soit la façon dont le casque se déplace sur la tête de l'utilisateur, le calibrage initial reste efficace, ce qui signifie qu'aucun recalibrage n'est nécessaire même après avoir retiré et remis l'appareil ;

4. La précision du suivi peut être extrêmement élevée ;

5. Les modules peuvent être très petits (ne nécessitant que deux minuscules unités près de l'arête du nez), fonctionner avec une consommation d'énergie ultra faible (moins de 10 mW) et atteindre des vitesses très élevées (jusqu'à 120 Hz).

Cela résout efficacement pratiquement tous les problèmes associés au suivi oculaire dans les casques MR actuels, tels que la baisse de performances après avoir mis et retiré le casque plusieurs fois, ce qui nécessite de répéter le fastidieux processus d'étalonnage. Avec la solution Immersix, ces tracas sont théoriquement éliminés.

Comment ça marche

L’approche est très ingénieuse.

Chaque module de suivi oculaire se compose d’une seule caméra et d’une LED infrarouge utilisée pour éclairer l’œil. Notamment, une seule LED suffit, ce qui permet au module d'être beaucoup plus compact que les conceptions traditionnelles qui nécessitent un anneau de LED.

Lors de la phase de calibrage, l'utilisateur effectue des mouvements oculaires spécifiques. Chaque module de caméra observe l'œil, mais au lieu de se concentrer vers l'extérieur, il tente de « regarder à l'intérieur ». Cela permet à la caméra de capturer des données sur la façon dont la rétine évolue au fil du temps.

Le concept de conception derrière le processus d'étalonnage est de faire bouger l'œil dans différentes directions, exposant ainsi l'ensemble de la rétine à la caméra, étape par étape. Le logiciel reconstruit ensuite une image rétinienne complète et extrait son « empreinte digitale » unique. En effet, ce processus d'étalonnage génère une carte complète des caractéristiques de la rétine de l'utilisateur. La rétine restant stable dans le temps (au moins jusqu’à un âge avancé), cette carte peut être utilisée pendant de nombreuses années.

Comment le système suit-il activement l’œil après l’étalonnage ? À ce stade, chaque caméra continue de surveiller son œil respectif, plus précisément la zone de la rétine visible en fonction de l'orientation actuelle de l'œil. En utilisant un algorithme spécialisé pour faire correspondre cette petite zone rétinienne visible à la carte rétinienne complète créée lors de l'étalonnage, le système peut déterminer avec précision l'orientation de l'œil.

Selon Immersix, ce suivi est très précis (affirmant une précision inférieure au degré). De plus, comme la caméra suit la rotation absolue du globe oculaire par rapport à la rétine, plutôt que la position de la pupille par rapport aux lunettes, le suivi est extrêmement résistant aux mouvements de la caméra. Par conséquent, vous pouvez mettre ou retirer les lunettes à votre guise, et l'oculométrie continue de fonctionner sans recalibrage, même si la position et l'orientation varient légèrement à chaque fois.

Expérience du monde réel : est-ce que ça marche vraiment

À présent, vous vous demandez probablement s’il est vraiment à la hauteur du battage médiatique.

Un représentant de l'entreprise m'a emmené dans les coulisses pour essayer le système. Je n'avais pas le droit d'enregistrer quoi que ce soit, j'utilise donc des vidéos et des images officielles pour transmettre mon expérience.

On m'a remis quelques paires de montures équipées de la technologie Immersix. Il ne s'agissait pas de lunettes intelligentes ou de lunettes AR, mais simplement de montures conçues pour tester la technologie de suivi. Je pouvais clairement voir les circuits, donc je testais un prototype plutôt qu'un produit fini. Il s’agissait clairement d’une démonstration technologique utilisant un kit de développement.

Après avoir mis les lunettes spéciales, ils ont été connectés à un ordinateur portable, déclenchant une routine d'étalonnage de suivi oculaire. Je pouvais voir de grands marqueurs (probablement des marqueurs ArUco) sur l'écran de l'ordinateur portable, avec un petit rectangle rouge au centre. Ces marqueurs étaient clairement destinés à aider les prototypes de lunettes à suivre la position de l'écran ; Comme l'étalonnage ne pouvait pas être effectué sur l'appareil lui-même (étant donné qu'il manquait de capacités AR ou VR et se composait uniquement d'images), il devait être effectué via l'ordinateur portable, ce qui obligeait les lunettes à localiser l'écran. J'imagine que ces marqueurs ne seraient pas nécessaires si le logiciel était intégré directement dans les lunettes.

Bref, un petit curseur était lié à mes yeux, me permettant de le déplacer en déplaçant mon regard. Ma tâche consistait à balayer ce curseur sur l'écran pour effacer complètement le petit rectangle. Cela revenait à utiliser une gomme à petit rayon dans MS Paint pour effacer un rectangle. J'ai dû bouger mes yeux à plusieurs reprises pour l'effacer complètement. J'ai remarqué qu'au fur et à mesure que je progressais, le curseur contrôlé par l'œil semblait « en retard », m'obligeant à bouger mes yeux plus vigoureusement d'un côté à l'autre pour dégager le rectangle. Cela aurait pu être intentionnel, dans le but de m'encourager à déplacer mon regard vers la périphérie afin que les caméras puissent capturer toute la gamme de ma vue rétinienne.

L'étalonnage a pris quelques minutes. C'était facile à suivre, bien que légèrement plus long que prévu, et regarder le pointeur bouger pendant les dernières secondes provoquait un peu de fatigue oculaire.

Après cela, la séance d’oculométrie pouvait commencer. Pour démontrer que l'oculométrie fonctionnait, un membre du personnel a lancé une autre application ; J'ai vu un autre ensemble de marqueurs ArUco et une grille de cercles rouges sur l'écran de l'ordinateur portable. Je pouvais regarder un cercle spécifique pour le rendre bleu, ce qui confirmait que le système fonctionnait correctement. Je dois dire que cela a plutôt bien fonctionné. La précision était impressionnante et la couleur des éléments que je regardais changeait en temps réel. C'était plutôt cool.

Bien sûr, je ne peux pas vérifier les affirmations concernant une précision inférieure au degré ou une fréquence d’images de 120 Hz. Cependant, je peux confirmer que le système fonctionne exactement comme annoncé, du moins dans un contexte similaire à celui d'Apple Vision Pro. Il s’agit déjà d’une réussite importante, étant donné que certaines solutions de suivi oculaire actuelles ont du mal à gérer même ce niveau de performance.

J'ai également pu déplacer légèrement le casque pour voir si le système continuerait à fonctionner correctement sans recalibrage ; il a bien fonctionné lors de mes tests rapides.

Impression finale : prometteuse, mais la confidentialité est une préoccupation

Cette solution m'a vraiment surpris. Il représente une nouvelle approche du suivi oculaire qui élimine les problèmes d'étalonnage et permet la création de modules de suivi oculaire compacts, de faible consommation et précis.

Mon expérience pratique a confirmé que cela fonctionne efficacement. Je n'ai eu que quelques minutes pour l'essayer – limité à une démonstration technique plutôt qu'à des tests approfondis sur un véritable appareil de réalité augmentée – je réserve donc mon jugement final. Cependant, les tests que j’ai effectués ont donné des résultats positifs et les performances ont été à la hauteur des affirmations.

Ma seule préoccupation est la vie privée. Le système nécessite une analyse complète de ma rétine, ce qui implique que les données rétiniennes complètes doivent être stockées quelque part. Cela dit, ce problème pourrait être résolu en conservant les données locales afin qu'elles ne quittent jamais l'appareil de l'utilisateur.

Je pense que c'est un produit très prometteur.

Source : Planète VRAR