Eye Tracking: Einmal kalibrieren, ein Leben lang nutzen?

Die Eye-Tracking-Technologie ist seit langem eine zentrale Interaktionsmethode für XR-Headsets, doch die Leistung lässt oft nach, wenn sich das Headset auch nur geringfügig bewegt. Gibt es eine Möglichkeit, es nur einmal zu kalibrieren und diese Kalibrierung ein Leben lang zu halten?

Skarredghost – ein renommierter XR-Rezensent aus Übersee und Gründer der XR-Website The Ghost Howls – traf das Startup Immersix auf einer VR/AR-Branchenmesse in Shanghai. Immersix verfolgt beim Eye-Tracking einen völlig anderen Ansatz: Statt die Pupille zu verfolgen, verfolgt es die Netzhaut.

Der folgende Text wurde zur besseren Lesbarkeit leicht bearbeitet.

Neue Wege gehen: Während andere auf die Pupille abzielen, zielt es auf die Netzhaut

Während fast alle derzeit auf dem Markt befindlichen Eye-Tracking-Lösungen die Pupille verfolgen, hat Immersix einen völlig anderen Weg gewählt: die Verfolgung der Netzhaut des Benutzers.

Nach Angaben des Unternehmens bietet die Netzhautverfolgung mehrere große Vorteile gegenüber herkömmlichen Methoden:

1. Die Netzhaut ist für jedes Individuum einzigartig, wodurch sie sich zur Identitätsauthentifizierung eignet und äußerst schwer zu fälschen ist;

2. Die Netzhaut bleibt im Laufe der Zeit nahezu unverändert, sodass die Eye-Tracking-Kalibrierung nur einmal durchgeführt werden muss und danach gültig bleibt;

3. Die Netzhaut stellt die „Grundwahrheit“ des Auges dar; Unabhängig davon, wie sich das Headset auf dem Kopf des Benutzers verschiebt, bleibt die anfängliche Kalibrierung wirksam – das heißt, es ist keine Neukalibrierung erforderlich, auch wenn das Gerät abgenommen und wieder aufgesetzt wird.

4. Die Tracking-Präzision kann extrem hoch sein;

5. Die Module können sehr klein gebaut werden (sie erfordern nur zwei winzige Einheiten in der Nähe des Nasenrückens), arbeiten mit extrem niedrigem Stromverbrauch (weniger als 10 mW) und erreichen sehr hohe Geschwindigkeiten (bis zu 120 Hz).

Dadurch werden praktisch alle Probleme gelöst, die mit dem Eye-Tracking bei aktuellen MR-Headsets verbunden sind – beispielsweise der Leistungsabfall nach mehrmaligem Aufsetzen und Abnehmen des Headsets, was die Wiederholung des langwierigen Kalibrierungsprozesses erforderlich macht. Mit der Lösung von Immersix entfallen solche Probleme theoretisch.

Wie funktioniert es

Der Ansatz ist höchst genial.

Jedes Eye-Tracking-Modul besteht lediglich aus einer einzigen Kamera und einer Infrarot-LED, die zur Beleuchtung des Auges dient. Insbesondere reicht eine einzelne LED aus, sodass das Modul viel kompakter ist als herkömmliche Designs, die einen LED-Ring erfordern.

Während der Kalibrierungsphase führt der Benutzer bestimmte Augenbewegungen aus. Jedes Kameramodul beobachtet das Auge, aber anstatt nach außen zu fokussieren, versucht es, „nach innen zu schauen“. Dadurch kann die Kamera Daten darüber erfassen, wie sich die Netzhaut im Laufe der Zeit verändert.

Das Designkonzept hinter dem Kalibrierungsprozess besteht darin, das Auge in verschiedene Richtungen zu bewegen und so Schritt für Schritt die gesamte Netzhaut der Kamera auszusetzen. Die Software rekonstruiert dann ein vollständiges Netzhautbild und extrahiert seinen einzigartigen „Fingerabdruck“. Tatsächlich generiert dieser Kalibrierungsprozess eine umfassende Merkmalskarte der Netzhaut des Benutzers. Da die Netzhaut im Laufe der Zeit (zumindest bis ins hohe Alter) stabil bleibt, kann diese Karte über viele Jahre hinweg verwendet werden.

Wie verfolgt das System das Auge nach der Kalibrierung aktiv? In diesem Stadium überwacht jede Kamera weiterhin ihr jeweiliges Auge – insbesondere den Bereich der Netzhaut, der basierend auf der aktuellen Ausrichtung des Auges sichtbar ist. Durch die Verwendung eines speziellen Algorithmus zum Abgleichen dieses kleinen, sichtbaren Netzhautbereichs mit der vollständigen Netzhautkarte, die während der Kalibrierung erstellt wurde, kann das System die Ausrichtung des Auges präzise bestimmen.

Laut Immersix ist dieses Tracking äußerst präzise (mit einer Genauigkeit von unter einem Grad). Da die Kamera außerdem die absolute Rotation des Augapfels relativ zur Netzhaut verfolgt – und nicht die Position der Pupille relativ zur Brille – ist die Verfolgung äußerst robust gegenüber Kamerabewegungen. Dadurch lässt sich die Brille nach Belieben aufsetzen oder abnehmen und das Eye-Tracking funktioniert weiterhin ohne Neukalibrierung, auch wenn sich Position und Ausrichtung jedes Mal leicht ändern.

Praxiserfahrung: Funktioniert es wirklich?

Inzwischen fragen Sie sich wahrscheinlich, ob es dem Hype wirklich gerecht wird.

Ein Unternehmensvertreter nahm mich mit hinter die Bühne, um das System auszuprobieren. Ich durfte nichts aufnehmen, daher verwende ich offizielle Videos und Bilder, um meine Erfahrungen zu vermitteln.

Mir wurden ein paar Rahmenpaare mit Immersix-Technologie überreicht. Dabei handelte es sich nicht um Datenbrillen oder AR-Brillen, sondern lediglich um Rahmen, die zum Testen der Tracking-Technologie entwickelt wurden. Ich konnte die Schaltung deutlich sehen, also testete ich eher einen Prototyp als ein fertiges Produkt. Es handelte sich eindeutig um eine Technologiedemonstration mithilfe eines Entwicklungskits.

Nach dem Aufsetzen der Spezialbrille wurden diese mit einem Laptop verbunden, wodurch eine Eye-Tracking-Kalibrierungsroutine ausgelöst wurde. Ich konnte große Markierungen (wahrscheinlich ArUco-Markierungen) auf dem Laptop-Bildschirm sehen, mit einem kleinen roten Rechteck in der Mitte. Diese Markierungen waren eindeutig dazu gedacht, den Brillenprototypen dabei zu helfen, die Position des Bildschirms zu verfolgen. Da die Kalibrierung nicht am Gerät selbst durchgeführt werden konnte – da es keine AR- oder VR-Funktionen hatte und lediglich aus Frames bestand –, musste sie über den Laptop durchgeführt werden, wobei die Brille den Bildschirm lokalisieren musste. Ich kann mir vorstellen, dass diese Markierungen nicht nötig wären, wenn die Software direkt in die Brille eingebettet wäre.

Kurz gesagt, ein kleiner Cursor war mit meinen Augen verbunden, sodass ich ihn durch Verschieben meines Blicks bewegen konnte. Meine Aufgabe bestand darin, diesen Cursor über den Bildschirm zu bewegen, um das kleine Rechteck vollständig zu löschen. Es ähnelte der Verwendung eines Radiergummis mit kleinem Radius in MS Paint, um ein Rechteck wegzuwischen. Ich musste meine Augen wiederholt hin und her bewegen, um es vollständig zu löschen. Mir fiel auf, dass der augengesteuerte Cursor im Laufe der Zeit zu „verzögern“ schien, was mich dazu zwang, meine Augen kräftiger von einer Seite zur anderen zu bewegen, um das Rechteck freizumachen. Dies könnte Absicht gewesen sein, um mich zu ermutigen, meinen Blick in Richtung der Peripherie zu richten, damit die Kameras den gesamten Bereich meiner Netzhautansicht erfassen konnten.

Die Kalibrierung dauerte einige Minuten. Es war leicht zu verstehen, wenn auch etwas länger, als ich erwartet hatte, und die Bewegung des Zeigers in den letzten paar Sekunden zu beobachten, verursachte eine gewisse Überanstrengung für die Augen.

Danach konnte die Eye-Tracking-Sitzung beginnen. Um zu zeigen, dass das Eye-Tracking funktioniert, startete ein Mitarbeiter eine weitere Anwendung; Auf dem Laptop-Bildschirm sah ich einen anderen Satz ArUco-Marker und ein Raster aus roten Kreisen. Ich konnte einen bestimmten Kreis betrachten, um ihn blau zu färben, was bestätigte, dass das System ordnungsgemäß funktionierte. Ich muss sagen, es hat ganz gut funktioniert. Die Genauigkeit war beeindruckend und die Farbe der Elemente, die ich betrachtete, änderte sich in Echtzeit. Es war ziemlich cool.

Natürlich kann ich Behauptungen bezüglich einer Genauigkeit unter einem Grad oder einer Bildrate von 120 Hz nicht bestätigen. Ich kann jedoch bestätigen, dass das System genau wie beworben funktioniert – zumindest in einem ähnlichen Kontext wie das Apple Vision Pro. Dies ist bereits eine bedeutende Leistung, wenn man bedenkt, dass einige aktuelle Eye-Tracking-Lösungen selbst mit dieser Leistung nicht zurechtkommen.

Ich konnte das Headset auch leicht verschieben, um zu sehen, ob das System ohne Neukalibrierung weiterhin ordnungsgemäß funktioniert. In meinen Schnelltests hat es gut abgeschnitten.

Letzter Eindruck: Vielversprechend, aber Privatsphäre ist ein Problem

Diese Lösung hat mich wirklich überrascht. Es stellt einen neuartigen Ansatz für das Eye-Tracking dar, der Kalibrierungsprobleme beseitigt und die Erstellung kompakter, stromsparender und präziser Eye-Tracking-Module ermöglicht.

Meine praktische Erfahrung hat bestätigt, dass es effektiv funktioniert. Ich hatte nur ein paar Minuten Zeit, es auszuprobieren – beschränkt auf eine technische Demonstration und nicht auf umfangreiche Tests auf einem echten Augmented-Reality-Gerät – daher behalte ich mir ein endgültiges Urteil vor. Die von mir durchgeführten Tests ergaben jedoch positive Ergebnisse und die Leistung entsprach voll und ganz den Ansprüchen.

Meine einzige Sorge ist die Privatsphäre. Das System erfordert einen vollständigen Scan meiner Netzhaut, was bedeutet, dass die vollständigen Netzhautdaten irgendwo gespeichert werden müssen. Allerdings könnte dieses Problem dadurch gelöst werden, dass die Daten lokal bleiben, sodass sie das Gerät des Benutzers nie verlassen.

Ich glaube, dass dies ein vielversprechendes Produkt ist.

Quelle: VRAR Planet