Seguimiento ocular: ¿calibrar una vez y utilizarlo toda la vida?

La tecnología de seguimiento ocular ha sido durante mucho tiempo un método de interacción fundamental para los auriculares XR, pero el rendimiento a menudo se degrada si los auriculares se mueven aunque sea ligeramente. ¿Hay alguna manera de calibrarlo solo una vez y que esa calibración dure toda la vida?

Skarredghost, un renombrado crítico extranjero de XR y fundador del sitio web de XR The Ghost Howls, se encontró con la startup Immersix en una exposición de la industria VR/AR en Shanghai. Immersix está adoptando un enfoque radicalmente diferente en cuanto al seguimiento ocular: en lugar de seguir la pupila, sigue la retina.

El siguiente texto ha sido ligeramente editado para facilitar su lectura.

Rompiendo moldes: mientras otros apuntan a la pupila, él apunta a la retina

Mientras que casi todas las soluciones de seguimiento ocular actualmente en el mercado rastrean la pupila, Immersix ha elegido un camino completamente diferente: rastrear la retina del usuario.

Según la empresa, el seguimiento de la retina ofrece varias ventajas importantes sobre los métodos tradicionales:

1. La retina es única para cada individuo, lo que la hace adecuada para la autenticación de identidad y extremadamente difícil de falsificar;

2. La retina permanece prácticamente sin cambios con el tiempo, por lo que la calibración del seguimiento ocular solo debe realizarse una vez y sigue siendo válida a partir de entonces;

3. La retina representa la 'verdad fundamental' del ojo; independientemente de cómo se mueva el auricular sobre la cabeza del usuario, la calibración inicial sigue siendo efectiva, lo que significa que no se requiere recalibración incluso después de quitar y volver a colocar el dispositivo;

4. La precisión del seguimiento puede ser extremadamente alta;

5. Los módulos pueden hacerse muy pequeños (requiriendo sólo dos unidades diminutas cerca del puente de la nariz), funcionar con un consumo de energía ultrabajo (menos de 10 mW) y alcanzar velocidades muy altas (hasta 120 Hz).

Esto resuelve de manera efectiva prácticamente todos los puntos débiles asociados con el seguimiento ocular en los auriculares de RM actuales, como la caída en el rendimiento después de ponerse y quitarse los auriculares varias veces, lo que requiere repetir el tedioso proceso de calibración. Con la solución de Immersix, estos problemas teóricamente se eliminan.

¿Cómo funciona?

El enfoque es muy ingenioso.

Cada módulo de seguimiento ocular consta de una sola cámara y un LED infrarrojo que se utiliza para iluminar el ojo. En particular, basta con un solo LED, lo que permite que el módulo sea mucho más compacto que los diseños tradicionales que requieren un anillo de LED.

Durante la fase de calibración, el usuario realiza movimientos oculares específicos. Cada módulo de cámara observa el ojo, pero en lugar de enfocar hacia afuera, intenta 'mirar hacia adentro'. Esto permite a la cámara capturar datos sobre cómo cambia la retina con el tiempo.

El concepto de diseño detrás del proceso de calibración es hacer que el ojo se mueva en varias direcciones, exponiendo así toda la retina a la cámara paso a paso. Luego, el software reconstruye una imagen retiniana completa y extrae su 'huella digital' única. De hecho, este proceso de calibración genera un mapa completo de características de la retina del usuario. Dado que la retina se mantiene estable a lo largo del tiempo (al menos hasta una edad avanzada), este mapa se puede utilizar durante muchos años.

¿Cómo realiza el sistema un seguimiento activo del ojo después de la calibración? En esta etapa, cada cámara continúa monitoreando su ojo respectivo, específicamente el área de la retina visible según la orientación actual del ojo. Al utilizar un algoritmo especializado para comparar esta pequeña área retiniana visible con el mapa retiniano completo creado durante la calibración, el sistema puede determinar con precisión la orientación del ojo.

Según Immersix, este seguimiento es muy preciso (afirmando una precisión inferior a un grado). Además, debido a que la cámara sigue la rotación absoluta del globo ocular en relación con la retina (en lugar de la posición de la pupila en relación con las gafas), el seguimiento es extremadamente robusto frente al movimiento de la cámara. En consecuencia, puedes ponerte o quitarte las gafas a tu antojo, y el seguimiento ocular sigue funcionando sin recalibración, incluso si la posición y la orientación varían ligeramente cada vez.

Experiencia del mundo real: ¿realmente funciona?

A estas alturas probablemente te estés preguntando si realmente está a la altura de las expectativas.

Un representante de la empresa me llevó detrás del escenario para probar el sistema. No se me permitió grabar nada, así que estoy usando videos e imágenes oficiales para ayudar a transmitir mi experiencia.

Me entregaron algunos pares de monturas equipadas con tecnología Immersix. No eran gafas inteligentes ni gafas AR, solo monturas diseñadas para probar la tecnología de seguimiento. Podía ver claramente los circuitos, así que estaba probando un prototipo en lugar de un producto terminado. Claramente fue una demostración de tecnología utilizando un kit de desarrollo.

Después de ponerse las gafas especiales, se conectaron a una computadora portátil, lo que desencadenó una rutina de calibración de seguimiento ocular. Pude ver marcadores grandes (probablemente marcadores ArUco) en la pantalla del portátil, con un pequeño rectángulo rojo en el centro. Estos marcadores estaban claramente destinados a ayudar a los prototipos de gafas a rastrear la posición de la pantalla; Dado que la calibración no se podía realizar en el dispositivo en sí (dado que carecía de capacidades AR o VR y consistía simplemente en marcos), tenía que realizarse a través de la computadora portátil, lo que requería gafas para ubicar la pantalla. Imagino que estos marcadores no serían necesarios si el software estuviera integrado directamente en las gafas.

En resumen, un pequeño cursor estaba vinculado a mis ojos, permitiéndome moverlo cambiando mi mirada. Mi tarea era deslizar este cursor por la pantalla para borrar completamente el pequeño rectángulo. Era similar a usar una herramienta de borrador de radio pequeño en MS Paint para borrar un rectángulo. Tuve que mover mis ojos hacia adelante y hacia atrás repetidamente para borrarlo por completo. Me di cuenta de que a medida que avanzaba, el cursor controlado por el ojo parecía 'retrasarse', lo que me obligaba a mover los ojos con más fuerza de un lado a otro para borrar el rectángulo. Esto podría haber sido intencional, diseñado para animarme a desviar mi mirada hacia la periferia para que las cámaras pudieran capturar todo el rango de visión de mi retina.

La calibración tomó unos minutos. Fue fácil de seguir, aunque un poco más largo de lo que esperaba, y ver el movimiento del puntero durante los últimos segundos causó un poco de fatiga visual.

Después de eso, podría comenzar la sesión de seguimiento ocular. Para demostrar que el seguimiento ocular estaba funcionando, un miembro del personal lanzó otra aplicación; Vi un conjunto diferente de marcadores ArUco y una cuadrícula de círculos rojos en la pantalla del portátil. Pude mirar un círculo específico para volverlo azul, lo que confirmó que el sistema estaba funcionando correctamente. Debo decir que funcionó bastante bien. La precisión fue impresionante y el color de los elementos que miré cambió en tiempo real. Fue genial.

Por supuesto, no puedo verificar las afirmaciones sobre una precisión inferior o una velocidad de fotogramas de 120 Hz. Sin embargo, puedo confirmar que el sistema funciona exactamente como se anuncia, al menos en un contexto similar al Apple Vision Pro. Esto ya es un logro significativo, dado que algunas soluciones actuales de seguimiento ocular tienen dificultades para manejar incluso ese nivel de rendimiento.

También pude mover ligeramente los auriculares para ver si el sistema continuaría funcionando correctamente sin recalibrarlo; funcionó bien en mis pruebas rápidas.

Impresión final: prometedor, pero la privacidad es una preocupación

Esta solución realmente me sorprendió. Representa un enfoque novedoso para el seguimiento ocular que elimina los problemas de calibración y permite la creación de módulos de seguimiento ocular compactos, de bajo consumo y precisos.

Mi experiencia práctica confirmó que funciona de forma eficaz. Solo tuve unos minutos para probarlo (limitado a una demostración técnica en lugar de pruebas exhaustivas en un dispositivo de realidad aumentada real), por lo que me reservo el juicio final. Sin embargo, las pruebas que realicé arrojaron resultados positivos y el rendimiento estuvo a la altura de las afirmaciones.

Mi única preocupación es la privacidad. El sistema requiere un escaneo completo de mi retina, lo que implica que los datos completos de la retina deben almacenarse en algún lugar. Dicho esto, este problema podría resolverse manteniendo los datos locales para que nunca abandonen el dispositivo del usuario.

Creo que este es un producto muy prometedor.

Fuente: Planeta VRAR