Rastreamento ocular: calibrar uma vez, usar para o resto da vida?

A tecnologia de rastreamento ocular tem sido um método de interação central para fones de ouvido XR, mas o desempenho geralmente diminui se o fone de ouvido mudar, mesmo que ligeiramente. Existe uma maneira de calibrá-lo apenas uma vez e fazer com que essa calibração dure a vida toda?

Skarredghost – um renomado revisor de XR no exterior e fundador do site XR The Ghost Howls – encontrou a startup Immersix em uma exposição da indústria de VR/AR em Xangai. A Immersix está adotando uma abordagem radicalmente diferente para o rastreamento ocular: em vez de rastrear a pupila, ela rastreia a retina.

O texto a seguir foi ligeiramente editado para facilitar a leitura.

Quebrando o molde: enquanto outros têm como alvo a pupila, ele tem como alvo a retina

Embora quase todas as soluções de rastreamento ocular atualmente disponíveis no mercado rastreiem a pupila, a Immersix escolheu um caminho completamente diferente: rastrear a retina do usuário.

Segundo a empresa, o rastreamento de retina oferece várias vantagens importantes em relação aos métodos tradicionais:

1. A retina é única para cada indivíduo, tornando-a adequada para autenticação de identidade e extremamente difícil de falsificar;

2. A retina permanece praticamente inalterada ao longo do tempo, portanto a calibração do rastreamento ocular precisa ser realizada apenas uma vez e permanece válida depois disso;

3. A retina representa a “verdade fundamental” do olho; independentemente de como o fone de ouvido se desloca na cabeça do usuário, a calibração inicial permanece eficaz – o que significa que nenhuma recalibração é necessária mesmo depois de remover e colocar o dispositivo novamente;

4. A precisão do rastreamento pode ser extremamente alta;

5. Os módulos podem ser muito pequenos (exigindo apenas duas unidades minúsculas perto da ponte do nariz), operar com consumo de energia ultrabaixo (menos de 10mW) e atingir velocidades muito altas (até 120Hz).

Isso resolve efetivamente praticamente todos os problemas associados ao rastreamento ocular nos fones de ouvido de RM atuais, como a queda no desempenho após colocar e tirar o fone de ouvido algumas vezes, o que exige a repetição do tedioso processo de calibração. Com a solução da Immersix, tais dificuldades são teoricamente eliminadas.

Como funciona

A abordagem é altamente engenhosa.

Cada módulo de rastreamento ocular consiste em apenas uma câmera e um LED infravermelho usado para iluminar o olho. Notavelmente, um único LED é suficiente, permitindo que o módulo seja muito mais compacto do que os designs tradicionais que requerem um anel de LEDs.

Durante a fase de calibração, o usuário realiza movimentos oculares específicos. Cada módulo de câmera observa o olho, mas em vez de focar para fora, tenta “olhar para dentro”. Isso permite que a câmera capture dados sobre como a retina muda ao longo do tempo.

O conceito de design por trás do processo de calibração é fazer com que o olho se mova em várias direções, expondo assim toda a retina à câmera, passo a passo. O software então reconstrói uma imagem retinal completa e extrai sua “impressão digital” exclusiva. Na verdade, esse processo de calibração gera um mapa abrangente de características da retina do usuário. Como a retina permanece estável ao longo do tempo (pelo menos até uma idade avançada), este mapa pode ser usado durante muitos anos.

Como o sistema rastreia ativamente o olho após a calibração? Nesta fase, cada câmara continua a monitorizar o seu respetivo olho – especificamente, a área da retina visível com base na orientação atual do olho. Ao usar um algoritmo especializado para combinar esta pequena área visível da retina com o mapa completo da retina criado durante a calibração, o sistema pode determinar com precisão a orientação do olho.

De acordo com a Immersix, esse rastreamento é altamente preciso (alegando precisão inferior). Além disso, como a câmera rastreia a rotação absoluta do globo ocular em relação à retina – em vez da posição da pupila em relação aos óculos – o rastreamento é extremamente robusto contra o movimento da câmera. Conseqüentemente, você pode colocar ou tirar os óculos à vontade, e o rastreamento ocular continua a funcionar sem recalibração, mesmo que a posição e a orientação variem ligeiramente a cada vez.

Experiência do mundo real: isso realmente funciona

Até agora, você provavelmente está se perguntando se isso realmente faz jus ao hype.

Um representante da empresa me levou aos bastidores para testar o sistema. Não tive permissão para gravar nada, então estou usando vídeos e imagens oficiais para ajudar a transmitir minha experiência.

Recebi alguns pares de armações equipadas com tecnologia Immersix. Não eram óculos inteligentes ou óculos AR – apenas armações projetadas para testar a tecnologia de rastreamento. Eu podia ver claramente o circuito, então estava testando um protótipo em vez de um produto acabado. Foi claramente uma demonstração de tecnologia usando um kit de desenvolvimento.

Depois de colocar os óculos especiais, eles foram conectados a um laptop, acionando uma rotina de calibração de rastreamento ocular. Pude ver marcadores grandes (provavelmente marcadores ArUco) na tela do laptop, com um pequeno retângulo vermelho no centro. Esses marcadores tinham claramente a intenção de ajudar os protótipos de óculos a rastrear a posição da tela; como a calibração não podia ser realizada no próprio dispositivo – visto que não possuía recursos de AR ou VR e consistia apenas em molduras – ela tinha que ser feita através do laptop, exigindo os óculos para localizar a tela. Imagino que esses marcadores não seriam necessários se o software fosse incorporado diretamente nos óculos.

Resumindo, um pequeno cursor estava ligado aos meus olhos, permitindo-me movê-lo desviando o olhar. Minha tarefa era passar o cursor pela tela para apagar completamente o pequeno retângulo. Era como usar uma ferramenta borracha de raio pequeno no MS Paint para apagar um retângulo. Tive que mover meus olhos para frente e para trás repetidamente para apagá-lo completamente. Percebi que, à medida que avançava, o cursor controlado pelos olhos parecia “atrasar”, forçando-me a mover os olhos com mais vigor de um lado para o outro para limpar o retângulo. Isto pode ter sido intencional, concebido para me encorajar a desviar o meu olhar para a periferia, para que as câmaras pudessem capturar toda a gama da minha visão da retina.

A calibração demorou alguns minutos. Foi fácil de seguir, embora um pouco mais longo do que eu esperava, e observar o movimento do ponteiro durante os segundos finais causou um pouco de cansaço visual.

Depois disso, a sessão de rastreamento ocular poderia começar. Para demonstrar que o rastreamento ocular estava funcionando, um funcionário lançou outro aplicativo; Vi um conjunto diferente de marcadores ArUco e uma grade de círculos vermelhos na tela do laptop. Pude olhar para um círculo específico para torná-lo azul, o que confirmou que o sistema estava funcionando corretamente. Devo dizer que funcionou muito bem. A precisão foi impressionante e a cor dos elementos que observei mudou em tempo real. Foi muito legal.

Obviamente, não posso verificar as afirmações relativas à precisão sub-grau ou à taxa de quadros de 120 Hz. No entanto, posso confirmar que o sistema funciona exatamente como anunciado – pelo menos em um contexto semelhante ao Apple Vision Pro. Isto já é uma conquista significativa, dado que algumas soluções atuais de rastreamento ocular lutam para lidar até mesmo com esse nível de desempenho.

Também consegui mudar ligeiramente o fone de ouvido para ver se o sistema continuaria a funcionar corretamente sem recalibração; teve um bom desempenho em meus testes rápidos.

Impressão final: promissor, mas a privacidade é uma preocupação

Esta solução realmente me surpreendeu. Ele representa uma nova abordagem para rastreamento ocular que elimina problemas de calibração e permite a criação de módulos de rastreamento ocular compactos, de baixo consumo de energia e precisos.

Minha experiência prática confirmou que funciona de forma eficaz. Eu só tive alguns minutos para testá-lo – limitado a uma demonstração técnica, em vez de testes extensivos em um dispositivo real de realidade aumentada – então estou reservando o julgamento final. No entanto, os testes que realizei produziram resultados positivos e o desempenho correspondeu totalmente às afirmações.

Minha única preocupação é a privacidade. O sistema requer uma varredura completa da minha retina, o que implica que os dados completos da retina devem ser armazenados em algum lugar. Dito isto, esse problema poderia ser resolvido mantendo os dados locais para que nunca saiam do dispositivo do usuário.

Acredito que este seja um produto altamente promissor.

Fonte: Planeta VRAR