Eye Tracking: откалибруйте один раз, используйте на всю жизнь?

Технология отслеживания взгляда уже давно является основным методом взаимодействия для гарнитур XR, однако производительность часто ухудшается, если гарнитура смещается даже незначительно. Есть ли способ откалибровать его только один раз и сохранить эту калибровку на всю жизнь?

Скарредгхост — известный зарубежный обозреватель XR и основатель XR-сайта The Ghost Howls — познакомился со стартапом Immersix на выставке индустрии VR/AR в Шанхае. Immersix использует радикально иной подход к отслеживанию глаз: вместо отслеживания зрачка он отслеживает сетчатку.

Следующий текст был слегка отредактирован для удобства чтения.

Ломаем стереотипы: в то время как другие нацелены на зрачок, они нацелены на сетчатку

В то время как почти все решения для отслеживания глаз, представленные в настоящее время на рынке, отслеживают зрачок, Immersix выбрала совершенно другой путь: отслеживание сетчатки пользователя.

По данным компании, отслеживание сетчатки имеет несколько основных преимуществ по сравнению с традиционными методами:

1. Сетчатка уникальна для каждого человека, что делает ее подходящей для аутентификации личности и чрезвычайно трудной для подделки;

2. Сетчатка практически не изменяется с течением времени, поэтому калибровку отслеживания глаз необходимо выполнить только один раз, и в дальнейшем она остается действительной;

3. Сетчатка представляет собой «основную истину» глаза; независимо от того, как гарнитура смещается на голове пользователя, первоначальная калибровка остается эффективной — то есть повторная калибровка не требуется даже после снятия и повторного включения устройства;

4. Точность отслеживания может быть чрезвычайно высокой;

5. Модули могут быть очень маленькими (требуется всего два крошечных блока возле переносицы), работать со сверхнизким энергопотреблением (менее 10 мВт) и достигать очень высоких скоростей (до 120 Гц).

Это эффективно устраняет практически все проблемы, связанные с отслеживанием глаз в современных МР-гарнитурах, например, падение производительности после многократного надевания и снятия гарнитуры, что приводит к необходимости повторения утомительного процесса калибровки. С решением Immersix такие проблемы теоретически устранены.

Как это работает

Подход весьма изобретательный.

Каждый модуль отслеживания взгляда состоит всего из одной камеры и одного инфракрасного светодиода, используемого для освещения глаза. Примечательно, что достаточно одного светодиода, что позволяет сделать модуль намного компактнее, чем традиционные конструкции, требующие кольца светодиодов.

На этапе калибровки пользователь выполняет определенные движения глаз. Каждый модуль камеры наблюдает за глазом, но вместо того, чтобы фокусироваться наружу, он пытается «заглянуть внутрь». Это позволяет камере собирать данные о том, как сетчатка меняется с течением времени.

Концепция процесса калибровки заключается в том, чтобы заставить глаз двигаться в различных направлениях, тем самым шаг за шагом подвергая камеру всей сетчатке. Затем программное обеспечение реконструирует полное изображение сетчатки и извлекает его уникальный «отпечаток пальца». По сути, этот процесс калибровки создает полную карту характеристик сетчатки пользователя. Поскольку сетчатка остается стабильной с течением времени (по крайней мере, до преклонного возраста), эту карту можно использовать в течение многих лет.

Как система активно отслеживает глаз после калибровки? На этом этапе каждая камера продолжает следить за своим глазом, а именно за областью сетчатки, видимой в зависимости от текущей ориентации глаза. Используя специальный алгоритм для сопоставления этой небольшой видимой области сетчатки с полной картой сетчатки, созданной во время калибровки, система может точно определить ориентацию глаза.

По словам Immersix, это отслеживание является очень точным (заявленная точность составляет менее градуса). Более того, поскольку камера отслеживает абсолютное вращение глазного яблока относительно сетчатки, а не положение зрачка относительно очков, отслеживание чрезвычайно устойчиво к движению камеры. Следовательно, вы можете надевать или снимать их по своему желанию, а отслеживание взгляда продолжает работать без повторной калибровки, даже если положение и ориентация каждый раз незначительно меняются.

Реальный опыт: действительно ли это работает?

К настоящему моменту вы, вероятно, задаетесь вопросом, действительно ли это соответствует шумихе.

Представитель компании взял меня за кулисы, чтобы опробовать систему. Мне не разрешили ничего записывать, поэтому я использую официальные видео и изображения, чтобы передать свой опыт.

Мне вручили несколько пар оправ, оснащенных технологией Immersix. Это были не умные очки или очки дополненной реальности — просто оправы, предназначенные для проверки технологии отслеживания. Я мог ясно видеть схему, поэтому тестировал прототип, а не готовый продукт. Это явно была демонстрация технологии с использованием комплекта разработки.

После надевания специальных очков их подключали к ноутбуку, запуская процедуру калибровки с отслеживанием глаз. Я мог видеть большие маркеры (вероятно, маркеры ArUco) на экране ноутбука с маленьким красным прямоугольником в центре. Эти маркеры явно предназначались для того, чтобы помочь прототипу очков отслеживать положение экрана; поскольку калибровку нельзя было выполнить на самом устройстве (учитывая, что оно не имело возможностей AR или VR и состояло только из кадров), ее приходилось выполнять через ноутбук, требуя, чтобы очки находили экран. Я полагаю, что в этих маркерах не было бы необходимости, если бы программное обеспечение было встроено непосредственно в очки.

Короче говоря, к моим глазам был привязан небольшой курсор, позволяющий мне перемещать его, перемещая взгляд. Моей задачей было провести этим курсором по экрану, чтобы полностью стереть маленький прямоугольник. Это было похоже на использование ластика небольшого радиуса в MS Paint, чтобы стереть прямоугольник. Мне пришлось несколько раз двигать глазами вперед и назад, чтобы полностью стереть его. Я заметил, что по мере моего продвижения курсор, управляемый глазами, казалось, «запаздывал», заставляя меня более энергично двигать глазами из стороны в сторону, чтобы очистить прямоугольник. Возможно, это было сделано намеренно, чтобы побудить меня сместить взгляд к периферии, чтобы камеры могли захватить весь диапазон обзора моей сетчатки.

Калибровка заняла несколько минут. За ним было легко следить, хотя это было немного дольше, чем я ожидал, и наблюдение за движением указателя в течение последних нескольких секунд вызывало некоторое напряжение глаз.

После этого можно было начать сеанс айтрекинга. Чтобы продемонстрировать, что айтрекинг работает, сотрудник запустил еще одно приложение; Я увидел другой набор маркеров ArUco и сетку красных кругов на экране ноутбука. Я мог посмотреть на определенный круг, чтобы он стал синим, что подтверждало, что система работает правильно. Должен сказать, это сработало весьма хорошо. Точность была впечатляющей, а цвет элементов, на которые я смотрел, менялся в реальном времени. Это было довольно круто.

Конечно, я не могу проверить утверждения относительно точности до градуса или частоты кадров 120 Гц. Однако я могу подтвердить, что система работает точно так, как рекламируется, по крайней мере, в контексте, аналогичном Apple Vision Pro. Это уже значительное достижение, учитывая, что некоторые современные решения для отслеживания движений глаз с трудом справляются даже с таким уровнем производительности.

Мне также удалось слегка сдвинуть гарнитуру, чтобы проверить, продолжит ли система работать правильно без повторной калибровки; он показал хорошие результаты в моих быстрых тестах.

Итоговое впечатление: многообещающе, но конфиденциальность вызывает беспокойство.

Это решение меня очень удивило. Он представляет собой новый подход к отслеживанию глаз, который устраняет проблемы с калибровкой и позволяет создавать компактные, маломощные и точные модули отслеживания глаз.

Мой практический опыт подтвердил, что это работает эффективно. У меня было всего несколько минут, чтобы опробовать его — ограниченное технической демонстрацией, а не обширным тестированием на реальном устройстве дополненной реальности — поэтому я оставляю за собой окончательное решение. Однако проведенные мной тесты дали положительные результаты, и производительность полностью оправдала заявленные требования.

Меня беспокоит только конфиденциальность. Система требует полного сканирования моей сетчатки, а это означает, что полные данные о сетчатке должны где-то храниться. Тем не менее, эту проблему можно решить, сохранив данные локально, чтобы они никогда не покидали устройство пользователя.

Я считаю, что это очень перспективный продукт.

Источник: Планета VRAR