Göz Takibi: Bir Kez Kalibre Edin, Ömür Boyu Kullanın?

Göz izleme teknolojisi uzun zamandır XR kulaklıklar için temel bir etkileşim yöntemi olmuştur, ancak kulaklık biraz bile kayarsa performans genellikle düşer. Bunu yalnızca bir kez kalibre etmenin ve bu kalibrasyonun ömür boyu sürmesinin bir yolu var mı?

Tanınmış bir denizaşırı XR incelemecisi ve XR web sitesi kurucusu Skarredghost, The Ghost Howls'un Şanghay'daki bir VR/AR endüstri fuarında startup Immersix ile karşılaştı. Immersix, göz takibi konusunda tamamen farklı bir yaklaşım benimsiyor: gözbebeğini takip etmek yerine retinayı takip ediyor.

Aşağıdaki metin okunabilirlik açısından biraz düzenlenmiştir.

Kalıpları kırmak: Diğerleri gözbebeğini hedef alırken, o retinayı hedef alır

Şu anda piyasada bulunan hemen hemen tüm göz izleme çözümleri gözbebeğini takip ederken, Immersix tamamen farklı bir yol seçmiştir: kullanıcının retinasını takip etmek.

Şirkete göre retina takibi, geleneksel yöntemlere göre birçok önemli avantaj sunuyor:

1. Retina her bireye özeldir, bu da onu kimlik doğrulamaya uygun hale getirir ve taklit edilmesi son derece zordur;

2. Retina zaman içinde neredeyse hiç değişmeden kalır, bu nedenle göz izleme kalibrasyonunun yalnızca bir kez yapılması gerekir ve daha sonra geçerli kalır;

3. Retina gözün 'temel gerçeğini' temsil eder; kulaklık kullanıcının kafasında nasıl hareket ederse etsin, ilk kalibrasyon etkili kalır; yani, cihazı çıkarıp tekrar taktıktan sonra bile yeniden kalibrasyona gerek kalmaz;

4. Takip hassasiyeti son derece yüksek olabilir;

5. Modüller çok küçük yapılabilir (burun köprüsünün yakınında yalnızca iki küçük ünite gerektirir), ultra düşük güç tüketimiyle (10mW'den az) çalışabilir ve çok yüksek hızlara (120Hz'e kadar) ulaşabilir.

Bu, mevcut MR başlıklarındaki göz izlemeyle ilgili neredeyse tüm sıkıntılı noktaları etkili bir şekilde çözer; örneğin başlığı birkaç kez takıp çıkardıktan sonra performansta yaşanan düşüş, sıkıcı kalibrasyon sürecinin tekrarlanmasını gerektirir. Immersix'in çözümüyle bu tür sıkıntılar teorik olarak ortadan kalkıyor.

Nasıl çalışır?

Yaklaşım oldukça ustaca.

Her göz izleme modülü tek bir kamera ve gözü aydınlatmak için kullanılan bir kızılötesi LED'den oluşur. Özellikle tek bir LED'in yeterli olması, modülün bir LED halkası gerektiren geleneksel tasarımlardan çok daha kompakt olmasını sağlar.

Kalibrasyon aşamasında kullanıcı belirli göz hareketleri gerçekleştirir. Her kamera modülü gözü gözlemler ancak dışarıya odaklanmak yerine 'içeriye bakmaya' çalışır. Bu, kameranın retinanın zaman içinde nasıl değiştiğine ilişkin verileri yakalamasını sağlar.

Kalibrasyon işleminin arkasındaki tasarım konsepti, gözün çeşitli yönlerde hareket etmesini sağlamak, böylece retinanın tamamını adım adım kameraya maruz bırakmaktır. Yazılım daha sonra tam bir retina görüntüsünü yeniden oluşturur ve benzersiz 'parmak izini' çıkarır. Aslında bu kalibrasyon işlemi, kullanıcının retinasının kapsamlı bir özellik haritasını oluşturur. Retina zamanla (en azından ileri yaşlara kadar) sabit kaldığı için bu harita uzun yıllar kullanılabilir.

Kalibrasyondan sonra sistem gözü aktif olarak nasıl takip ediyor? Bu aşamada, her kamera kendi gözünü, özellikle de gözün mevcut yönelimine bağlı olarak görünen retina alanını izlemeye devam eder. Bu küçük, görünür retina alanını kalibrasyon sırasında oluşturulan tam retina haritasıyla eşleştirmek için özel bir algoritma kullanan sistem, gözün yönünü tam olarak belirleyebilir.

Immersix'e göre bu izleme son derece hassastır (alt derecenin doğruluğunu iddia eder). Ayrıca kamera, gözbebeğinin gözlüğe göre konumu yerine göz küresinin retinaya göre mutlak dönüşünü izlediğinden, izleme, kamera hareketine karşı son derece sağlamdır. Sonuç olarak, gözlükleri istediğiniz zaman takabilir veya çıkarabilirsiniz ve konum ve yönelim her seferinde biraz değişse bile göz takibi, yeniden kalibrasyon gerekmeden çalışmaya devam eder.

Gerçek dünya deneyimi: Gerçekten işe yarıyor mu?

Şimdiye kadar, muhtemelen gerçekten yutturmacaya uyup uymadığını merak ediyorsunuz.

Bir şirket temsilcisi beni sistemi denemek için sahne arkasına götürdü. Hiçbir şey kaydetmeme izin verilmedi, bu yüzden deneyimimi aktarmaya yardımcı olması için resmi video ve görselleri kullanıyorum.

Bana Immersix teknolojisiyle donatılmış birkaç çift çerçeve verildi. Bunlar akıllı gözlükler veya AR gözlükleri değildi; yalnızca izleme teknolojisini test etmek için tasarlanmış çerçevelerdi. Devreyi açıkça görebiliyordum, bu yüzden bitmiş bir ürün yerine bir prototipi test ediyordum. Açıkça bir geliştirme kitinin kullanıldığı bir teknoloji gösterisiydi.

Özel gözlükler takıldıktan sonra bir dizüstü bilgisayara bağlandılar ve göz izleme kalibrasyon rutini tetiklendi. Dizüstü bilgisayarın ekranında ortasında küçük kırmızı bir dikdörtgen bulunan büyük işaretler (muhtemelen ArUco işaretleyicileri) görebiliyordum. Bu işaretleyicilerin amacı açıkça prototip gözlüklerin ekranın konumunu takip etmesine yardımcı olmaktı; AR veya VR yeteneklerine sahip olmadığı ve yalnızca çerçevelerden oluştuğu göz önüne alındığında, kalibrasyon cihazın kendisinde gerçekleştirilemediğinden, dizüstü bilgisayar aracılığıyla yapılması gerekiyordu ve gözlüklerin ekranın yerini belirlemesi gerekiyordu. Yazılımın doğrudan gözlüğün içine yerleştirilmesi durumunda bu işaretleyicilere gerek olmayacağını düşünüyorum.

Kısacası gözlerime küçük bir imleç bağlandı ve bakışımı kaydırarak onu hareket ettirmemi sağladı. Görevim küçük dikdörtgeni tamamen silmek için bu imleci ekran üzerinde gezdirmekti. Bir dikdörtgeni silmek için MS Paint'te küçük yarıçaplı bir silgi aracı kullanmaya benziyordu. Tamamen silmek için gözlerimi defalarca ileri geri hareket ettirmek zorunda kaldım. İlerledikçe gözle kontrol edilen imlecin 'geciktiğini' ve beni dikdörtgeni temizlemek için gözlerimi bir yandan diğer yana daha kuvvetli hareket ettirmeye zorladığını fark ettim. Bu kasıtlı olabilir, kameraların retina görüşümü tam olarak yakalayabilmesi için bakışlarımı çevreye doğru kaydırmamı teşvik etmek için tasarlanmış olabilir.

Kalibrasyon birkaç dakika sürdü. Beklediğimden biraz daha uzun olsa da takip etmesi kolaydı ve son birkaç saniyede imlecin hareketini izlemek biraz göz yorgunluğuna neden oldu.

Bundan sonra göz izleme oturumu başlayabilir. Göz izleme sisteminin çalıştığını göstermek için bir personel başka bir uygulama başlattı; Dizüstü bilgisayar ekranında farklı bir dizi ArUco işaretçisi ve kırmızı dairelerden oluşan bir ızgara gördüm. Belirli bir daireyi maviye çevirmek için bakabiliyordum, bu da sistemin doğru çalıştığını doğruluyordu. Oldukça işe yaradığını söylemeliyim. Doğruluk etkileyiciydi ve baktığım öğelerin rengi gerçek zamanlı olarak değişti. Oldukça güzeldi.

Elbette alt derece doğruluk veya 120Hz kare hızıyla ilgili iddiaları doğrulayamıyorum. Ancak sistemin tam olarak tanıtıldığı gibi çalıştığını, en azından Apple Vision Pro'ya benzer bir bağlamda olduğunu doğrulayabilirim. Mevcut bazı göz izleme çözümlerinin bu düzeydeki performansı bile karşılamada zorluk çektiği göz önüne alındığında, bu zaten önemli bir başarıdır.

Ayrıca sistemin yeniden kalibrasyon olmadan düzgün şekilde çalışmaya devam edip etmeyeceğini görmek için kulaklığı hafifçe kaydırabildim; Hızlı testlerimde iyi performans gösterdi.

Son izlenim: Umut verici ancak mahremiyet endişe verici

Bu çözüm beni gerçekten şaşırttı. Kalibrasyon sorunlarını ortadan kaldıran ve kompakt, düşük güçlü ve hassas göz izleme modüllerinin oluşturulmasına olanak tanıyan yeni bir göz izleme yaklaşımını temsil eder.

Uygulamalı deneyimim bunun etkili bir şekilde çalıştığını doğruladı. Bunu denemek için yalnızca birkaç dakikam vardı - gerçek bir artırılmış gerçeklik cihazı üzerinde kapsamlı bir test yapmak yerine teknik bir gösteriyle sınırlıydı - bu yüzden nihai kararı saklı tutuyorum. Ancak yaptığım testler olumlu sonuçlar verdi ve performans tamamen iddiaları karşıladı.

Tek endişem mahremiyettir. Sistem, retinamın tam olarak taranmasını gerektiriyor, bu da tüm retina verilerinin bir yerde saklanması gerektiği anlamına geliyor. Bununla birlikte, bu sorun, verilerin kullanıcının cihazından asla ayrılmayacak şekilde yerel tutulmasıyla çözülebilir.

Bunun son derece umut verici bir ürün olduğuna inanıyorum.

Kaynak: VRAR Gezegeni