Penjejakan Mata: Kalibrasi Sekali, Gunakan Seumur Hidup?

Teknologi penjejakan mata telah lama menjadi kaedah interaksi teras untuk set kepala XR, namun prestasi sering merosot jika set kepala berubah sedikit pun. Adakah terdapat cara untuk menentukurnya sekali sahaja dan memastikan penentukuran itu bertahan seumur hidup?

Skarredghost—seorang pengulas XR luar negara yang terkenal dan pengasas laman web XR The Ghost Howls —bertemu dengan syarikat permulaan Immersix di ekspo industri VR/AR di Shanghai. Immersix mengambil pendekatan yang sangat berbeza untuk penjejakan mata: bukannya menjejaki murid, ia menjejaki retina.

Teks berikut telah disunting sedikit untuk kebolehbacaan.

Memecahkan acuan: Walaupun yang lain menyasarkan murid, ia menyasarkan retina

Walaupun hampir semua penyelesaian penjejakan mata pada masa ini di pasaran menjejaki murid, Immersix telah memilih jalan yang sama sekali berbeza: menjejaki retina pengguna.

Menurut syarikat itu, pengesanan retina menawarkan beberapa kelebihan utama berbanding kaedah tradisional:

1. Retina adalah unik untuk setiap individu, menjadikannya sesuai untuk pengesahan identiti dan amat sukar untuk dipalsukan;

2. Retina kekal hampir tidak berubah dari semasa ke semasa, jadi penentukuran pengesanan mata perlu dilakukan sekali sahaja dan kekal sah selepas itu;

3. Retina mewakili 'kebenaran tanah' mata; tidak kira bagaimana set kepala beralih pada kepala pengguna, penentukuran awal kekal berkesan—bermakna tiada penentukuran semula diperlukan walaupun selepas mengeluarkan dan memasang semula peranti;

4. Ketepatan penjejakan boleh menjadi sangat tinggi;

5. Modul boleh dibuat sangat kecil (hanya memerlukan dua unit kecil berhampiran batang hidung), beroperasi dengan penggunaan kuasa ultra-rendah (kurang daripada 10mW), dan mencapai kelajuan yang sangat tinggi (sehingga 120Hz).

Ini secara berkesan menyelesaikan hampir semua titik kesakitan yang dikaitkan dengan penjejakan mata dalam set kepala MR semasa—seperti penurunan prestasi selepas memasang set kepala dan menanggalkannya beberapa kali, yang memerlukan mengulangi proses penentukuran yang membosankan. Dengan penyelesaian Immersix, kerumitan sedemikian secara teorinya dihapuskan.

Bagaimana ia berfungsi

Pendekatannya sangat bijak.

Setiap modul penjejakan mata hanya terdiri daripada satu kamera dan satu LED inframerah yang digunakan untuk menerangi mata. Terutama, satu LED sudah memadai, membolehkan modul menjadi lebih padat daripada reka bentuk tradisional yang memerlukan cincin LED.

Semasa fasa penentukuran, pengguna melakukan pergerakan mata tertentu. Setiap modul kamera memerhati mata, tetapi bukannya memfokus ke luar, ia cuba untuk 'melihat ke dalam.' Ini membolehkan kamera menangkap data tentang cara retina berubah dari semasa ke semasa.

Konsep reka bentuk di sebalik proses penentukuran adalah untuk membolehkan mata bergerak ke pelbagai arah, dengan itu mendedahkan seluruh retina kepada kamera langkah demi langkah. Perisian itu kemudian membina semula imej retina yang lengkap dan mengekstrak 'cap jari' uniknya. Sebenarnya, proses penentukuran ini menjana peta ciri komprehensif retina pengguna. Memandangkan retina kekal stabil dari semasa ke semasa (sekurang-kurangnya sehingga usia lanjut), peta ini boleh digunakan selama bertahun-tahun.

Bagaimanakah sistem mengesan mata secara aktif selepas penentukuran? Pada peringkat ini, setiap kamera terus memantau mata masing-masing—khususnya, kawasan retina yang boleh dilihat berdasarkan orientasi semasa mata. Dengan menggunakan algoritma khusus untuk memadankan kawasan retina yang kecil dan boleh dilihat ini dengan peta retina lengkap yang dicipta semasa penentukuran, sistem boleh menentukan orientasi mata dengan tepat.

Menurut Immersix, penjejakan ini sangat tepat (menuntut ketepatan sub-darjah). Tambahan pula, kerana kamera menjejaki putaran mutlak bola mata berbanding dengan retina—bukannya kedudukan murid berbanding cermin mata—penjejakan itu amat teguh terhadap pergerakan kamera. Akibatnya, anda boleh memakai atau menanggalkan cermin mata sesuka hati, dan penjejakan mata terus berfungsi tanpa penentukuran semula, walaupun kedudukan dan orientasi berbeza sedikit setiap kali.

Pengalaman dunia sebenar: Adakah ia benar-benar berkesan

Sekarang, anda mungkin tertanya-tanya sama ada ia benar-benar sesuai dengan gembar-gembur.

Seorang wakil syarikat membawa saya ke belakang pentas untuk mencuba sistem. Saya tidak dibenarkan merakam apa-apa, jadi saya menggunakan video dan imej rasmi untuk membantu menyampaikan pengalaman saya.

Saya diberikan beberapa pasang bingkai yang dilengkapi dengan teknologi Immersix. Ini bukan cermin mata pintar atau cermin mata AR—hanya bingkai yang direka untuk menguji teknologi penjejakan. Saya dapat melihat litar dengan jelas, jadi saya sedang menguji prototaip dan bukannya produk siap. Ia jelas merupakan demonstrasi teknologi menggunakan kit pembangunan.

Selepas memakai cermin mata khas, mereka disambungkan ke komputer riba, mencetuskan rutin penentukuran pengesanan mata. Saya dapat melihat penanda besar (mungkin penanda ArUco) pada skrin komputer riba, dengan segi empat tepat merah kecil di tengah. Penanda ini jelas bertujuan untuk membantu cermin mata prototaip mengesan kedudukan skrin; memandangkan penentukuran tidak dapat dilakukan pada peranti itu sendiri—memandangkan ia tidak mempunyai keupayaan AR atau VR dan hanya terdiri daripada bingkai—ia perlu dilakukan melalui komputer riba, memerlukan cermin mata untuk mengesan skrin. Saya bayangkan penanda ini tidak akan diperlukan jika perisian itu dibenamkan terus ke dalam cermin mata.

Pendek kata, kursor kecil dipautkan ke mata saya, membolehkan saya menggerakkannya dengan mengalihkan pandangan. Tugas saya ialah menyapu kursor ini merentasi skrin untuk memadam sepenuhnya segi empat tepat kecil itu. Ia serupa dengan menggunakan alat pemadam jejari kecil dalam MS Paint untuk mengelap segi empat tepat. Saya terpaksa menggerakkan mata saya ke sana ke mari berulang kali untuk memadamkannya sepenuhnya. Saya perasan bahawa semasa saya maju, kursor terkawal mata kelihatan 'ketinggalan', memaksa saya menggerakkan mata saya dengan lebih cergas dari sisi ke sisi untuk mengosongkan segi empat tepat. Ini mungkin disengajakan, direka untuk menggalakkan saya mengalihkan pandangan saya ke arah pinggir supaya kamera dapat menangkap julat penuh pandangan retina saya.

Penentukuran mengambil masa beberapa minit. Ia adalah mudah untuk diikuti, walaupun sedikit lebih lama daripada yang saya jangkakan, dan menonton penunjuk bergerak semasa beberapa saat terakhir menyebabkan sedikit ketegangan mata.

Selepas itu, sesi menjejak mata boleh dimulakan. Untuk menunjukkan bahawa penjejakan mata berfungsi, seorang kakitangan melancarkan aplikasi lain; Saya melihat set penanda ArUco yang berbeza dan grid bulatan merah pada skrin komputer riba. Saya boleh melihat bulatan tertentu untuk menjadikannya biru, yang mengesahkan sistem berfungsi dengan betul. Saya harus katakan, ia berfungsi dengan baik. Ketepatannya mengagumkan, dan warna unsur yang saya lihat berubah dalam masa nyata. Ia cukup keren.

Sudah tentu, saya tidak boleh mengesahkan tuntutan mengenai ketepatan sub-darjah atau kadar bingkai 120Hz. Walau bagaimanapun, saya boleh mengesahkan bahawa sistem berfungsi betul-betul seperti yang diiklankan—sekurang-kurangnya dalam konteks yang serupa dengan Apple Vision Pro. Itu sudah menjadi pencapaian yang ketara, memandangkan beberapa penyelesaian penjejakan mata semasa bergelut untuk mengendalikan walaupun tahap prestasi itu.

Saya juga dapat mengalihkan set kepala sedikit untuk melihat sama ada sistem akan terus berfungsi dengan betul tanpa penentukuran semula; ia menunjukkan prestasi yang baik dalam ujian pantas saya.

Tanggapan akhir: Menjanjikan, tetapi privasi adalah kebimbangan

Penyelesaian ini sangat mengejutkan saya. Ia mewakili pendekatan baharu kepada penjejakan mata yang menghapuskan isu penentukuran dan membolehkan penciptaan modul penjejakan mata yang padat, berkuasa rendah dan tepat.

Pengalaman tangan saya mengesahkan bahawa ia berfungsi dengan berkesan. Saya hanya mempunyai beberapa minit untuk mencubanya—terhad kepada demonstrasi teknikal dan bukannya ujian meluas pada peranti realiti diperkukuh yang sebenar—jadi saya menyimpan pertimbangan muktamad. Walau bagaimanapun, ujian yang saya jalankan membuahkan hasil yang positif, dan prestasi sepenuhnya memenuhi tuntutan.

Satu-satunya kebimbangan saya ialah privasi. Sistem ini memerlukan imbasan penuh retina saya, membayangkan bahawa data retina yang lengkap mesti disimpan di suatu tempat. Walau bagaimanapun, isu ini boleh diselesaikan dengan mengekalkan data setempat supaya ia tidak pernah meninggalkan peranti pengguna.

Saya percaya ini adalah produk yang sangat menjanjikan.

Sumber: Planet VRAR