アイトラッキングテクノロジーは長い間、XR ヘッドセットの中核となるインタラクション方法でしたが、ヘッドセットが少しでもずれるとパフォーマンスが低下することがよくあります。一度だけ校正して、その校正を一生続ける方法はありますか?
海外の著名な XR レビュアーであり、XR ウェブサイト The Ghost Howlsの創設者でもある Skarredghost 氏は、上海の VR/AR 産業展示会でスタートアップ Immersix に出会いました。 Immersix は、視線追跡に対して根本的に異なるアプローチを採用しています。瞳孔を追跡する代わりに、網膜を追跡します。
以下のテキストは読みやすくするために若干編集されています。
型を破る: 他の製品は瞳孔をターゲットにしていますが、それは網膜をターゲットにしています
現在市場にあるほぼすべての視線追跡ソリューションは瞳孔を追跡しますが、Immersix はユーザーの網膜を追跡するというまったく異なる道を選択しました。
同社によれば、網膜トラッキングには従来の方法に比べていくつかの大きな利点があります。
網膜は個人ごとに異なるため、本人認証に適しており、偽造が非常に困難です。
網膜は時間が経っても実質的に変化しないため、視線追跡キャリブレーションは 1 回だけ実行するだけで済み、その後も有効です。
網膜は目の「真実」を表します。ユーザーの頭の上でヘッドセットがどのように移動しても、初期調整は有効なままです。つまり、デバイスを取り外して再度装着した後でも再調整は必要ありません。
追跡精度は非常に高くなります。
モジュールは非常に小さくすることができ (鼻梁近くに 2 つの小さなユニットだけが必要です)、超低消費電力 (10mW 未満) で動作し、非常に高速 (最大 120Hz) を実現します。
これにより、現在の MR ヘッドセットのアイトラッキングに関連するすべての問題点が効果的に解決されます。たとえば、ヘッドセットを数回着脱するとパフォーマンスが低下するため、面倒なキャリブレーション プロセスを繰り返す必要があります。 Immersix のソリューションを使用すると、そのような煩わしさは理論的には解消されます。
どのように機能するのか
そのアプローチは非常に独創的です。
各視線追跡モジュールは、目を照らすために使用される単一のカメラと 1 つの赤外線 LED だけで構成されています。特に、単一の LED で十分であるため、LED のリングを必要とする従来の設計よりもモジュールをはるかにコンパクトにできます。
キャリブレーション段階では、ユーザーは特定の目の動きを実行します。各カメラ モジュールは目を観察しますが、外側に焦点を合わせるのではなく、「内側を見る」ことを試みます。これにより、カメラは網膜が時間の経過とともにどのように変化するかに関するデータをキャプチャできるようになります。
キャリブレーション プロセスの背後にある設計コンセプトは、目をさまざまな方向に動かし、それによって網膜全体を段階的にカメラに露出させることです。次に、ソフトウェアは完全な網膜画像を再構成し、その固有の「指紋」を抽出します。実際、このキャリブレーション プロセスにより、ユーザーの網膜の包括的な特徴マップが生成されます。網膜は時間が経っても（少なくとも高齢になるまで）安定したままであるため、このマップは長年使用できます。
キャリブレーション後、システムはどのようにして目をアクティブに追跡しますか?この段階では、各カメラはそれぞれの目を監視し続けます。具体的には、目の現在の向きに基づいて見える網膜の領域を監視します。特殊なアルゴリズムを使用して、この小さな目に見える網膜領域を、キャリブレーション中に作成された完全な網膜マップと照合することで、システムは目の向きを正確に決定できます。
Immersix によれば、この追跡は非常に正確です (1 度未満の精度を主張)。さらに、カメラは眼鏡に対する瞳孔の位置ではなく、網膜に対する眼球の絶対回転を追跡するため、追跡はカメラの動きに対して非常に堅牢です。そのため、メガネを自由に着脱でき、位置や向きが毎回わずかに変化しても、再調整することなくアイトラッキングは機能し続けます。
実体験: 本当に効果があるのか
ここまでくると、これが本当に誇大宣伝に応えるものなのかどうか疑問に思っているかもしれません。
会社の代表者が私を舞台裏に連れて行き、システムを試してみました。何も録画することは許可されていなかったので、私の経験を伝えるために公式のビデオと画像を使用しています。
Immersix テクノロジーを搭載したフレームを数ペア手渡されました。これらはスマート グラスや AR グラスではなく、追跡テクノロジーをテストするために設計された単なるフレームです。 回路がはっきりと見えたので、完成品ではなく試作品をテストしていました。 それは明らかに開発キットを使用した技術デモでした。
特殊なメガネを装着した後、ラップトップに接続され、視線追跡調整ルーチンが開始されました。ラップトップ画面上に大きなマーカー (おそらく ArUco マーカー) が表示され、中央に小さな赤い四角形が表示されました。これらのマーカーは明らかに、プロトタイプのメガネが画面の位置を追跡できるようにすることを目的としていました。デバイス自体ではキャリブレーションを実行できなかったため（AR または VR 機能がなく、フレームのみで構成されていたため）、ラップトップを介して実行する必要があり、メガネで画面を見つける必要がありました。ソフトウェアがメガネに直接埋め込まれていれば、これらのマーカーは必要ないと思います。
つまり、小さなカーソルが目に連動しており、視線をずらすことでカーソルを動かすことができるのです。私の仕事は、このカーソルを画面上でスイープして、小さな四角形を完全に消去することでした。これは、MS ペイントの小さな半径の消しゴム ツールを使用して長方形を消去するのに似ています。完全に消すには何度も目を前後に動かさなければなりませんでした。作業が進むにつれて、目で制御するカーソルが「遅れ」ているように見え、長方形を消すために目を左右にもっと激しく動かす必要があることに気づきました。これは意図的なものだったのかもしれません。カメラが私の網膜視野の全範囲を捉えることができるように、私の視線を周辺に移すように促すために設計されたものだったのかもしれません。
キャリブレーションには数分かかりました。予想していたよりも少し長かったものの、追うのは簡単で、最後の数秒間ポインタの動きを見ていると少し目が疲れました。
その後、視線追跡セッションを開始できます。視線追跡が機能していることを示すために、スタッフ メンバーが別のアプリケーションを起動しました。ノートパソコンの画面上に、別の ArUco マーカーのセットと赤い円のグリッドが表示されました。特定の円を見て青に変えることができ、システムが正しく機能していることが確認できました。非常にうまく機能したと言わざるを得ません。精度は素晴らしく、見ている要素の色がリアルタイムで変化しました。とてもかっこよかったです。
もちろん、1 度以下の精度や 120Hz のフレーム レートに関する主張を検証することはできません。ただし、少なくとも Apple Vision Pro と同様の状況では、システムが宣伝どおりに正確に動作することを確認できます。現在の一部の視線追跡ソリューションではそのレベルのパフォーマンスさえも処理するのに苦労していることを考えると、これはすでに重要な成果です。
また、ヘッドセットをわずかに移動して、システムが再キャリブレーションなしで正しく機能し続けるかどうかを確認することもできました。私の簡単なテストではうまく機能しました。
最終印象: 期待できるが、プライバシーが懸念される
この解決策には本当に驚きました。これは、キャリブレーションの問題を排除し、コンパクト、低電力、正確な視線追跡モジュールの作成を可能にする視線追跡への新しいアプローチを表しています。
私の実践的な経験から、それが効果的に機能することが確認されました。実際の拡張現実デバイスでの広範なテストではなく、技術的なデモンストレーションに限定して、それを試す時間がほんの数分しかなかったので、最終的な判断は留保します。しかし、私が実施したテストでは良好な結果が得られ、そのパフォーマンスは主張に完全に応えました。
私の唯一の懸念はプライバシーです。システムは私の網膜の完全なスキャンを要求します。これは、完全な網膜データがどこかに保存されている必要があることを意味します。とはいえ、この問題は、データがユーザーのデバイスから流出しないようにデータをローカルに保持することで解決できる可能性があります。
非常に期待できる商品だと思います。
出典: VRAR プラネット
