Pages

Tuesday, October 24, 2023

「前歯を舌でタップ」「舌をかむ」 VRヘッドセットを“舌操作” 米Microsoftが開発 - ITmedia NEWS

tosokpopo.blogspot.com

Innovative Tech:

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: @shiropen2

 米ジョージア工科大学と米Microsoft Researchに所属する研究者らが発表した論文「TongueTap: Multimodal Tongue Gesture Recognition with Head-Worn Devices」は、VR/ARヘッドセットなどで、口を閉じたまま舌を使って操作するインタフェースに関する研究報告である。

ARヘッドセットで口を閉じたまま舌操作しているイメージ図

 頭部装着型デバイスにおける舌を使った操作は、ハンズフリーだけでなく、唇や顎を最小限に動かし、口を閉じたままで操作できる利点がある。外部から気付かれにくいため、公共の場でも使用しやすい。

 しかし、過去の舌ジェスチャーに関する研究を見ると、その多くが特別なハードウェアを必要としていた。舌を検出するセンサーは、頭部装着型デバイスに統合されているのが理想的である。

 この問題に取り組むため、この研究では市販のヘッドセットの内蔵センサーだけを利用して、舌のジェスチャーを実行する手法「TongueTap」を提案する。

 今回の手法では、ヘッドトラッキングやアイトラッキング、口へのカメラ、EEG(脳波)センサーやEMG(筋電図)センサー、光を用いて血流の変化を測定する技術「PPG」、物体の動きや向きを測定する慣性計測ユニット(IMU)などを使用して、舌のジェスチャー操作を検出する。

 しかし、現段階ではこれらのセンサーを全て搭載したVR/ARヘッドセットは存在しない。そのため、初期テストとしてその多くを搭載しているヘッドセット「HP Reverb G2 Omnicept Edition」とEEG用のヘッドバンド「Muse 2」を組み合わせてTongueTapを構築した。

VRヘッドセットとEEG用ヘッドバンドを組みわせたセットアップ

 舌のジェスチャーには、第三者が気付かないように、口を閉じた状態で行えるものを選んだ。具体的には、下記の通り。

  • シングルタップ:舌で上の前歯を1回たたく。
  • ダブルタップ:舌で上の前歯を2回連続してたたく。
  • シェイク:舌を左右に繰り返し振る。
  • 左頬タップ:舌で左の頬をたたく。
  • 右頬タップ:舌で右の頬をたたく。
  • 口底タッチ:舌で口の底、下の歯の後ろを触る。
  • カールバック:舌を上に巻き込み、口の天井の後ろに向ける。
  • バイト:前歯で優しく舌をかむ。
口を閉じたまま操作する舌ジェスチャー

 これらのジェスチャーは機械学習モデルを用いて分類される。実際のテスト結果によれば、口を閉じた状態の舌のジェスチャー8つを94%の精度で識別できた。また、IMUだけを使用しても8つのジェスチャーは80%の精度で、4つのジェスチャーは92%の精度で識別可能であると判明した。

 16人の参加者から4万8000回のジェスチャーデータを収集し、TongueTapが個人に依存しないジェスチャー認識を実現するためのデータベースを構築した。これらの結果を基に、新しいハードウェアを追加することなく、VR/ARヘッドセットやイヤラブルデバイスで舌のジェスチャー操作が有効であることを示唆した。

Source and Image Credits: Tan Gemicioglu, R. Michael Winters, Yu-Te Wang, Thomas M. Gable, and Ivan J. Tashev. 2023. TongueTap: Multimodal Tongue Gesture Recognition with Head-Worn Devices. In Proceedings of the 25th International Conference on Multimodal Interaction(ICMI ’23). Association for Computing Machinery, New York, NY, USA, 564-573. https://ift.tt/VDKIMWX

Adblock test (Why?)


からの記事と詳細 ( 「前歯を舌でタップ」「舌をかむ」 VRヘッドセットを“舌操作” 米Microsoftが開発 - ITmedia NEWS )
https://ift.tt/mMIP8YA
科学&テクノロジー

No comments:

Post a Comment