Innovative Tech：
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: ＠shiropen2
米ジョージア工科大学と米Microsoft Researchに所属する研究者らが発表した論文「TongueTap: Multimodal Tongue Gesture Recognition with Head-Worn Devices」は、VR/ARヘッドセットなどで、口を閉じたまま舌を使って操作するインタフェースに関する研究報告である。
ARヘッドセットで口を閉じたまま舌操作しているイメージ図頭部装着型デバイスにおける舌を使った操作は、ハンズフリーだけでなく、唇や顎を最小限に動かし、口を閉じたままで操作できる利点がある。外部から気付かれにくいため、公共の場でも使用しやすい。
しかし、過去の舌ジェスチャーに関する研究を見ると、その多くが特別なハードウェアを必要としていた。舌を検出するセンサーは、頭部装着型デバイスに統合されているのが理想的である。
この問題に取り組むため、この研究では市販のヘッドセットの内蔵センサーだけを利用して、舌のジェスチャーを実行する手法「TongueTap」を提案する。
今回の手法では、ヘッドトラッキングやアイトラッキング、口へのカメラ、EEG（脳波）センサーやEMG（筋電図）センサー、光を用いて血流の変化を測定する技術「PPG」、物体の動きや向きを測定する慣性計測ユニット（IMU）などを使用して、舌のジェスチャー操作を検出する。
しかし、現段階ではこれらのセンサーを全て搭載したVR/ARヘッドセットは存在しない。そのため、初期テストとしてその多くを搭載しているヘッドセット「HP Reverb G2 Omnicept Edition」とEEG用のヘッドバンド「Muse 2」を組み合わせてTongueTapを構築した。
VRヘッドセットとEEG用ヘッドバンドを組みわせたセットアップ舌のジェスチャーには、第三者が気付かないように、口を閉じた状態で行えるものを選んだ。具体的には、下記の通り。
- シングルタップ：舌で上の前歯を1回たたく。
- ダブルタップ：舌で上の前歯を2回連続してたたく。
- シェイク：舌を左右に繰り返し振る。
- 左頬タップ：舌で左の頬をたたく。
- 右頬タップ：舌で右の頬をたたく。
- 口底タッチ：舌で口の底、下の歯の後ろを触る。
- カールバック：舌を上に巻き込み、口の天井の後ろに向ける。
- バイト：前歯で優しく舌をかむ。
口を閉じたまま操作する舌ジェスチャーこれらのジェスチャーは機械学習モデルを用いて分類される。実際のテスト結果によれば、口を閉じた状態の舌のジェスチャー8つを94％の精度で識別できた。また、IMUだけを使用しても8つのジェスチャーは80％の精度で、4つのジェスチャーは92％の精度で識別可能であると判明した。
16人の参加者から4万8000回のジェスチャーデータを収集し、TongueTapが個人に依存しないジェスチャー認識を実現するためのデータベースを構築した。これらの結果を基に、新しいハードウェアを追加することなく、VR/ARヘッドセットやイヤラブルデバイスで舌のジェスチャー操作が有効であることを示唆した。
Source and Image Credits: Tan Gemicioglu, R. Michael Winters, Yu-Te Wang, Thomas M. Gable, and Ivan J. Tashev. 2023. TongueTap: Multimodal Tongue Gesture Recognition with Head-Worn Devices. In Proceedings of the 25th International Conference on Multimodal Interaction（ICMI ’23）. Association for Computing Machinery, New York, NY, USA, 564-573. https://ift.tt/VDKIMWX
関連記事
関連リンク
からの記事と詳細 ( 「前歯を舌でタップ」「舌をかむ」 VRヘッドセットを“舌操作” 米Microsoftが開発 - ITmedia NEWS )
https://ift.tt/mMIP8YA
科学＆テクノロジー
No comments:
Post a Comment