空中で手を動かすだけでイヤフォンを操作する――慶應大学と筑波大学、公立はこだて未来大学は10月11日、そんな研究を発表した。イヤフォンの音漏れに着目し、機械学習によってイヤフォン付近でのジェスチャーを検出・分類できるようにしたという。
デバイスに直接手を触れることなく、空中のジェスチャーによって操作する手法はこれまでも提案されてきた。しかしジェスチャーを認識するのにカメラや赤外線センサーを使うため、実装コストが高くなるなどの課題があったという。
そこでこの研究では、イヤフォンの外部で発生する音漏れに着目。イヤフォンに搭載するスピーカーと集音マイクのみで空中のジェスチャーを認識できるようにした。
具体的には、耳の横で行ったジェスチャーに反射した音を集音マイクで測定。救急車のサイレン音などで知られるドップラー効果が、ジェスチャーごとに異なることを利用した。それぞれを、周波数情報の時間変化を可視化する「スペクトログラム画像」に変換し、機械学習を使うことで、ジェスチャーの検出・分類を可能にしたという。
実験では、研究で提案した27種類のうち7種類のジェスチャーについて、13人の参加者を対象に、4種類の利用環境下でジェスチャーの検出・分類性能を評価した。結果、ジェスチャー以外の動作を誤認識してしまう確率を1.8%に抑えつつ、ジェスチャーの種類を約80%で認識できたとしている。
今後は、騒音の大きい環境などでの精度検証を行う他、認識システムの改良や市販デバイスのみでの実装を目指す。
研究成果は、人とコンピュータの相互作用を研究するHCI分野の国際会議「UIST '24: The ACM Symposium on User Interface Software and Technology」に採択され、Best Paper Awardを受賞予定。