魔法のグローブが手話を「翻訳」する

＜ジェスチャーの解読はお手の物。低コストで高機能なスマートグローブがゲームや医療分野にVR革命をもたらす＞

まるで魔法を見ているようだ。グローブをはめた手がアメリカ手話の指文字でアルファベットをつづると、それがテキストに翻訳されていく。「Ｕ−Ｃ−Ｓ−Ｄ」――カリフォルニア大学サンディエゴ校。同校の研究者たちこそ、このグローブの生みの親だ。

彼らは市販の柔軟性のある電子部品を使い、100ドル未満でグローブを製作した。アルファベット26文字の指文字を判別してテキスト化し、スマートフォンやコンピューターにワイヤレス送信できる。

カギは、革製のグローブ（野球の打者がはめるものにそっくりだ）の指の背側に搭載された9本のセンサー。素材を変えて何カ月も実験し、膨大な時間を費やして指文字をつづった末に、研究チームは理想の素材を突き止めた。ゴムとカーボンナノ粒子を混ぜたものだ。

グローブには指の動きを感知するセンサーが9個装着されている　Timothy O'connor/UC San Diego Jacobs School of Engineering/GETTY IMAGES

センサーは非常に薄く伸縮性があるので、グローブをはめても違和感がないという。指の屈伸をセンサーが探知して、電気抵抗を変化させ（伸ばすと「1」、曲げると「0」）、各アルファベットに対応する9桁のコードを生成する。コードは手の甲の部分に搭載されたマイクロプロセッサーによって文字に変換され、ブルートゥース接続でアプリやコンピューターに送信される。

難題は動きを含む文字をどうやって読み取るか。例えば、ｉは握りこぶしを作る要領で折り曲げた指の上に親指をかぶせ、小指を立てる。一方、その状態から手首を下に向けて右に回せばｊになる。

こうした手の動きを判別するため、研究チームは加速度センサーを追加した。iPhoneに搭載されていて端末の傾きを検知するセンサーだ。

【参考記事】安全な治療室の中、VRで恐怖と向き合う最新の不安障害治療

研究チームによれば、ジェスチャー認識はこのグローブが持つ可能性の1つにすぎない。「究極の目標はバーチャルリアリティー（VR）に使えるスマートグローブだ」と、研究チームは声明で述べている。「ジョイスティックなど既存のコントローラーよりはるかに直感的に使える。ゲームや娯楽にも有用だが、それ以上に医療のバーチャルトレーニングなどにもってこいだ。手の使い方を実際にシミュレーションできればプラスになる」

手の動きを正確に追えればVRでモノを操作しやすくなる。ロボットハンドやバーチャルハンドを操作し、感触を手にフィードバックする新バージョンも開発中だという。まさに、かゆいところに手が届く夢の技術だ。


【お知らせ】ニューズウィーク日本版メルマガリニューアル！　ご登録（無料）はこちらから＝>>

[2017.8. 8号掲載]
ティム・マーシン