手話者のアバター生成などに活用! 指先の動きまで認識できる3D姿勢推定技術
Techable / 2021年7月28日 14時0分
株式会社Preferred Networks(PFN)は、深層学習を活用して指先の向きや手の重なりなどを含む身体の動きを高精度に認識する3D姿勢推定技術を開発し、協業先を募集しています。
幅広い活用領域に期待!同技術は、3DCGによる人体シミュレーションで作成した大量の学習データをPFNのスーパーコンピュータに学習させることで実現しました。専用カメラによる撮影や身体へのセンサー装着は不要で、スマートフォンなどで撮影した動画でも身体細部の動きを高精度にトラッキングし、全身を総合的に認識できる高度な3D姿勢推定モデルです。これにより、従来課題となっていた指先の向きや両手が重なる場面などでの誤検出を大幅に削減できるといいます。
同技術は、これまでデジタル化が難しかった楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔診断・リハビリなどへの応用や、アバターアニメーション制作などの自動化が可能となるようです。
手話者のアバター動画を生成この3D姿勢推定技術は、ソフトバンク株式会社と国立大学法人電気通信大学が共同開発する、手話と音声による双方向コミュニケーションシステム「SureTalk」に採用されています。
「SureTalk」は、AIによって手話と音声をリアルタイムでテキストに変換し、画面を通して会話ができるWebツール。システムはコアエンジン部と手話データベース部で構成され、コアエンジン部には手話をテキスト化する「手話認識部」「自然言語処理部」と音声をテキスト化する「音声処理部」があります。これにより、手話者の動画から手話の意味を抽出し、時系列認識処理によって話者が表現している手話の単語順を認識したり、助詞の補完などで自然な日本語文に変換したり、音声をテキスト化したりできるというわけです。
「SureTalk」は、個人情報保護の観点から手話動画の匿名化を行います。そこで採用されたのがPFNの3D姿勢推定技術。映像上の手話者の手や指先の動きを正確に把握し、それに連動する3DCG(アバター動画)を自動生成することで、手話者のプライバシーを守ります。
株式会社Preferred Networks
(文・Higuchi)
外部リンク
この記事に関連するニュース
-
「あはは」も再現? 味気ないAIとのおしゃべりを豊かにする音声対話技術
ASCII.jp / 2024年7月19日 10時0分
-
Samsung、2nm AI半導体向けターンキーソリューションをAI開発企業PFNに提供
マイナビニュース / 2024年7月10日 9時49分
-
自律移動ロボット「カチャカ」の飲食店向けパッケージおよび配膳・下膳専用棚を発売
PR TIMES / 2024年7月1日 16時15分
-
スマホ上でも高速動作可能な21言語の高品質ニューラル音声合成技術を開発
共同通信PRワイヤー / 2024年6月25日 14時0分
-
メタクロシスの技術で実現、対話可能な高精細デジタルヒューマンが誕生
PR TIMES / 2024年6月21日 14時15分
ランキング
-
1世界規模でWindowsがブルスクに うちのPCには影響あるの?
ITmedia NEWS / 2024年7月19日 16時25分
-
2世界規模のWindows障害が情シス的にだいぶ恐怖なワケ ブルースクリーン多発事件
ITmedia NEWS / 2024年7月19日 18時18分
-
3「会社のWindows PCが突如ブルースクリーンに……」 世界中で報告相次ぐ 「仕事ができない」
ITmedia NEWS / 2024年7月19日 14時49分
-
4札幌市イオンモールの駐車場が子育て世代に優しいと話題 気遣いの“言葉”に「これ素敵すぎる」「涙が出ちゃった」と称賛の声
ねとらぼ / 2024年7月18日 8時0分
-
5コンテンツサービスで相次ぐ突然のクレカ決済停止の問題点 今後どう対応できるのか、議員と弁護士に聞いた
ねとらぼ / 2024年7月19日 12時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)