手話者のアバター生成などに活用! 指先の動きまで認識できる3D姿勢推定技術
Techable / 2021年7月28日 14時0分
株式会社Preferred Networks(PFN)は、深層学習を活用して指先の向きや手の重なりなどを含む身体の動きを高精度に認識する3D姿勢推定技術を開発し、協業先を募集しています。
幅広い活用領域に期待!同技術は、3DCGによる人体シミュレーションで作成した大量の学習データをPFNのスーパーコンピュータに学習させることで実現しました。専用カメラによる撮影や身体へのセンサー装着は不要で、スマートフォンなどで撮影した動画でも身体細部の動きを高精度にトラッキングし、全身を総合的に認識できる高度な3D姿勢推定モデルです。これにより、従来課題となっていた指先の向きや両手が重なる場面などでの誤検出を大幅に削減できるといいます。
同技術は、これまでデジタル化が難しかった楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔診断・リハビリなどへの応用や、アバターアニメーション制作などの自動化が可能となるようです。
手話者のアバター動画を生成この3D姿勢推定技術は、ソフトバンク株式会社と国立大学法人電気通信大学が共同開発する、手話と音声による双方向コミュニケーションシステム「SureTalk」に採用されています。
「SureTalk」は、AIによって手話と音声をリアルタイムでテキストに変換し、画面を通して会話ができるWebツール。システムはコアエンジン部と手話データベース部で構成され、コアエンジン部には手話をテキスト化する「手話認識部」「自然言語処理部」と音声をテキスト化する「音声処理部」があります。これにより、手話者の動画から手話の意味を抽出し、時系列認識処理によって話者が表現している手話の単語順を認識したり、助詞の補完などで自然な日本語文に変換したり、音声をテキスト化したりできるというわけです。
「SureTalk」は、個人情報保護の観点から手話動画の匿名化を行います。そこで採用されたのがPFNの3D姿勢推定技術。映像上の手話者の手や指先の動きを正確に把握し、それに連動する3DCG(アバター動画)を自動生成することで、手話者のプライバシーを守ります。
株式会社Preferred Networks
(文・Higuchi)
外部リンク
この記事に関連するニュース
-
自律移動ロボット「カチャカ」が「第11回 ロボット大賞」で「総務大臣賞」を受賞
PR TIMES / 2024年9月11日 16時15分
-
押さえておきたいLLM用語の基礎解説 第1回 AI・大規模言語モデル・生成AI・ニューラルネットワーク・ディープラーニング
マイナビニュース / 2024年9月10日 7時0分
-
PFN、SBIと次世代AI半導体開発および製品化に向けた資本業務提携で合意
マイナビニュース / 2024年9月9日 14時43分
-
「音声認識AIのための自己教師学習とデータ拡張技術」に関する論文が、音声・言語処理技術の国際会議「INTERSPEECH 2024」で採択
Digital PR Platform / 2024年8月29日 11時2分
-
DALとアドバンスト・メディア、音声認識技術と生成AIで自動音声会話受注システム
マイナビニュース / 2024年8月20日 15時54分
ランキング
-
1“鼻をほじる”と認知症になりやすい? オーストラリアの研究者が23年に研究発表 指に付いた細菌が嗅覚系から脳に侵入
ITmedia NEWS / 2024年9月19日 8時5分
-
2「マジで毎日がこれ」 “存在しない教育番組”を大人目線で表現→あまりに現実的すぎる“切実な悩み”に共感続々 「泣いちゃった」
ねとらぼ / 2024年9月19日 12時15分
-
3メッシュWi-Fiで日本参入のAmazon、eeroの創業CEOの熱意がすごい
ASCII.jp / 2024年9月19日 6時0分
-
4宝くじに14回当選した男 「全通り購入」という力技に行き着いた結果は? ドイツの研究者が分析
ITmedia NEWS / 2024年9月19日 8時5分
-
5「iPhone 16」4モデル先行レビュー “差が縮まった”無印とPro、どれを選ぶべきか実機でチェックする
ITmedia NEWS / 2024年9月19日 7時50分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください