「二人」のオバマが同時にスピーチ!? 音声から話者の口の動きを学習するアルゴリズムが誕生
ニューズウィーク日本版 / 2017年7月19日 18時0分
<米ワシントン大学の研究チームは、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この口の形を、別の動画に合成することにも成功した>
明らかに異なる場所や時間に存在しながら同時に同じ言葉を話す"二人"のオバマ前大統領の様子が、動画共有プラットフォーム『ユーチューブ』で公開された。
音声データをもとに生成した本物そっくりの口の形を動画に合成
もちろん、この動画は本物ではない。右側の動画は、オバマ前大統領のスピーチの音声データをもとに人工的に生成した本物そっくりの口の形を、在職中にホワイトハウスで撮影された動画に合成したものだ。そして、この本物そっくりの口の形には、人工知能における機械学習の手法が用いられている。
米ワシントン大学の研究チームは、2017年7月、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この研究チームが2015年に開発した合成技術と組み合わせることで、このアルゴリズムによって生成された口の形を、別の動画に合成することにも成功した。
一般に、音声から動画に変換するには、特定の音と口の形がどのように関連しているのかを把握することが必要だ。従来は、複数の人々に同じセンテンスを何度も繰り返して話してもらい、その様子を撮影するという手法がとられていたが、時間や手間がかかるのが課題であった。
既存のインタビュー映像などを活用できる
一方、このアルゴリズムでは、インターネットで公開されているインタビュー映像や動画コンテンツなど、既存のデータを活用できるのが利点。人工ニューラルネットワーク(人工神経回路網)に動画データを読み込ませて"学習"させ、それぞれの音声から基本的な口の形に変換する仕組みだ。対象となる動画にこれらの口の形を重ねて合成し、タイミングを調整すれば、本物そっくりのスピーチ動画が完成する。
このアルゴリズムの実用的なニーズの一例として、ビデオ会議や動画チャットなど、音声と動画によるコミュニケーション手段の改善が挙げられる。たとえば、『スカイプ』などのチャットツールから収集した動画データを使って各ユーザーの話しぶりを"学習"させれば、アルゴリズムによって、そのユーザーの音声から合成動画を生成でき、フェイス・トゥ・フェイスに近い状態でコミュニケーションできるわけだ。
フェイク・ニュースへの対策ソリューションにも
また、研究チームでは、「このアルゴリズムの一連のプロセスを逆行させることにより、ニュースサイトなどで配信されている動画が本物であるか、加工されたものであるかを検知できる」との見解を示しており、虚偽の情報でつくられた"フェイク・ニュース"への対策ソリューションとしても、応用の可能性が期待されている。
これらの研究成果は、コンピュータグラフィックやインタラクティブなコミュニケーションに機械学習の手法を応用した先進的な事例。2017年8月に開催される国際会議「SIGGRAPH」において、その詳しい内容が発表される予定だ。
松岡由希子
この記事に関連するニュース
-
「あはは」も再現? 味気ないAIとのおしゃべりを豊かにする音声対話技術
ASCII.jp / 2024年7月19日 10時0分
-
SNS対応フェイク動画検知システムを開発
PR TIMES / 2024年7月9日 10時45分
-
スマホ上でも高速動作可能な21言語の高品質ニューラル音声合成技術を開発
共同通信PRワイヤー / 2024年6月25日 14時0分
-
rinna、AI音声合成サービスKoemotionをアップデート
PR TIMES / 2024年6月24日 15時45分
-
AI音声合成ソフト「VoiSona Talk」にて「弦巻マキ」「弦巻マキEnglish」「小春六花」「夏色花梨」が販売開始!
@Press / 2024年6月20日 12時0分
ランキング
-
1空港や鉄道、世界で対応に奔走 豪テレビ、映像素材流せず
共同通信 / 2024年7月19日 20時23分
-
2焦点:トランプ氏演説、党のイメージ刷新努力台無し 結局いつもの悪口に
ロイター / 2024年7月19日 18時29分
-
3米サイバーセキュリティー企業CEO、世界的システム障害めぐり「問題を修正、まもなく復旧する」と謝罪
日テレNEWS NNN / 2024年7月19日 22時56分
-
4世界的システム障害、復旧になお数日か 米政権も調査に
ロイター / 2024年7月20日 6時50分
-
5トランプ氏「強い米国取り戻す」 共和党大会演説 アフガン撤収は「最も恥ずべき出来事」
産経ニュース / 2024年7月19日 13時55分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)