「二人」のオバマが同時にスピーチ!? 音声から話者の口の動きを学習するアルゴリズムが誕生
ニューズウィーク日本版 / 2017年7月19日 18時0分
<米ワシントン大学の研究チームは、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この口の形を、別の動画に合成することにも成功した>
明らかに異なる場所や時間に存在しながら同時に同じ言葉を話す"二人"のオバマ前大統領の様子が、動画共有プラットフォーム『ユーチューブ』で公開された。
音声データをもとに生成した本物そっくりの口の形を動画に合成
もちろん、この動画は本物ではない。右側の動画は、オバマ前大統領のスピーチの音声データをもとに人工的に生成した本物そっくりの口の形を、在職中にホワイトハウスで撮影された動画に合成したものだ。そして、この本物そっくりの口の形には、人工知能における機械学習の手法が用いられている。
米ワシントン大学の研究チームは、2017年7月、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この研究チームが2015年に開発した合成技術と組み合わせることで、このアルゴリズムによって生成された口の形を、別の動画に合成することにも成功した。
一般に、音声から動画に変換するには、特定の音と口の形がどのように関連しているのかを把握することが必要だ。従来は、複数の人々に同じセンテンスを何度も繰り返して話してもらい、その様子を撮影するという手法がとられていたが、時間や手間がかかるのが課題であった。
既存のインタビュー映像などを活用できる
一方、このアルゴリズムでは、インターネットで公開されているインタビュー映像や動画コンテンツなど、既存のデータを活用できるのが利点。人工ニューラルネットワーク(人工神経回路網)に動画データを読み込ませて"学習"させ、それぞれの音声から基本的な口の形に変換する仕組みだ。対象となる動画にこれらの口の形を重ねて合成し、タイミングを調整すれば、本物そっくりのスピーチ動画が完成する。
このアルゴリズムの実用的なニーズの一例として、ビデオ会議や動画チャットなど、音声と動画によるコミュニケーション手段の改善が挙げられる。たとえば、『スカイプ』などのチャットツールから収集した動画データを使って各ユーザーの話しぶりを"学習"させれば、アルゴリズムによって、そのユーザーの音声から合成動画を生成でき、フェイス・トゥ・フェイスに近い状態でコミュニケーションできるわけだ。
フェイク・ニュースへの対策ソリューションにも
また、研究チームでは、「このアルゴリズムの一連のプロセスを逆行させることにより、ニュースサイトなどで配信されている動画が本物であるか、加工されたものであるかを検知できる」との見解を示しており、虚偽の情報でつくられた"フェイク・ニュース"への対策ソリューションとしても、応用の可能性が期待されている。
これらの研究成果は、コンピュータグラフィックやインタラクティブなコミュニケーションに機械学習の手法を応用した先進的な事例。2017年8月に開催される国際会議「SIGGRAPH」において、その詳しい内容が発表される予定だ。
松岡由希子
この記事に関連するニュース
-
情報BOX:米が敵対国の最先端AI利用を警戒、具体的な懸念は
ロイター / 2024年5月10日 18時9分
-
Parakeet株式会社、次世代リアルタイムAIボイスチェンジャー「Paravo」β版を提供開始
PR TIMES / 2024年5月8日 15時15分
-
データの信頼性を測るフェイク判定レポートサービスの提供を開始
PR TIMES / 2024年5月8日 11時45分
-
Galaxy S24シリーズの目玉機能「Galaxy AI」を全方位で検証 スマホ体験が大きく拡張される!
ITmedia Mobile / 2024年4月11日 17時5分
-
韓国の研究者が進める「偽の声を区別する」研究…AIディープボイス、犯罪に対抗「新技術」
KOREA WAVE / 2024年4月11日 9時0分
ランキング
-
1フィリピン政府 中国大使館員を“国外追放”方針 領有権問題めぐり「悪質な妨害工作」 中国側「うしろめたさ感じている証」
TBS NEWS DIG Powered by JNN / 2024年5月10日 20時43分
-
2イスラエル、ハマス同意の休戦案を拒否…ラファへの大規模侵攻姿勢を固持
読売新聞 / 2024年5月10日 19時33分
-
3韓国政府「持分売却を圧迫と認識され日本政府に遺憾」 LINEヤフー問題を受け
TBS NEWS DIG Powered by JNN / 2024年5月10日 17時28分
-
4ウクライナ北東部「突破の試み」=ロシア軍が攻撃強化、1キロ侵入
時事通信 / 2024年5月10日 23時31分
-
5ミスUSAとティーンUSAが相次いで辞退 主催団体に問題か
AFPBB News / 2024年5月10日 18時56分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください