「二人」のオバマが同時にスピーチ!? 音声から話者の口の動きを学習するアルゴリズムが誕生
ニューズウィーク日本版 / 2017年7月19日 18時0分
<米ワシントン大学の研究チームは、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この口の形を、別の動画に合成することにも成功した>
明らかに異なる場所や時間に存在しながら同時に同じ言葉を話す"二人"のオバマ前大統領の様子が、動画共有プラットフォーム『ユーチューブ』で公開された。
音声データをもとに生成した本物そっくりの口の形を動画に合成
もちろん、この動画は本物ではない。右側の動画は、オバマ前大統領のスピーチの音声データをもとに人工的に生成した本物そっくりの口の形を、在職中にホワイトハウスで撮影された動画に合成したものだ。そして、この本物そっくりの口の形には、人工知能における機械学習の手法が用いられている。
米ワシントン大学の研究チームは、2017年7月、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この研究チームが2015年に開発した合成技術と組み合わせることで、このアルゴリズムによって生成された口の形を、別の動画に合成することにも成功した。
一般に、音声から動画に変換するには、特定の音と口の形がどのように関連しているのかを把握することが必要だ。従来は、複数の人々に同じセンテンスを何度も繰り返して話してもらい、その様子を撮影するという手法がとられていたが、時間や手間がかかるのが課題であった。
既存のインタビュー映像などを活用できる
一方、このアルゴリズムでは、インターネットで公開されているインタビュー映像や動画コンテンツなど、既存のデータを活用できるのが利点。人工ニューラルネットワーク(人工神経回路網)に動画データを読み込ませて"学習"させ、それぞれの音声から基本的な口の形に変換する仕組みだ。対象となる動画にこれらの口の形を重ねて合成し、タイミングを調整すれば、本物そっくりのスピーチ動画が完成する。
このアルゴリズムの実用的なニーズの一例として、ビデオ会議や動画チャットなど、音声と動画によるコミュニケーション手段の改善が挙げられる。たとえば、『スカイプ』などのチャットツールから収集した動画データを使って各ユーザーの話しぶりを"学習"させれば、アルゴリズムによって、そのユーザーの音声から合成動画を生成でき、フェイス・トゥ・フェイスに近い状態でコミュニケーションできるわけだ。
フェイク・ニュースへの対策ソリューションにも
また、研究チームでは、「このアルゴリズムの一連のプロセスを逆行させることにより、ニュースサイトなどで配信されている動画が本物であるか、加工されたものであるかを検知できる」との見解を示しており、虚偽の情報でつくられた"フェイク・ニュース"への対策ソリューションとしても、応用の可能性が期待されている。
これらの研究成果は、コンピュータグラフィックやインタラクティブなコミュニケーションに機械学習の手法を応用した先進的な事例。2017年8月に開催される国際会議「SIGGRAPH」において、その詳しい内容が発表される予定だ。
松岡由希子
この記事に関連するニュース
-
AIによる人物のフェイク画像は「目」で見分けられる? 銀河の形態測定を応用
sorae.jp / 2024年9月10日 17時0分
-
東大、ネズミの脳とAIを結んでイラストを描かせるシステムを開発
マイナビニュース / 2024年9月10日 16時27分
-
押さえておきたいLLM用語の基礎解説 第1回 AI・大規模言語モデル・生成AI・ニューラルネットワーク・ディープラーニング
マイナビニュース / 2024年9月10日 7時0分
-
3Dモデリングなしで、音声から“リップシンク動画”を生成するAIツール「SyncWaveX」|唇や顔の動きと音声が連動
Techable / 2024年9月9日 12時0分
-
第19回YANSシンポジウムにて大規模言語モデル活用を加速する2つの成果を発表、一部成果のモデルを公開
PR TIMES / 2024年9月8日 2時40分
ランキング
-
1イスラエル、レバノン市民に電話で退避警告 国営通信社
AFPBB News / 2024年9月23日 18時31分
-
2イスラエル「次の段階計画」ヒズボラ「新たな段階に」攻撃の応酬続く
TBS NEWS DIG Powered by JNN / 2024年9月23日 16時51分
-
3柘植外務副大臣、中国次官会談「真相解明と説明を」 反日的SNS投稿の取り締まり求める
産経ニュース / 2024年9月23日 17時20分
-
4中国、イスラエル滞在の自国民に「早急の」退避呼びかけ
AFPBB News / 2024年9月23日 17時46分
-
5中国「愛国ビジネス」暴走、日本人襲撃...中国政府は止められないのか
ニューズウィーク日本版 / 2024年9月23日 11時0分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください