Google DeepMind、テキストプロンプトで"口パク"にも対応するサウンドトラック生成技術
マイナビニュース / 2024年6月19日 10時29分
Google DeepMindのジェネレーティブメディアチームは現地時間6月17日、ビデオ生成モデル「Veo」と組み合わせて、生成した無音動画に同期したオーディオビジュアルを生成する研究中のV2A(video to audio)技術の現状を公式ブログで発表、スリラー、ホラー、宇宙空間などのシチュエーションに合わせて生成されたサウンドトラックを公開している。
○ビデオ生成モデル「Veo」と動画から音声を作成するV2A技術でAIが音声付き動画を生成
チームが今回公開した研究は、「Veo」で生成された無声動画にAIでサウンドトラックを生成する技術で、V2A(video to audio)技術と呼ばれており、ビデオのキャラクターや雰囲気、環境、シチュエーションなどにマッチした音楽や会話、観客の歓声や足音、動物の鳴き声、ドラムの音、車のエンジン音やスリップ音などを生成する。またオプションで「ポジティブなプロンプト」と「ネガティブなプロンプト」を定義し、ある程度感性に合わせた制御も行うことも可能となっている
また、動画のリップシンク(口パク行為)に対応、入力されたトランスクリプト(会話テキスト)から音声を生成し、登場人物の唇の動きと同期させる技術も改善が進んでいる。Webサイトでは、プロンプトとそれによって作成されたサンプルが複数公開されている。
同技術はオーディオ生成に拡散(diffusion)モデルを採用、ビデオ入力を圧縮表現(compressed representation)にエンコードし、拡散モデルによりランダムノイズから画像入力と自然言語プロンプトに対応したオーディオを生成、繰り返しリファインを行い、デコード、波形変換と加工されビデオデータと結合される。オーディオ生成エンジンにはモデルが特定のサウンドを生成する機能を実装するため、AIトレーニングのプロセスでサウンドの詳細説明、AI生成の注釈など多くの情報を追加し、ビジュアルに合わせた関連付け学習を行っている。
気になるのが生成されるサウンドのセキュリティ面だが、生成されるコンテンツには、透かしを入れコンテンツを識別する技術「SynthIDツールキット」を組み込むことで技術の悪用から保護を行うという。より幅広い一般公開を検討する前に、クリエイターや映画製作者などからの多様な視点や洞察、フィードバックを得て、厳格な安全性評価とテストを行う旨を述べている。
(竹中貴一)
外部リンク
この記事に関連するニュース
-
オルツ、フランス拠点の生成AIベンチャーGladiaとの連携を発表
共同通信PRワイヤー / 2024年6月10日 11時0分
-
NVIDIA がデジタル ヒューマン マイクロサービスをリリース、生成 AI アバターの未来への道を開く
PR TIMES / 2024年6月3日 15時45分
-
NVIDIA が GeForce RTX AI PC で AI アシスタントを実現
PR TIMES / 2024年6月3日 10時45分
-
グーグル、プロも驚く音楽生成AI「Music AI Sandbox」を開発
ASCII.jp / 2024年5月26日 17時0分
-
Googleが来場者をざわつかせた「AIとの対話」 OpenAIとの生成AI競争第2幕は「スマホ」へ
東洋経済オンライン / 2024年5月21日 7時30分
ランキング
-
1こんなの売ってるのか! 官公庁オークションで2万円で出品された“まさかの商品”に思わず二度見
ねとらぼ / 2024年6月19日 7時30分
-
2「AQUOS R9」で起きた“3つの異変” Proなし、デザイン刷新、実質値下げの意図を聞く
ITmedia Mobile / 2024年6月19日 6時5分
-
3ユーザー自らマルウェアをインストール、偽の警告メッセージに注意
マイナビニュース / 2024年6月19日 8時26分
-
4焼きそばをおかずに白飯を食べる ローソンストア100の「だけ弁当」新作は「焼そば」 「こういうので良いんだよ!」
ねとらぼ / 2024年6月18日 12時51分
-
5Googleの天気予報がAIで高精度に、最大12時間先まで5分ごとの降水量を予測 - ウェザーニューズと提携
マイナビニュース / 2024年6月19日 13時36分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)