Meta、音声付き高解像度動画の生成が可能なAIモデル「Movie Gen」発表
ITmedia NEWS / 2024年10月5日 8時1分
米Metaは10月4日(現地時間)、テキストから高画質の動画と音声を生成する動画生成AIモデル「Movie Gen」を発表した。具体的なリリース時期、ライセンス、開発者向けの利用可能性については言及していないが、多数のサンプル動画を公開している。
●Movie Genでできること
Movie Genは、テキスト、画像、動画、音声のマルチモーダルで、テキスト入力で動画と音声を生成できる。
生成できる動画は最長16秒
テキストプロンプトを入力することで最長16秒、16フレーム/秒の動画を生成できる。物体の動きや物体同士の相互作用、カメラの動きを理解しているので、現実的な動きを再現できるとしている。
既存の動画の編集
既存の動画を編集できる。例えばオブジェクトを追加したり、背景を変更したり、動画の一部を別の内容に置き換えたりできる。
マーク・ザッカーバーグCEOは自身のInstagramアカウントでの投稿で、レッグプレスをしている自分の動画を、ローマ風の背景で兵士のような装束を着けた動画や穀物倉庫のような場所での動画に変換してみせた。
サンプル動画では、例えばペンギンの動画で、ペンギンにドレスを着せたり、背景にビーチパラソルを追加したり、鉛筆画のようなタッチに変えたりする編集を紹介している。
自分が主役の動画を生成
自分の画像を入力することで、動画内の人物を自分に変えることができる。
効果音やBGMの生成
動画の内容に基づいて、シーンに合わせた効果音やBGMを生成できる。音声のスタイルや雰囲気もテキストで指定できる。泳いでいるペンギンが水を切る音や、ジャングルを這うヘビのシーンに不穏な音楽を合わせた例が紹介されている。
●Movie Genの優位性
Metaは、Movie Genは複数のタスクで業界の類似モデルを凌駕していると説明している。テキストから動画を生成するタスクでは、Runwayの「Gen-3」、Luma Labsの「Dream Machine」、OpenAIの「Sora」を上回るパフォーマンスを示すとしている。
Movie Genの特徴は、物理法則を尊重し、歪みのない一貫性のある動きで現実世界をシミュレートする能力という。
●悪用の可能性
Metaは論文(PDF)で、オリジナル動画を変数したり、動画の人物の顔を変えたりできる技術が悪用の可能性をはらんでいることについても触れている。
-
- 1
- 2
この記事に関連するニュース
-
動画生成AI、米メタも公開=インスタ、来年から搭載へ
時事通信 / 2024年10月5日 9時11分
-
米メタ、動画生成の新AIモデル発表 オープンAIなどに対抗
ロイター / 2024年10月5日 1時53分
-
「電脳メガネ」ついに実現? Meta、真のARグラス「Orion」を披露 “筋肉の信号で操作”も可能に
ITmedia NEWS / 2024年9月26日 4時55分
-
ドイツの老舗beyerdynamicが放つ、スタジオ育ちのハイエンドゲーミングヘッドホン「MMX 300 PRO」を試す
ASCII.jp / 2024年9月14日 6時0分
-
3Dモデリングなしで、音声から“リップシンク動画”を生成するAIツール「SyncWaveX」|唇や顔の動きと音声が連動
Techable / 2024年9月9日 12時0分
ランキング
-
1ハイテンポな戦闘はマルチプレイ対応!ローグライトACT『Wizard of Legend』続編が早期アクセス開始―採れたて!本日のSteam注目ゲーム11選【2024年10月4日】
Game*Spark / 2024年10月4日 23時0分
-
2東京都「リチウムイオン電池 捨てちゃダメ!」 じゃあどうすればいいの? 都に聞いてみた
ITmedia NEWS / 2024年10月4日 15時17分
-
3「あのお客さんに幸あれっ!」 小銭の出し方が完璧な“神客”にレジ店員感激 会計がスムーズになる配慮が参考になる
ねとらぼ / 2024年10月5日 8時0分
-
4「これは買って損ない!」 ニトリの“1本4役”便利グッズが“500円未満”なのに万能すぎる 「天才」「知らなかった」
ねとらぼ / 2024年10月3日 11時45分
-
5「とても無礼」「載せたスタッフが問題」 女性同士の恋を描くドラマで“出演者コメント”に物議…… “ある一文”への批判に公式が弁明
ねとらぼ / 2024年10月3日 19時59分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください