1本の動画→8つの異なる視点で映像化 Stability AI、動画生成モデル「Stable Video 4D」発表
ITmedia NEWS / 2024年7月26日 8時35分
![1本の動画→8つの異なる視点で映像化 Stability AI、動画生成モデル「Stable Video 4D」発表](https://media.image.infoseek.co.jp/isnews/photos/itmedia_news/itmedia_news_20240725178_0-small.jpg)
英Stability AIは7月25日、1つの動画から8つの異なる視点の動画を生成するAIモデル「Stable Video 4D」を発表した。現在Hugging Faceから利用できる。
Stable Video 4Dは、画像を動画に変換する「Stable Video Diffusion」モデルを基盤としている。ユーザーが1本の動画をアップロードし、任意の3Dカメラアングルを指定すると、8つの新しい視点の動画(5フレーム)を約40秒で生成する。
画像拡散モデル、動画拡散モデル、マルチビュー拡散モデルを組み合わせ、複数の新しい視点の動画を同時に生成可能。これにより、空間軸と時間軸の一貫性が大幅に向上するという。複数の視点とタイムスタンプで、オブジェクトの外観の一貫性を確保するだけでなく、複数の拡散モデルを使用する煩雑なスコア蒸留サンプリング(SDS)なしで、シンプルな4D最適化フレームワークを実現するとしている。
全体の4D最適化には約20~25分かかるものの、既存のモデルと比較して、より詳細で入力動画に忠実な新しい視点の動画を生成できるという。同社は「画像ベースの動画生成から完全な3Dダイナミック動画合成へと移行する、私たちの能力における飛躍的な進歩を表している」とする。
Stability AIは、Stable Video 4Dの応用分野として、ゲーム開発、動画編集、VRなどを想定する。同社は現在モデルの改良に取り組んでおり、合成によるデータセットを超えて、より幅広い実世界の動画を扱えるよう最適化を進めているという。
外部リンク
この記事に関連するニュース
-
生成AI「リートン」、webおよびアプリにて「Claude 3(クロード 3)」を7月12日より一般公開、画像認識ができる「vision機能」実装
PR TIMES / 2024年7月12日 13時0分
-
AIが顔の類似度を判定し、同一人物の画像を自動選別 - Stable Diffusion向け拡張機能「Similarity Sifter」をリリース
PR TIMES / 2024年7月6日 15時45分
-
AIによる自作LoRA作成方法を詳細解説 - AIタレントエージェンシーが記事を公開
PR TIMES / 2024年7月6日 12時40分
-
生成AI「リートン」、6月28日に「Stable Diffusion 3」をweb・iOS版アプリ両方でリリース
PR TIMES / 2024年6月28日 16時45分
-
Stable Diffusion専門メディア「Stable Diffusion攻略図鑑」がオープン!AIタレント事業者による本格的な情報サイト
PR TIMES / 2024年6月28日 11時45分
ランキング
-
1「これが生えたら庭終了」 プロも降参する“何をやっても全部ムダな最恐雑草”の正体が400万再生「ほんとこれ厄介」「土ごと変えないと不可能」
ねとらぼ / 2024年7月25日 21時30分
-
2温水洗浄便座の異常、放置しないで──NITEが注意喚起 発火のおそれも
ITmedia NEWS / 2024年7月25日 19時13分
-
3知っているとMacがより快適になる便利な5つの小技|今さら聞けないMacの便利テク
&GP / 2024年7月25日 21時0分
-
4人気Androidアプリにゼロデイ脆弱性、動画に扮してマルウェア感染
マイナビニュース / 2024年7月25日 9時12分
-
5都会を離れて田舎で大規模農業!日本語にも対応の農場経営ライフシムが正式リリースでさらに遊びやすく―採れたて!本日のSteam注目ゲーム12選【2024年7月25日】
Game*Spark / 2024年7月25日 23時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)