米Adobeは9月11日（現地時間）、同社初の動画生成AIモデル「Adobe Firefly Videoモデル」を発表した。テキストや画像から動画を生成するだけでなく、クリップの尺を引き伸ばしたり、動画の別の視点を生成したりできるようになる。2024年後半にβ版として提供予定という。
今回の動画生成AIモデルは「Firefly Text-to-Video」と「Firefly Image-to-Video」を用意。前者は、プロンプトから動画クリップを生成でき、後者は画像やイラストを動画に変換できる。カメラコントロールや参照画像を使用することで、タイムラインのギャップをシームレスに埋められるBロールの生成が可能という。
黒、あるいは緑の背景に対し、火、煙、水といったエフェクトも生成可能。ブレンドモードで編集中のクリップに重ねたり、Premiere ProやAfter Effects内でキーイングしたり、動画クリップにマッチしたエフェクトとして使用できる。
24年後半には、Premiere Proのβ版に「Generative Extend」が登場予定。クリップを延長できるようになり、足りなかった尺を埋めたり、トランジションをスムーズにしたりといったことが可能だ。
Firefly Videoモデルについては他のFireflyと同様、使用許可を得たコンテンツのみでトレーニングしたとしており、Adobeはユーザーのコンテンツは学習に使用していないという。そのため、商業的に安全に利用できるよう設計されているとする。