【Adobe MAX 2024】アドビが発表した動画生成モデル「Adobe Firefly Video Model」は、他の動画生成と何が違うのか

またアドビでは、「生成AIを『生成編集』ととらえ、さまざまな編集／制御ができるように設計することでも、差別化している」とコスティン氏は言います。前述のように、Firefly Video Modelでカメラアングルの制御やモーションの制御ができるようになっているのも、すべてはユーザーの望む「生成編集」を可能にするため。また同じ理由からAdobe Fireflyでは「Photoshop／Illustrator／Premiere Pro／Adobe Expressなどのアプリケーションに深く統合できるようにモデルを設計している」と言います。

Firefly Video Modelもすでに、「Adobe Premire Pro」の最新ベータ版に「生成拡張」機能として実装されています。こちらは動画の足りない尺を、スローモーションなどを用いずに生成で引き延ばせるというものです。生成AIのアプリケーションへの実装をいち早く進めるのは、「我々のカスタマーが多くの困難なワークフローに直面しているのは、これらのアプリケーション上だから」とコスティン氏。「さらにカスタマーの時間を節約できる、より強力な機能を提供したいと考えている」と話していました。

○Adobe Premire Proの動画編集を生成AIが劇的に変える

Premire Proの生成拡張がどのような機能かについては、ビデオ製品担当のドラス氏が詳しく解説してくれました。ビデオクリップの延長したい箇所を指定すると、Firefly Video Modelがクラウドで、その拡張を処理するしくみ。「ビデオクリップの各フレームを見て、カメラの動き・照明・風景・キャラクターの動きなどの特徴を調べ、カメラで撮影されていないフォトリアリスティックに近いクリップの拡張を生成します」とドラス氏。あわせてこの際、クラウドにアップロードされるクリップについて、「Firefly Video Modelのトレーニングには使用されません。使用許可が与えられた映像でのみでトレーニングしています」と、強調しました。

Premire Proの生成拡張機能では、映像は2秒間、オーディオは10秒間、前後のフレームから生成して伸ばすことができます。プロフェッショナルフィルム＆ビデオ製品 マーケティングディレクターのミーガン・キーン氏はオーディオについて、「特筆すべきは、オーディオの拡張機能では、風やざわめきのような環境音を拡張できるということ。一方で私たちはライセンスやコピーライティング上の理由から、音楽や会話は拡張しません」と説明しています。