2枚の写真をアップ→その中間をAIが動画に 「Luma Dream Machine」の新機能、実際に試してみた

　AIスタートアップの米Luma Labsが提供する動画生成AI「Luma Dream Machine」に新機能「キーフレーム」が登場した。これまでは、始点にあたる写真・画像とプロンプトから動画を生成できたが、新たに動画の終わりのコマを設定できるようになり、始点から終点までの“中割り動画”を生成できるようになる。

　Dream Machineは、Luma Labsが6月13日に公開した動画生成AIで、1枚の画像とプロンプトから5秒の動画を生成（のちに10秒以上に延長するExtend機能を追加）できるのが特徴。1カ月あたり30本までなら無料で動画を生成できることから、X（旧Twitter）などで話題に。ミーム画像を動かしたり、さまざまな動画が投稿されている。

　これまでの動画生成AIと異なり、Dream Machineは顔やオブジェクトの形を保ったまま動画化できるのが特徴ではあるものの、完璧に同じ形を保つことは難しく、顔が変化したり（時には人種そのものが変わったり）、予想外の挙動を示したりと動画の内容のコントロールが難しかった。終わりの画像が指定できるようになることで、より変化を抑えつつ意図した動画を生成しやすくなる。

●実際に試してみた

　人物ではないが、車の写真で新機能を試してみた。同じ車かつ同じ場所だが、視点が違う2つのカットを読み込ませたところ、ほぼ形が変化することなくスムーズに視点移動する動画を生成できた。写真内のオブジェクトの深度（Depth）も把握しているようで、2枚目で遠くに写り込んでいる人影も、車と被る部分はきちんと背後に回り込み、被らなくなると出現する。

　細かく見れば、バックミラーやロールオーバーバーなどが変形してしまっているが、車自体に大きな違和感はなく、ジンバルを使ったような自然な動画に仕上がった。

　一方で、同じ場所・被写体であっても、全く別の方向から撮影するなど1枚目と2枚目が大きく乖離していると、途中で2枚目のカットにトランジションで切り替わるような動画が生成される傾向にある。動画としてのつながりは薄いため、挙動をコントロールするという意味では思ったような結果にならないかもしれない。ちなみに人でも試してみたが、だいぶマシになるもののやはり微妙に変化してしまう。

　とはいえ、初めと終わりのコマを指定するだけで、モーフィングとも違う、動画としての“中割り”が生成できるというのは興味深い。うまくつながるカット同士なら現時点でも破綻の少ない動画に仕上るので、より精度が上がっていけば「あとちょっと尺が欲しい」時などの救世主になるかもしれない。