2025年最初のニュースとして、AdobeはPremiere Pro、After Effectsのβ版およびFrame.ioの新機能を発表した。以前からAdobeは、映像制作ワークローにおけるAIの活用事例をPremiere Proに集約させており、24年には今後実装予定の機能を3つ発表している。そのうち「カットの続きを作る」機能は昨年のうちに実装された。
残る「Bロールを生成する」機能は24年11月のInter BEEの際に実動デモを、「不要なオブジェクトを消す」については、「不要なオブジェクトを自動で切り出す」ところまでの実動デモを拝見した。この1月に公開された25.20β（ビルド97）に実装されたAI関連機能はそのどちらでもないが、ユーザーからリクエストが多かった機能を先に実装したようだ。
今回は実際にこのβ版に搭載された機能を試しながら、今後の映像制作への変化について考えてみたい。
●素材を分析し、検索可能にする「メディアインテリジェンス」
かつて編集者が映像編集を行う際には、素材全てに目を通し、メモを取る。昔はノートにカットのタイムコードとカットの概要、すなわち何が写っているか、1ショットなのがグループショットなのか、サイズはバストサイズなのか、カメラはどちらにパンするのかなどを書き込んでいた。
それを元に、ポスト・イットにカットの特徴を書き出し、壁に貼り付けて分類、グループ化し、関係性を把握したのち、番組の構成に沿って並び替える。いわゆる文化人類学のフィールドワークで用いられるKJ法をそのまま活用して、編集案を錬っていたわけだ。30分番組でも収録素材はその20倍ぐらいあるので、約10時間。メモを取りながら素材を全部見るだけで3日ぐらいかかる。
今でもそんなやり方をしている現場は少ないだろう。なぜならば多くの映像制作の現場で、撮影者と編集者が同じになってしまったからだ。これにより映像制作のスピードは格段に向上し、映像は小規模量産体制が整った。自分で撮影した映像をじっくりもう一度メモを取りがら見るというのは、ニュース特集やドキュメンタリーのように、自分が撮ったものがどういう意味を持つのか再考する必要があるコンテンツの場合ぐらいである。
とはいえ、撮影班が複数あるような大掛かりなプロジェクトでは、編集者が知らない素材が大量にあるという事になる。もちろん、こうした場合は昔ながらのKJ法は有効だが、今はとにかく手を動かして、早速作り始めてしまう編集者も多い。
こうした手法で厄介なのは、使いたいカットがあるはずなのに見つからないことだ。現代の編集において、カットの存在はビン上にあるクリップのサムネイルから想起されるので、使いたいカットのイメージとサムネイルが全然違っている場合、見つけられなくなるということは起こりうる。仕方なく構成を変えて編集したら、ほとんど出来上がってから使いたいカットが見つかる。そうなると、それを入れるためには構成を変えなければならなくなる。
こうしたトラブルを避けるために、編集者は素材ビンの中でフォルダを作って分類したり、サムネイルカラーを分けたりしてなんとか区別を付けようとしてきたわけだが、もっともシンプルな解は、「検索して見つかれば良い」というものだ。
そのためには何らかのメタデータが必要になるわけで、大規模なプロジェクトの場合、素材を見ながらクリップにメタデータを入力していくという工程が発生する。実際に映画等ではこうしたワークフローになっているが、そうしたことをAIでやれないか、というニーズが出てくるのは、当然である。
今回のPremiere Pro 25.20βで追加されたAI関連の機能の一つが、それである。「メディアインテリジェンス」と名付けられた機能は、プロジェクト内に読み込まれた素材、あるいは新たにインジェストする素材に対して、AIによる分析をかける。
AIは、それぞれの素材に何が写っているのか、どんなアングルか、何色が含まれているかといった情報を読み取り、メタデータとしてプロジェクトインデックスに記録する。
編集者は欲しいカットが見つからない場合、テキスト検索によって素材を見つけ出すことができる。入力するのは、画像生成AIに入力するプロンプトと変わりない。何が写っているか、どういうアングルか、昼か夜か、といった条件で検索できる。
現時点では、日本語のプロンプトには対応していない。だが英単語で入力すれば、検索できる。複数の単語を連ねれば、絞り込みもできる。
最終的には、解像度やフレームレート、データがあればカメラ名や絞り値など、技術的メタデータも併用して検索できるようになるだろう。技術パラメータは撮影時にカメラ側で記録していないとどうにもならないが、これまで編集時にはあまり活用できていなかったのは事実だ。ただ、現時点ではメタデータ検索はそれほど正確ではなく、該当しないものも引っ掛かってくる。このあたりは検索書式が明確化されれば精度は上がってくるだろう。
現時点では、Premiere Proに組み込まれた機能ゆえに、プロジェクトに読み込ませた素材しか解析の対象にならず、解析情報はプロジェクトファイルのキャッシュか、素材ファイルと同じフォルダ内のサイドカーファイルに記録するかの選択になる。将来的に期待したいのは、これが別ツールになり、素材を記録したHDDやSSDなどの中身をいっぺんに解析してメタデータ化してくれることだ。具体的には、「Adobe Bridge」のようなアセットマネジャーにこそ搭載すべきである。
こうした機能は放送局向けのアーカイブシステムではすでに存在するが、個人やプロジェクト単位、小規模プロダクションで利用できるようなものではない。
さらにAI解析によるメタデータの持ち方が標準化されれば、一度解析したクリップならどの編集ツールでも、あるいは素材ブラウザのような別ツールでも検索が可能になるだろう。これがその第一歩であることを期待したい。
●他言語翻訳可能になった字幕
今やAIによる文字起こしは一般的なツールとなり、議事録作成やインタビュー起こしなどに活用されている。昨今では大学の講義を録音してAIで文字起こしし、そのテキストをさらにAIに食わせてサマリーを作らせることで学習を効率化するといったことまで行われるようになった。これに関しては賛否あるところである。
編集ツールに文字起こし機能を搭載したのは、Premiere Proがかなり早かった。書き起こしたデータを元に、いわゆる「字幕」も入れられる。さらに書き起こしたテキストを切った貼ったするだけで、動画編集ができる機能も搭載した。もともとそうした機能は、韓国の編集ツール「Vrew」が搭載していた機能である。
今回の25.20βで搭載された新機能に、「キャプションの翻訳」がある。字幕として作成した言語に対して、別の言語に翻訳した字幕を作成できる機能だ。例えば元の言語が日本語だったとしても、英語や中国語の字幕を作成することができる。
日本語というのは英語、スペイン語、中国語などと違い、世界でそのまま通用するわけではないので、こうした翻訳字幕が作成できれば、コンテンツを世界に発信することもできるようになる。
とはいえ、製作者が理解できない言語に対しては、その字幕が正しいのか判断ができない。そこが単純に喜べないところである。元のテキストと翻訳テキストを何らかの形で出力し、別のAIで整合性をチェックするといったことは必要になるだろう。いわゆるセカンドオピニオンとして、外部のAIとなんらかの形でインタフェースする仕掛けが、今後は必要になるのではないだろうか。あるいは翻訳エンジンだけ外部のAIを使いたいといった要望も出てくるだろう。
以前ご紹介した「Captions」というアプリでは、翻訳結果を字幕ではなく、音声で吹き替えてくれるという機能を持っている。だがこの機能は翻訳が間違っていた場合、フェイク動画化してしまう可能性を排除できない。
AdobeのAIツールは、クリエイターの置き換えを目指しておらず、クリエイターの生産性向上のためだけにAIを使うというポリシーを掲げている。しかしながら、クリエイティブ業界の巨人であり、強い影響力を持つAdobeのこうしたポリシーにもかかわらず、ビジネスの現場では別のAIツールにより、「AIがクリエイターの仕事を奪う」という現象がすでに起こり始めている。本来ならデザイナーやイラストレーターに発注していた仕事を、AIが取って代わるようになり始めているのは事実だ。
2月13日には、日本でAdobe Max Japanが開催される。ここでもいくつかのAI関連の新機能が披露されるだろう。クリエイターはAIによるワークフロー改革を受け入れながら、AIに取って代われないようなクリエイティブワークとは一体なんなのか、生き残る道を探す必要に迫られている。