Copilot+ PCのNPUでカメラを処理する「Windows Studio Effects」その内容や効果は？

ASCII.jp / 2025年2月2日 10時0分

　「Windows Studio Effects」は、NPUを使ったカメラやマイクのAI処理機能だ。Copilot+ PC以前のSnapdragon搭載マシン（Windows on ARM）用として登場し、Copilot+ PCでは、その機能が強化された。今回はこのWindows Studio Effectsを見てみることにしよう。

そもそもWindows Studio Effectsとは？

　Windows Studio Effectsとは、NPUを使いカメラやマイクに機能を追加するもの。逆に言えば、NPUを内蔵しないマシンでは利用できない。

　現状NPUを搭載したマシンは、Copilot+ PCとそれ以前のARM64版Windows（Windows on ARM）の動作するマシンがある。これ以外のマシンでは、Windows Studio Effectsが動作しない。また、Copilot+ PCでは内蔵カメラに対してのみ有効となり、USB接続の外部カメラでは利用できない。

　Windows Studio Effetsには、カメラ画像を加工する「AI効果」とマイク入力を加工する「AI効果」がある。

　Copilot+ PC（Lenovo Yoga Slim 7）で試したところ、効果が微妙なものも見られた。自動フレーミングは、有効な場合とそうでない場合がある。フォーカスに関しては大抵の場合は正しく合うのだが、顔をセンターに持ってきてはくれないこともあった。

　「アイコンタクト」も微妙な感じである。「標準」でも「テレプロンプター」でも、カメラを見つめていていないのがわかってしまう。しかし、わずかに目のあたりが変化しているのはわかる。

　背景効果だが、「ポートレートぼかし」では、ぼかし処理が真面目過ぎるのか、たとえば本棚については背表紙を読むことはできないが、本棚があることはわかってしまう。テレビ会議などでプライバシーを心配するなら「標準」を選択すべきだろう。

　クリエイティブフィルターは、適用するとその効果がはっきりとわかる。ただ、それぞれの区別は微妙で、説明と水彩画は多少色味が違う程度にしか見えない。また、両者ともに顔にバンディングが見えてしまう。これに対して「アニメーション」は、バンディングが出ないものの、顔全体の色味が単純になる感じだ。ビデオ撮影なら使い道もありそうだが、テレビ会議などで使う類のものではなさそうだ。

Windows Studio Effectsの仕組み

　Windows Studio EffectsのAI効果は、カメラデバイスやマイクデバイスをアクセスするためのドライバーレベルで組み込まれる。これにより、カメラやマイクを利用するアプリケーションがWindows Studio Effectsに対応していなくても、クイックアクセスからAI機能の有効/無効を制御できるようになる。

　もちろん、Windows 11標準搭載の「カメラ」アプリのように、Windows Studio Effectsに対応していれば、アプリ側で設定することも可能だ。

　Windows 11 Ver.24H2からは、Copilot+ PCでは、クイックアクセスに「スタジオエフェクト」が追加され、機能の設定が可能になった。同じ機能は「設定」→「Bluetoothとデバイス」→「カメラ」→「＜内蔵カメラ名＞」にもある。

　実際のカメラデバイスでは、メーカーが独自の「効果」を追加することがある。また、アプリケーションも独自の効果をカメラデバイスやマイクデバイスに対して追加することができる。このために、Windowsには、「Media Foundation」という仕組みがある。Media Foundationは、映像や音声など常にデータが更新し続ける「ストリーム」に対して加工を行う仕組みを提供する。

　映像や音声などは、一定品質で再生するためには、遅延や中断などが許されない。このため、Windowsのカーネルが「カーネルストリーミング」機能を提供している。Media Foundationは、カーネルストリーミングの機能を使ってさまざまな機能を実現している。

　背景をぼかすなどの「効果」は、Media FoundationのDMFT（Device Media Foundation Transform）を開発することにより可能になる。このあたりに関しては、MicrosoftのWebサイト「デバイス MFT 設計ガイド」（https://learn.microsoft.com/ja-jp/windows-hardware/drivers/stream/dmft-design）に記述がある（ただし、ドライバー開発者向けのドキュメント）。

　Windows Studio Effectsも同じような仕組みを使って標準のカメラストリーミングデバイスに対して、AI効果を追加する。アプリケーション側は、デバイスの機能として、OEMのDFMTや標準の機能（明るさやコントラスト設定など）に加えて、Windows Studioが追加したAI効果も有効になる。

　Windows Studio Effects対応アプリは、AI効果の制御が可能になる。たとえば、Copilt+ PCの「カメラ」アプリは、内蔵カメラに対して、Windows Studio Effectsの設定パネルを表示できる。

　これに対して、非Windows Studio Effectsのアプリケーションは、アプリ側からAI効果を制御できないが、クイックアクセスにある「スタジオエフェクト」を使うことで、AI効果を設定可能。

　Windows Studio Effectsは、もともと、NPUを使う機能としてARMプロセッサを搭載したWindowsマシン用に登場した。Copilot+ PCでは、高いNPU性能が要求され、Windows Studio Effectsも拡張されたが、イマイチ効果がわかりにくい。AI効果とはいうが、内容的には、従来のカメラ付属のユーティリティやビデオ会議アプリケーションが持つビデオ効果の範囲を超えていない。

　実際には、同じ効果であってもNPUを使うことで、CPU負荷を下げ、モバイルでの電力消費を軽減するという効果があるはずなのだが、目に見える部分ではないので理解されにくく、またユーザーが気軽に検証できるというものでもない。