新しいSnapdragonは生成AIを強化しOSをまたがる連携が可能に

◆クアルコムの新しいチップはAI処理が大幅に向上

　10月24日（現地時間）に米ハワイ州マウイ島で開催された「Snapdragon Summit」では、PC向けプラットフォームとしてCPUを独自カスタムした「Oryon（オライオン）」や、それを採用した「Snapdragon X Elite」が注目を集めた。スマホ向けのプラットフォームは、ハイエンド向けのチップセット「Snapdragon 8 Gen 3」が発表されている。同社が両プラットフォーム共通の特徴として掲げているのが、AIや生成AIへの対応だ。

10月24日から3日間に渡って開催されたSnapdragon Summit。例年以上に、AIへの対応を全面に打ち出していた

　両プラットフォームとも、AIの処理を担うNPUの「Hexagon」や、スタンバイ時の音声認識などを可能にする「Sensing Hub」を搭載。Snapdragon 8 Gen 3のHexagonは、従来比で約2倍程度処理能力を高めた一方で、Snapdragon X EliteもNPUのみで45TOPS（1秒間に45兆回の演算）を達成している。また、両プラットフォームともに、「Qualcomm AI Engine」によって、CPU、GPU、NPUの最適なリソース配分を実現する。

Snapdragon X Eliteは、CPU、GPU、NPUの合計で75TOPSを達成した

Snapdragon 8 Gen 3は、NPUの性能の大きく向上させている

　また、Metaの大規模言語モデル「Llama 2」や、Open AIの「Whisper」に対応するなど、チップセットを採用するメーカー側がAIをよりスムーズに実装できるよう、エコシステムも強化している。Snapdragon Summitでは、こうしたAIや生成AIの実装例を、両チップセットを搭載したリファレンスモデルで示していた。以下で紹介するのは、Snapdragon X Elite上で動作させているBlackmagic Design社の「DaVinci Resolve」だ。

DaVinci Resolveでオブジェクト認識の処理速度を比べていた。左がSnapdragon X Elite、右がx86のCPUを搭載した競合のPCだという

　オブジェクト認識の機能を使い、動画内の人物を選択するという動作を、Snapdragon X Eliteと競合他社のPCで比較している。Snapdragon X Eliteは、NPUとGPUを使い、1秒間に6～8フレームずつ処理されているのに対し、競合のPCはGPUの負荷が100％まで上昇。1秒に1～2フレームずつしか処理が終わらず、完了までの時間も倍以上かかっている。NPUの高い処理能力や、AI Engineで付加を分散させる効果を示したデモと言えるだろう。

Snapdragon X Eliteは、処理をNPUとGPUに分散。負荷も余裕があり、スムーズに処理がかかっていった

　こうしたNPUの処理能力を生かし、オンデバイスで動作するAIアシスタントをPC上で動作させるデモも披露した。対応言語は英語だけだったが、筆者の「マウイから東京に帰る方法を教えて」という質問に対し、飛行機で帰る方法を提案している。その文脈を受けて会話を続けることも可能。マウイから東京までの直行便がないことを指摘すると、ホノルルでの乗り継ぎを提案している。

Snapdragon X Elite上で動作するチャットボット。MetaのLlama 2を使用しているという。筆者の質問に対し、それらしい回答を返しているのが分かる

◆Snapdragon SeamlessでOSをまたがった連携が可能に

　また、クアルコムは「Snapdragon Seamless」というソリューションも発表している。これは、PC、スマホ、タブレットなどのホームファクターやAndroid、WindowsといったOSをまたがってデバイス同士が連携する機能。Snapdragon X Eliteも、これに対応する。Snapdragon Summitの展示会場では、Honor社の「MagicRing」という連携機能のプロトコルをSnapdragon Seamlessに置き換え、Snapdragon X Eliteを搭載したリファレンスデザインのPCと連携するデモを披露した。

　このデモでは、PCのマウスでそのままHonorのスマホを操作でき、写真をドラッグ＆ドロップでPC側に移す操作を試すことができた。また、PC側のノートアプリからスマホのカメラを呼び出せる仕掛けもあり、撮影を終えると自動的に写真が添付された。元々、MagicRingはHonorの独自機能だが、Snapdragon Seamlessに対応することで、メーカーを問わずに連携が可能になるという。AndroidとWindowsをまたがっている点も、チップセットベンダーが機能を提供するメリットと言えるだろう。

Snapdragon Seamlessのデモ。PCに接続したマウスで、スマホを操作している

PC側からスマホのカメラを開き、撮影すると、その画像がノートアプリに添付された

Snapdragon 8 Gen 3は生成AIで写真機能が向上

　スマホに搭載されるSnapdragon 8 Gen 3も、NPUの性能を大幅に強化し、AIでできることが増えている。以下は、基調講演でも紹介された「Photo Expansion」という機能。写真を拡張し、本来であればセンサーが捉えていない“周辺”は生成AIで描くというものだ。周辺生成のために数秒の時間はかかったが、完成した画像は実に自然。より複雑な背景の場合、不自然な描画がされる可能性はあるが、最初からこのような構図で撮ったと言ったら信じられてしまいそうなクオリティーだった。

写真の周囲を生成AIで拡張する「Photo Expansion」。Snapdragon 8 Gen 3で実現している

　スマホ上でStable Diffusionを使い、文字から画像を生成することも可能になる。Stable Diffusionへの対応は先代の「Snapdragon 8 Gen 2」のころから進めており、2月にスペイン・バルセロナで開催されたMWC Barcelonaでも披露されていたが、このときは、生成までに1枚15秒前後の時間がかかっていた。これに対し、Snapdragon 8 Gen 3では1秒未満まで高速化している。NPUの性能向上が、スピードに直結した格好だ。

Stable Diffusionで画像を1枚生成するまでの時間は、1秒未満に。写真は、渋谷のスクランブル交差点を描かせたデモ。0.56秒で処理が終わっている

　また、フロントカメラとアウトカメラを使って風景と自分を同時に撮影し、リアルタイムでそれを動画として合成する機能も、AI処理が高速化したSnapdragon 8 Gen 3で実現できるものの1つだ。屋外で試した際には、髪型のせいか“雑コラ”のような仕上がりになってしまったが、精度が上がれば、1人での動画配信をするような際に自然な映像を作り出すことが可能になる。

フロントカメラとアウトカメラで同時に動画を撮影し、それを合成する機能。髪型が複雑だった筆者だとやや雑コラ風の仕上がりになったが、ほかの記者が試した際にはキレイに合成されていた

　ほかにも、動画撮影時の感度を大きく向上させ、暗視カメラのように真っ暗な場所でも映像を映し出せる「Night Vision」も、デモとして公開されていた。ここで紹介したデモは、いずれもSnapdragon X EliteやSnapdragon 8 Gen 3上に実装されている。

　近い機能がスマホやPCに実装されるかどうかは端末の開発を手掛けるメーカー次第にはなるが、少なくとも、実現のための下地は整ったと言えそうだ。

リアルタイムで動画の感度を大きく向上させるNight Vision