ハイエンドスマホ向け新型SoC「Snapdragon 8 Elite」にみるAI半導体の進化

●鍵を握る「NPU」のチューニング

　Microsoftは5月に掲げた「Copilot+ PC（新しいAI PC）」の動作要件の1つに、「CPU／SoCが統合するNPUの性能が40TOPS以上」というものがある。

　NPUは推論ベースのAIが用いる演算に特化したプロセッサのことで、NPUは脳のニューラルネットワークになぞらえた「Neural Processing Unit」の略称だ。NPUはAIのオンデバイス実行に重要であると同時に、NPUがAIのオンデバイス実行の全てではないことには留意したい。

　繰り返しだが、NPUは推論演算に特化している。ゆえに当該の演算を高速かつ省電力で実行可能だ。同様の演算はGPU（Graphics Processing Unit）」でも行えるが、NPUの方が効率面でメリットがある。LLMを始めとして、オンデバイス動作を前提とする生成AIは「学習」は行わず、推論のみを行うことが多い。

　ゆえにNPUの性能が、ほぼイコールでCPU／SoCのAI性能ということになりやすい。

　ただし、NPUの性能指標とされている「TOPS」、つまり1秒当たりの命令処理回数が必ずしも実際の性能を示すものとは限らない点にも注意が必要だ。

　例えば「Aの推論を実行するのに、○TOPSの性能が必要」というただし書きあると、そのNPUがどの程度の推論を実行する“キャパシティ”を備えるか、おおよその目安にはなる。しかし、「Aの推論」を「○TOPS」の処理性能を持つ“異なる”NPUで処理した場合、その結果（パフォーマンス）がイコールになるとは限らないのだ。

　というのも、NPUによって得意とする（最適化している）演算方法や、演算結果をメモリに書き込む速度が異なるからだ。TOPSの数字はマーケティング的には分かりやすく、ユーザーにとっても参考になるものの、数値だけでNPUの“強み”と“弱み”を知ることは難しい。

　そういう観点では、「MLCommons」が開発した機械学習ベンチマークテスト「MLPerfシリーズ」は、推論ベースのAIにおける客観的なパフォーマンスを知る手段としてデファクトスタンダードとなっている。

　このあたりの話題は、Qualcommが2月に公表したブログエントリーやホワイトペーパーで詳細に解説されている。

　QualcommのSoC「Snapdragonシリーズ」に搭載されているNPU「Hexagon（ヘキサゴン）」は、元々は信号変換処理を担うDSP（Digital Signal Processor）として搭載されていた。その出自から、かつてのHexagonは大量の積和（MAC：Multiply Accumulate）演算に特化していた。