窓辺の小石 第171回 世界の中心でAIを叫んだだけのもの

Copilot RuntimeでMicrosoftが変えようとしているのは、ローカル推論可能なニューラルネットワークの規模だ。正確な比較は難しいが、INT8（8 bit整数演算）で40 TOPSクラスの推論性能は、7，8年前のデータセンター向けGPUの性能（たとえば2016年のNVIDIA Tesla P40の47 TPOS）に近い性能だ。GPUボードと同じくPCIeの拡張ボード形式で消費電力は250W。現在では、その性能がバッテリ駆動ノートブックマシンのCPU内蔵のNPUで実現できる。

クラウド推論からローカル推論に切り替えることで、クラウド側にデータを送らずに済むため、推論が終わるまでの時間を短縮でき、セキュリティやプライバシーの問題にも関わらずに済む。また、利用者や利用量の増大に対して、データセンター（クラウド側）規模拡大や通信量の増大に対応しなくてもいい。Windowsは、他のプラットフォームとの差別化が可能な上、Microsoftも設備投資コストを下げることが可能になる。

しかし、MicrosoftのCopilotしか動かないというのでは、それほど有難くもない。Copilot Runtimeは、AIモデルの交換を可能にするONNX（Open Neural Network Exchange。オニキス） Runtimeにも対応する。これによりONNXで公開される、Microsoft以外が作成したモデルをCopilot Runtimeで利用できるようになる。

Copilot+PC関連の発表などを見ていると、IntelやAMDのプロセッサも、同程度のNPUを搭載する方向のようだ。つまり、Copilot+PC以後のPCは、それ以前の従来のPCと差別化される。これまでのCPUの順当な進化とは異なり、Copilot Runtimeが動くPCと動かないPCでは、「できること」に違いが出る。現状、無料版Copilotには回数制限などが課せられている。しかし、ローカル推論であれば、こうした制限がなくなる。

従来のPCでクラウド推論を使い続けることができるかは、クラウド運営者の考え次第。誰もクラウド推論を提供する義務を負っているわけではない。Copilot+PCの普及後には、クラウド推論の制限がよりキツくなる可能性だってある。

NPUの推論性能40 TOPSはかなり高く、CPUのマトリクス命令セットやロングベクトル命令セット、あるいはCPU内蔵GPUの汎用演算性能よりも高い。このため従来プロセッサでは、外付けGPUでも併用しない限り、対応がほとんど不可能である。なので、今後登場するCPUには、高性能なNPUが搭載されることになる。これにより、PCハードウェアはCopilot+PC以前と以後に分断される。