ハイエンドスマホ向け新型SoC「Snapdragon 8 Elite」にみるAI半導体の進化

　次のステップとして、モデルが今後（より）大きくなることを理解しておくことが大切だ。モデルが大きくなったとしても、（モバイル）デバイスのフットプリントに収まるようにしなくてはならない。データの型でいえば、当初は浮動小数点型の「FP16」から始まり、「INT8」「固定小数点8」「INT4」と続き、現在では「INT2」の導入が検討され始めている。デバイスに合わせてモデルのサイズをどんどん小さくできることを確認するための動きだ。　そしてハードウェアに投資する段階になると、実際に16bitあった数字が2bitにまで縮小するわけで、当然精度の低下も生じる。そのため、「ダイナミックレンジ」や精度が失われないようにするために、ソフトウェアとツールへの投資も開始する必要が出てくる。

　この他、メモリアクセスの帯域幅が限られているという指摘が入ることが考えられる。この問題を解決するオプションは複数考えられるが、重要なのはユースケースを想定した上で、どのようなモデルを使うと問題を解決できるのか、そしてモデルが想定するKPIを達成するためにハードウェア／ソフトウェア／システムにどのような変更が必要なのかを考えることだ。　Qualcommでは、これらスタック全体を注視した上で、方向性を見極めつつ、各領域でイノベーションを推進している。

　RNNとCNNについては、2018年の拙著で解説している。

　RNNやCNNでは、文章にある単語の前後関係を把握して翻訳を行っていたが、長文になるほど関係性が希薄になり、精度に問題が生じるという課題があった。その点、TransformerはRNNやCNNとは全く異なるアーキテクチャであり、Googleの技術者が執筆した論文で詳しい仕組みが解説されている。

　スカマー氏も言及したこの論文で興味深いのが、主題が「文章翻訳の世界」だったことにある。今日の生成AIにおける驚異的な文章読解と生成能力は「ChatGPT」を始めとした最新のAI利用に大きな影響を与え、RNN時代とは異なるステージの世界を体験させてくれている。

　ユースケースの想定も重要だ。例えば、昨今のNPUやGPUには、演算精度をあえて落とすための仕組みが積極的に搭載されるようになった。AI推論の高速化と、低消費電力化を両立するためだ。

　ただ、スカマー氏は「重要なのは（低精度演算の）適用先だ」とした上で、次のように語っている。