AppleのAI戦略発表はなぜ他社より大幅に遅れたのか 「Apple Intelligence」の真価を読み解く

●2024年秋のターゲットは妥当　オンデバイスで実用的な機能をこなすことの難しさも

　一方LLMの世界では、より小さなサイズと計算力で効果的なAI処理を可能にする技術として、bfloat16、4bit量子化、BitNetなどが登場している。

　こうした技術の進展を考えると、2024年秋というターゲットは、オンデバイスLLMとしては妥当な線だったと考えられる。

　ユーザーが欲しがる処理全てをオンデバイスだけで実行するのは、これから登場してくるであろう技術を総動員してもかなわない。そこでAppleが考えたのは、オンデバイスLLMと、プライベートクラウドであるPCCの2段式アーキテクチャだった。

　オンデバイスは3B（30億パラメータ以下）の小型LLMで処理し、それよりも処理能力を必要とするタスクはPCCに送り出す。PCCはApple Siliconベースのサーバシステムが集積された独自のデータセンターで処理する仕組みで、そのためのセキュアでプライバシーを確保したOSも開発している。

　このために1年以上かけたのなら仕方ないし、データセンターや専用Apple Siliconサーバプロセッサの開発を含めるとなると、さらに数年の開発期間が必要だったろう。

　それらをこなした上での今回の発表だったのだ。

　しかし、それだけでは十分ではない。高速なSoCとオンデバイスLLMが可能になったことをうたっても、結局ローカル処理する機能はごく少数というCopilot+ PCを見れば分かるように、オンデバイスで実用的な機能を使えるようにするには困難が伴う。

　Appleが採用したのは、1パラメータあたり16bitのモデルを1パラメータあたり平均4bit未満に圧縮する量子化技術と、量子化は一般的な手法だが、Adaptersは独特のものだ。

　テキストの概要作成、校正、メールの返信などの用途別にファインチューニングを施した学習モデルをFoundationモデルの上にダイナミックにロードしたりスワップしたりする手法がAdapters。タスクによって、使用するモデルを動的に換えていくため、少ないメモリでも動作する。

　ただ、そのためには学習モデルの最適化が必要で、ここに時間と手間がかかる。だからAppleはAI技術者を総動員する必要があり、そのためにApple Carプロジェクトを犠牲にしたのではないかとも推測できる。