進化が加速した生成AI、競争過熱で"AI版ムーアの法則"に限界説も、2025年はどうなる?

しかし、生成AIの話題性とは裏腹に、日常的に利用している人はまだ少数にとどまっている。企業からの関心は高いが、製品として展開している企業は少なく、多くは試験導入段階だ。こうした状況下で、「生成AIへの巨額投資は本当に価値があるのか」という疑問が浮上している。特にプロダクトマーケットフィットが確立されていない現状では、投資への慎重論も高まっている。

「生成AIは次のプラットフォームシフトになる」と広く信じられているが、その将来は不確かな要素が多い。そこに「スケーリング則の限界説」が突如として浮上した。 1年前の12月、生成AI市場はOpenAIでサム・アルトマン氏の解任騒動が勃発して大騒ぎになったが、今年も「スケーリング限界説」で大揺れの年末となった。
○生成AIモデルの性能向上ペースが鈍化

生成AIのスケーリング則は、「モデルのパラメータ数、学習データ量、計算量を増やすほど、AIの性能が向上する」という経験則である。2020年のOpenAIの論文で示され、GPT-2からGPT-3、そしてGPT-4への驚異的なパフォーマンス向上から、LLMなどの性能向上を説明する概念として広く受け入れられてきた。ところが、現在開発中のAIモデルの性能が予測を下回る現象が報じられ始め、スケーリング則が限界に達しつつあるという議論が活発化している。

性能向上の鈍化には複数の要因が指摘されている。第一に、収穫逓減の法則である。無限にリソースを投入しても、無限の性能向上にはつながらない。ある点を過ぎると、性能向上率は徐々に鈍化していく。つまり、以前ほど大規模化による効果が得られなくなってきている。第二に、データの制約である。トレーニングに利用可能なデータはすでに学習し尽くされている可能性があり、しかも高い性能のためには、より高品質で多様なデータが必要となるが、それらを集めることは困難になっている。第三に、持続可能性の限界である。モデルが大規模化するほど、膨大な計算リソースが必要になるが、GPUも電力も無限に投入し続けられるものではない。そもそもスケーリング則は、半導体集積回路の集積密度が一定期間ごとに倍になるという「ムーアの法則」と同様、実際の法則ではなく、単なる経験的観察に過ぎない。なぜそのような成長が起こるのか、理論的に裏付けられてはいないため、予測の根拠としては不確実性が高い。
○新たなアプローチと推論の強化