マーク・ザッカーバーグ氏インタビュー「なぜAIを無料公開するのか」

(24:57)
興味深いのは、70Bのモデルを15兆トークンで学習させたところ、精度が上がり続けたということ（湯川解説：トークンとはデータ量を示す単位で、英語の場合１つの単語が約１トークン）。それだけ学習させれば、さすがにそれ以上学習させても性能の向上は見込めないと思っていたのだが、それでも学習させればさせるほど性能は向上した。性能向上が鈍化する兆しがなかった。もっと70Bの学習を続けたかったんだけど、さすがにLlama4の学習にも取り組みたかったので、仕方なく70Bの学習はいったん打ち切った。（湯川解説：中小規模のモデルでも学習データを増やすことで性能が向上し続ける可能性があるということ。Llama３の中規模モデルはLlama2の大規模モデルと同等の性能が出ると言われるが、今後学習データを増やすことで、より高性能な中小モデルが登場する可能性がある）

【AIの指数関数的な進化はいつまで続くのか】

(26:20)
誰にも分からない。多分今100億ドル、1000億ドルを投資してもスケール則（AIモデルの規模を大きくすればするほど、性能が向上するというのではないかという仮説）が十分続くのではないかと思っている。でもその先は分からない。この先もこのペースで指数関数的にAIが進化するのかどうか、誰にも分からないと思う。

ただ歴史的に見ても技術はいつか何らかの壁にぶつかる。今はすごいペースで技術が進化しているので、少々の壁なら超えることができているけれど、それがいつまで続くのか誰にも分からない。

過去１、２年はGPU不足が壁になった。その壁もかなり解消されたので、さらに多くの資本が投入されようとしている。それがどこまでいくのか。でも投資対効果が行き着くところまで行くまでに、エネルギー不足の壁にぶつかると思う。電力供給は政府によって規制されている。発電所や送電施設の建設など、政府によって多くが規制されているので、実現するまでに長い時間が必要になる。

今のデータセンターは50メガワットから150メガワット規模。まだだれも１ギガワットのデータセンターを構築していない。いずれだれかが建設するだろうけど、何年も先になるだろう。

【なぜオープンソースにするのか】

(1:06:01)
すべてのソフトをオープンソースで公開しているわけではない。Instagramのコードはオープンにしていない。オープンソースにしているのは、もっと基本的なインフラ部分のコード。サーバーや、ネットワークスイッチ、データセンターなどのデザインをオープンソースにしている。そのおかげでわれわれのサーバーデザインが業界標準になった。そのデザインをベースに周辺パーツも安価で大量生産されるようになり、多くの人がその恩恵を受けたし、われわれにとっても何十億ドルものコスト削減につながった。