米Metaは7月24日(現地時間)、“オープンソースの”LLMの最新版「Llama 3.1」を発表した。最大モデルは4050億(405B)のパラメータを持ち、米NVIDIAの1万6000個以上の「H100」でトレーニングした。Llama 3の70Bモデルと8Bモデルもアップグレードされる。
4月にリリースした「Llama 3」同様に、ほぼすべての主要クラウドサービス(AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake)で利用可能になる。
15兆トークンを超えるトレーニングデータでトレーニングしたとしているが、データの出所は明示していない。
405Bモデルは、長文テキストの要約、多言語会話エージェント、コーディングアシスタント、将来のAI言語モデルのトレーニングに使用する合成データの作成に有用としている。また、Llama 3.1の出力を使用して他のAIモデルを改善できる。
Metaによると、Llama 3.1は複数のベンチマークで米OpenAIの「GPT-4o」や米Anthropicの「Claude 3.5 Sonnet」より優れているという。
同社のAIアシスタント「Meta AI」(日本でのリリースはまだ)もLlama 3.1ベースになる。これにより、サポート言語が22カ国語に増え(日本語はまだ)、人物写真から画像を生成する機能などが追加される。
マーク・ザッカーバーグCEOは公式ブログで、この高性能なAIモデルを無料で提供する理由について、オープンソースのLinuxが現在、スマートフォンやサーバのベースOSになったのと同様に、オープンソースのAIモデルはプロプライエタリモデルを抜いて進歩していくと語った。「Llama 3.1のリリースは、ほとんどの開発者がオープンソースを使い始める業界の転回点になるだろう」(ザッカーバーグ氏)
Metaによると、Llama 3.1をAWSなどの環境で実行するために掛かるコストは、GPT-4oの約半分という。
ザッカーバーグ氏は「オープンソース」という言葉を使っているが、Open Source Initiativeが定義する「オープンソース」とは異なる。Llama 3.1はMetaのWebサイトやHugging Faceからダウンロードできるが、いずれの場合もダウンロードに際して個人情報の提供と、ライセンスおよび利用規定への同意が必要だ。