Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に
ITmedia NEWS / 2024年4月19日 9時31分
米Metaは4月18日(現地時間)、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス(AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake)で間もなく利用可能になる。
昨年リリースの先代「Llama 2」にも700億パラメータモデルはあったが、Llama 3は4000億パラメータの高密度モデル(こちらはまだ公開されていない)のトレーニングも継続中だとマーク・ザッカーバーグCEOは語った。
トレーニングデータセットは、Llama 2よりも7倍大きく、4倍のコードが含まれている。英語以外での利用に備えるため、データセットの5%以上が非英語データで構成されている。データは「公開されているソースから収集された15兆以上のトークン」でトレーニングしたという。
また、トレーニング後の手順の改善により、誤った拒否率(特に問題のない質問でも問題があると判断して回答を拒否する率)が大幅に減り、モデルの応答の多様性が増加したとしている。さらに、推論、コード生成、命令などの機能が大幅に向上したという。
Metaによると、Llama 3 8B(80億モデル)は、MMLU、ARC、DROP、GPQAの少なくとも9つのベンチマークで、仏MistralのMistral 7Bや米GoogleのGemma 7Bなどの他のオープンモデルを上回るという。70Bモデルは、GoogleのGemini 1.5 ProとAnthropicのClaude 3よりも一部のベンチマークでハイスコアだったという。
Metaは同日、Llama 3で構築したAIアシスタント「Meta AI」をInstagramなど同社のサービスでロールアウトした(日本はまだ)。
また、将来的にはAMD、AWS、Dell、Intel、NVIDIA、Qualcommが提供するハードウェアプラットフォームでも利用可能になる見込みだ。
Metaは「Llama 3を多言語かつマルチモーダルにし、より長いコンテキストをもたせ、推論やコーディングなどの機能全体のパフォーマンスを向上捺せ続けることが目標だ」と語った。
外部リンク
この記事に関連するニュース
-
Microsoft、商用利用可のSLM「Phi-3」リリース スマホで動くモデルも
ITmedia NEWS / 2024年4月24日 8時13分
-
メタ、最新AI「Llama 3」業界トップ級の性能
ASCII.jp / 2024年4月19日 17時45分
-
Meta、次世代オープンLLM「Llama 3」公開、対話AI「Meta AI」のWebサイト開設
マイナビニュース / 2024年4月19日 7時51分
-
Microsoftも出資するAI企業Mistral、オープンソースLLM「Mixtral 8x22B」リリース
ITmedia NEWS / 2024年4月11日 10時45分
-
韓国ネイバー、自社の生成AIは「GPT-4やLLaMAより仕事上手」とアピール
KOREA WAVE / 2024年4月6日 10時0分
ランキング
-
1iPhoneの天気アプリ、文京区で「大雪」とウソつく 気象庁のサイトで“正しい情報”を確認する方法は?
ITmedia Mobile / 2024年5月2日 18時50分
-
2ジョージア大使、松屋にポーランド風ハンバーグ登場で心配「国際情勢に影響しかねない熾烈な戦いになりそう」
iza(イザ!) / 2024年5月1日 13時55分
-
3「そっち使うの?!」「これは天才」 さびだらけの鉄くぎをぐつぐつ煮込むと……? DIYに役立つ“まさかの使い道”が200万再生
ねとらぼ / 2024年5月2日 12時15分
-
4「非常識過ぎ」「論外」 消防局が「救急車は映えスポットではありません!」と喚起 “信じられない実話再現”が話題に
ねとらぼ / 2024年5月2日 19時30分
-
5パイオニアの車載スマートデバイス「NP1」を試して感じたイイところ、ムムムなところ 音声操作前提のドラレコ&カーナビ
ITmedia Mobile / 2024年5月2日 6時5分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください