Meta、次世代オープンLLM「Llama 3」公開、対話AI「Meta AI」のWebサイト開設
マイナビニュース / 2024年4月19日 7時51分
米Metaは4月18日、オープン大規模言語モデル(LLM)「Llama」の新世代モデル「Llama 3」を発表、最初の2つのモデル(8B:80億パラメータ、70B:700億パラメータ)をリリースした。現在トレーニング中の最大のモデルは4,000億(400B)以上のパラメータを持つ。同社はAIアシスタント「Meta AI」にLlama 3を統合し、新たにMeta AIの独立したWebサイトを開設した。
Llama 3では、128Kトークンの語彙を持つトークナイザを採用し、より効率的に言語をエンコードすることで、モデルの性能を大幅に向上させた。8Bと70Bの両方のモデルでGrouped Query Attention(GQA)を採用し、推論効率を向上させている。
事前学習データは、一般公開されているソースから収集された15兆以上のトークンであり、トレーニングデータセットはLlama 2で使用されたものより7倍大きく、4倍のコードを含む。より高品質なデータで学習されるように、ヒューリスティック・フィルタ、NSFWフィルタ、テキスト分類器などを含むデータフィルタリングパイプラインを開発。テキスト分類器のトレーニングデータの生成では、データ品質の識別に優れたLlama 2を活用している。
また、SFT(Supervised Fine-Tuning:監視付きファインチューニング)、拒否サンプリング、PPO(Proximal Policy Optimization:近接ポリシー最適化)、DPO(Direct Policy Optimization:直接ポリシー最適化)を組み合わせてポスト・トレーニングを改善したことで、偽の拒否率が大きく減少し、アライメントが改善され、モデル応答の多様性が向上している。以下は、Metaが公開したLLMの性能比較によく用いられるベンチマークの結果である。推論、コード生成、命令追従などが大きく向上している。
Llama 3の開発では、現実世界のシナリオでのパフォーマンス最適化を図り、人によるより高品質な評価セットを開発した。アドバイス、質問応答、ブレインストーミング、分類、要約、抽出、コーディング、創造的なライティング、リライティング、推論など、12の主要なユースケースをカバーする約1,800のプロンプトを含む。下のグラフは、Llama 3(70B)、Mistral Medium、GPT-3.5、Llama 2の応答に対する人の評価を集計し、Llama 3(70B)と比較したものである。
今後については、マルチモーダリティ、多言語での会話能力、より長いコンテキスト・ウィンドウ、より強力な対話力を備えた複数のモデルのリリースを予定している。現在トレーニング中の400B+モデルは初期チェックポイントで以下のようなベンチマーク結果を示している。
Meta AIは、Facebook、Instagram、WhatsApp、Messengerに搭載されており、また新しいWebサイトにおいて、ChatGPTやGeminiのWeb版のようにAIチャットボットと対話できるようになった。
(Yoichi Yamashita)
外部リンク
この記事に関連するニュース
-
AWS、安全な生成 AI アプリケーションを構築、拡張する基盤として数万のお客様が活用する Amazon Bedrock の新機能を発表
PR TIMES / 2024年4月24日 17時45分
-
Microsoft、商用利用可のSLM「Phi-3」リリース スマホで動くモデルも
ITmedia NEWS / 2024年4月24日 8時13分
-
メタ、最新AI「Llama 3」業界トップ級の性能
ASCII.jp / 2024年4月19日 17時45分
-
Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に
ITmedia NEWS / 2024年4月19日 9時31分
-
Microsoftも出資するAI企業Mistral、オープンソースLLM「Mixtral 8x22B」リリース
ITmedia NEWS / 2024年4月11日 10時45分
ランキング
-
1iPhoneの天気アプリ、文京区で「大雪」とウソつく 気象庁のサイトで“正しい情報”を確認する方法は?
ITmedia Mobile / 2024年5月2日 18時50分
-
2ジョージア大使、松屋にポーランド風ハンバーグ登場で心配「国際情勢に影響しかねない熾烈な戦いになりそう」
iza(イザ!) / 2024年5月1日 13時55分
-
3「そっち使うの?!」「これは天才」 さびだらけの鉄くぎをぐつぐつ煮込むと……? DIYに役立つ“まさかの使い道”が200万再生
ねとらぼ / 2024年5月2日 12時15分
-
4パイオニアの車載スマートデバイス「NP1」を試して感じたイイところ、ムムムなところ 音声操作前提のドラレコ&カーナビ
ITmedia Mobile / 2024年5月2日 6時5分
-
5「非常識過ぎ」「論外」 消防局が「救急車は映えスポットではありません!」と喚起 “信じられない実話再現”が話題に
ねとらぼ / 2024年5月2日 19時30分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください