Meta、次世代オープンLLM「Llama 3」公開、対話AI「Meta AI」のWebサイト開設
マイナビニュース / 2024年4月19日 7時51分
米Metaは4月18日、オープン大規模言語モデル(LLM)「Llama」の新世代モデル「Llama 3」を発表、最初の2つのモデル(8B:80億パラメータ、70B:700億パラメータ)をリリースした。現在トレーニング中の最大のモデルは4,000億(400B)以上のパラメータを持つ。同社はAIアシスタント「Meta AI」にLlama 3を統合し、新たにMeta AIの独立したWebサイトを開設した。
Llama 3では、128Kトークンの語彙を持つトークナイザを採用し、より効率的に言語をエンコードすることで、モデルの性能を大幅に向上させた。8Bと70Bの両方のモデルでGrouped Query Attention(GQA)を採用し、推論効率を向上させている。
事前学習データは、一般公開されているソースから収集された15兆以上のトークンであり、トレーニングデータセットはLlama 2で使用されたものより7倍大きく、4倍のコードを含む。より高品質なデータで学習されるように、ヒューリスティック・フィルタ、NSFWフィルタ、テキスト分類器などを含むデータフィルタリングパイプラインを開発。テキスト分類器のトレーニングデータの生成では、データ品質の識別に優れたLlama 2を活用している。
また、SFT(Supervised Fine-Tuning:監視付きファインチューニング)、拒否サンプリング、PPO(Proximal Policy Optimization:近接ポリシー最適化)、DPO(Direct Policy Optimization:直接ポリシー最適化)を組み合わせてポスト・トレーニングを改善したことで、偽の拒否率が大きく減少し、アライメントが改善され、モデル応答の多様性が向上している。以下は、Metaが公開したLLMの性能比較によく用いられるベンチマークの結果である。推論、コード生成、命令追従などが大きく向上している。
Llama 3の開発では、現実世界のシナリオでのパフォーマンス最適化を図り、人によるより高品質な評価セットを開発した。アドバイス、質問応答、ブレインストーミング、分類、要約、抽出、コーディング、創造的なライティング、リライティング、推論など、12の主要なユースケースをカバーする約1,800のプロンプトを含む。下のグラフは、Llama 3(70B)、Mistral Medium、GPT-3.5、Llama 2の応答に対する人の評価を集計し、Llama 3(70B)と比較したものである。
今後については、マルチモーダリティ、多言語での会話能力、より長いコンテキスト・ウィンドウ、より強力な対話力を備えた複数のモデルのリリースを予定している。現在トレーニング中の400B+モデルは初期チェックポイントで以下のようなベンチマーク結果を示している。
Meta AIは、Facebook、Instagram、WhatsApp、Messengerに搭載されており、また新しいWebサイトにおいて、ChatGPTやGeminiのWeb版のようにAIチャットボットと対話できるようになった。
(Yoichi Yamashita)
外部リンク
この記事に関連するニュース
-
マーク・ザッカーバーグ氏インタビュー「なぜAIを無料公開するのか」
ニューズウィーク日本版 / 2024年5月14日 16時0分
-
rinna、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を公開
PR TIMES / 2024年5月7日 13時45分
-
AWS、安全な生成 AI アプリケーションを構築、拡張する基盤として数万のお客様が活用する Amazon Bedrock の新機能を発表
PR TIMES / 2024年4月24日 17時45分
-
Microsoft、商用利用可のSLM「Phi-3」リリース スマホで動くモデルも
ITmedia NEWS / 2024年4月24日 8時13分
-
メタ、最新AI「Llama 3」業界トップ級の性能
ASCII.jp / 2024年4月19日 17時45分
ランキング
-
1「現場を知らなすぎ」 政府広報が投稿「令和の給食」写真に批判続出…… 識者が指摘した“学校給食の問題点”
ねとらぼ / 2024年5月18日 7時30分
-
2滅びかけた格ゲーは、なぜ『ストリートファイター6』で蘇ったのか?とにかく話題が尽きなかった濃密な一年を振り返る
インサイド / 2024年5月18日 17時0分
-
3『HUNTER×HUNTER』の冨樫義博がXで怒り 立て続く“誤配”で「三度目です」「次はもう知らん」
ねとらぼ / 2024年5月18日 16時57分
-
4FC版『ドラクエ』のローラ姫はナゼさらわれた? 「めとるため」とはいえないワケ
マグミクス / 2024年5月18日 21時25分
-
5“同担是非”って? DAIGOさんが生み出した新たなオタク用語(?)に「広めたいww」「ワードセンス最高」
ねとらぼ / 2024年5月18日 18時55分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください