メタ、650億パラメータを持つ大規模言語モデル「LLaMA」を発表
ASCII.jp / 2023年2月27日 17時5分
メタは2月24日(現地時間)、独自の大規模言語モデル(LLM)であるLLaMA(Large Language Model Meta AI)を発表。現在のところ一般公開はされず、学術研究者、政府、市民団体、学術機関に所属する研究者および産業界の研究所にケースバイケースで利用許可が与えられる模様で、すでに応募フォームも用意されている。
単体GPUでも動作する高性能LLM
近年、大規模言語モデルの開発が進んでいるが、学習と実行に膨大なマシンリソースが必要となるため利用が制限されていることも多く、ビッグテック企業もしくはその傘下にある一握りの研究者をのぞけば、予算の限られた研究での利用は依然として困難な状態にある。
LLaMAは大規模なインフラにアクセスできない研究者でもLLMを利用した研究ができるよう、小規模ながら性能の高いモデルとして開発されているため、大規模な言語モデル空間において新しいアプローチのテスト、他の研究者の研究の検証、新しいユースケースの探求などに必要な計算能力とリソースが従来のモデルよりも遥かに少なく、コンシューマーモデルの単体GPUでも動作可能だという。
同モデルは、パラメーター数によって「7B(70億パラメーター)」「13B(130億)」「33B(330億)」「65B(650億)」の4つのタイプが用意される。他のLLMと異なりすべて一般に公開されているデータセットで学習しているため、オープンソースとも親和性が高い。
論文によればLLaMA-13BはほとんどのベンチマークででGPT-3(175B)を上回り、LLaMA-65BはDeepMindの「Chinchilla70B」やグーグルの「PaLM-540B」に匹敵する性能をもっているという。
トラブル続きだったメタのAI関連ニュース
メタがAI関連の発表をするのは、初めてではない。2022年8月には、独自チャットボットの「BlenderBot 3」を一般向けに公開するも、公開直後から差別的な発言をしてしまうという騒ぎになった。
また、2022年11月には独自LLMの「Galactica」を研究者向けに公開したが、多数の研究者に誤りを指摘され、3日後には公開が停止された。
もちろんLLaMAも他LLMと同様、バイアスや有害なコメントを発する可能性といったリスクを持っているが、特定のタスクのために設計されたモデルと異なり汎用性があるため、LLaMAのコードを共有することで、他の研究者は大規模言語モデルにおけるこれらの問題を、制限または排除するための新しいアプローチを容易にテストすることができるという。
メタはモデルの偏りや毒性を評価するベンチマークでの評価セットを提供し、モデルの限界を示すとともに、この重要な分野でのさらなる研究を支援していくという。
この記事に関連するニュース
-
Google、オープンな生成AIモデル「Gemma 2」リリース 270億パラメータモデル追加
ITmedia NEWS / 2024年6月28日 9時33分
-
Google、オープンLLM「Gemma 2」公開、2倍以上のサイズのモデルに匹敵する効率性
マイナビニュース / 2024年6月28日 9時22分
-
ELYZA、「GPT-4」を上回る性能の日本語LLMを開発・公開
PR TIMES / 2024年6月26日 16時45分
-
オンプレミス導入も可能な高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開
PR TIMES / 2024年6月26日 16時45分
-
【Gaudiシリーズを解説】生成AIに対し、広がる選択肢―Fugaku-LLMも快適に動作
マイナビニュース / 2024年6月18日 11時0分
ランキング
-
1「鬼すぎない?」 大正製薬の広告が“性差別”と物議…… 男女の“非対称性”に「昭和かな?」「時代にあってない」
ねとらぼ / 2024年7月4日 18時32分
-
2「知らんかった」 Googleで“あるワード”を検索すると……? あまりに“癒やし”な「隠し機能」に5万いいね「延々とやっちゃう」
ねとらぼ / 2024年7月4日 20時45分
-
3「Thank you Buddies!」 櫻坂46、最新曲「自業自得」ライブ映像を公開 「これだよこれ!」「いきなり凄いものが…」反響続出
ねとらぼ / 2024年7月4日 20時53分
-
4「ドコモ光 1ギガ」旧プランを2025年6月に提供終了、解約金の安い新プランへ自動移行
マイナビニュース / 2024年7月4日 19時15分
-
5楽天ペイと楽天ポイントのキャンペーンまとめ【7月4日最新版】 楽天ペイアプリでポイント最大10倍もらえる
ITmedia Mobile / 2024年7月4日 10時5分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)