メタ、650億パラメータを持つ大規模言語モデル「LLaMA」を発表

　メタは2月24日（現地時間）、独自の大規模言語モデル（LLM）であるLLaMA（Large Language Model Meta AI）を発表。現在のところ一般公開はされず、学術研究者、政府、市民団体、学術機関に所属する研究者および産業界の研究所にケースバイケースで利用許可が与えられる模様で、すでに応募フォームも用意されている。

単体GPUでも動作する高性能LLM

　近年、大規模言語モデルの開発が進んでいるが、学習と実行に膨大なマシンリソースが必要となるため利用が制限されていることも多く、ビッグテック企業もしくはその傘下にある一握りの研究者をのぞけば、予算の限られた研究での利用は依然として困難な状態にある。

　LLaMAは大規模なインフラにアクセスできない研究者でもLLMを利用した研究ができるよう、小規模ながら性能の高いモデルとして開発されているため、大規模な言語モデル空間において新しいアプローチのテスト、他の研究者の研究の検証、新しいユースケースの探求などに必要な計算能力とリソースが従来のモデルよりも遥かに少なく、コンシューマーモデルの単体GPUでも動作可能だという。

　同モデルは、パラメーター数によって「7B（70億パラメーター）」「13B（130億）」「33B（330億）」「65B（650億）」の4つのタイプが用意される。他のLLMと異なりすべて一般に公開されているデータセットで学習しているため、オープンソースとも親和性が高い。

　論文によればLLaMA-13BはほとんどのベンチマークででGPT-3（175B）を上回り、LLaMA-65BはDeepMindの「Chinchilla70B」やグーグルの「PaLM-540B」に匹敵する性能をもっているという。

トラブル続きだったメタのAI関連ニュース

　メタがAI関連の発表をするのは、初めてではない。2022年8月には、独自チャットボットの「BlenderBot 3」を一般向けに公開するも、公開直後から差別的な発言をしてしまうという騒ぎになった。

　また、2022年11月には独自LLMの「Galactica」を研究者向けに公開したが、多数の研究者に誤りを指摘され、3日後には公開が停止された。

　もちろんLLaMAも他LLMと同様、バイアスや有害なコメントを発する可能性といったリスクを持っているが、特定のタスクのために設計されたモデルと異なり汎用性があるため、LLaMAのコードを共有することで、他の研究者は大規模言語モデルにおけるこれらの問題を、制限または排除するための新しいアプローチを容易にテストすることができるという。

　メタはモデルの偏りや毒性を評価するベンチマークでの評価セットを提供し、モデルの限界を示すとともに、この重要な分野でのさらなる研究を支援していくという。