東大発スタートアップELYZA、商用利用できる70億パラメータの日本語LLM公開。実際にデモを使ってみた
Techable / 2023年8月31日 16時0分
昨今、日本では、複数の企業が独自に日本語のLLM(大規模言語モデル)の開発に取り組んでいます。
しかし、2兆トークンものテキストで学習されたMeta Platforms, Inc.(以下、Meta)のLLM「Llama 2」などと比較すると、まだまだ小規模なものに留まっているのが現状です。
その背景には、計算リソースの不足や、日本語で利用できるテキストデータの少なさなどがあります。また、一からLLMの事前学習を行うには膨大なコストがかかるため、研究を行えているのは一部の大企業や研究機関のみとなっています。
そんななか東京大学松尾研究室発・AIスタートアップの株式会社ELYZA(以下、ELYZA)は、「Llama 2」に対し日本語による追加事前学習を行い、商用利用可能な70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を開発し、一般公開しました。
英語ベースの大規模言語モデル「Llama 2」「Llama 2」は、2023年7月18日にMetaが公開した英語ベースの大規模言語モデル。先に公開された「LLaMA」が研究用途に限定されていたのに対し、「Llama 2」は商用利用が可能です。
公開されているモデルとしては非常に性能が高いことから、OpenAIの「GPT-4」やGoogleの「PaLM」などのクローズドなLLMと競合する形で、英語圏ではすでにオープンモデルのデファクトスタンダードとなりつつあります。
サイズは70億、130億、700億の3種類。いずれのモデルも教師ありファインチューニング(Supervised Fine-Tuning、SFT)および、人間からのフィードバックに基づいた強化学習(Reinforcement Learning from Human Feedback、RLHF)を施したchatモデルを同時に公開しています。
商用利用可能な70億パラメータの日本語LLM今回一般公開された「ELYZA-japanese-Llama-2-7b」は、「Llama 2」の最も小さいサイズである70億パラメータのモデルをベースに、約180億トークンの日本語テキストで追加事前学習を行ったモデルです。
ELYZA独自の事後学習を施した「ELYZA-japanese-Llama-2-7b-instruct」や、日本語の語彙追加により高速化を行った「ELYZA-japanese-Llama-2-7b-fast-instruct」など、複数のバリエーションを用意しています。
同モデルは学習にOSCARやWikipediaなどに含まれる日本語テキストデータを活用。LLAMA 2 Community Licenseというライセンスに準拠しており、Acceptable Use Policyに従う限りは、研究および商業目的での利用が可能です。
ELYZA独自作成の性能評価の結果、1750億パラメータを有する「GPT-3.5(text-davinci-003)」に匹敵するスコアが算出されており、日本語の公開モデルのなかでは高い性能を誇っています。
実際にデモを使用してみた実際に「ELYZA-japanese-Llama-2-7b」(ELYZA-japanese-Llama-2-7b-instruct)のデモを利用してみた様子を紹介します。
「会社でAIを使うメリットとデメリットを教えて」と入力したところ、数秒後にAIの導入による会社でのメリットとデメリットに関する情報が表示されました。
続いて「AIの可能性について教えて」とやや抽象的な質問したところ、AIの可能性に10項目の回答が返ってきました。不自然な表現や重複箇所がなく、自然な文章が生成されていることがうかがえます。
今回の「ELYZA-japanese-Llama-2-7b」は「Llama 2」の最も小さいサイズである70億パラメータのモデルをベースに開発したものですが、ELYZAはすでに130億、700億パラメータのモデルの開発にも着手しているとのことです。今後、よりパワーアップしたモデルの公開に期待したいところです。
参考元:https://prtimes.jp/main/html/rd/p/000000034.000047565.html
「ELYZA-japanese-Llama-2-7b-instruct」デモ:https://huggingface.co/spaces/elyza/ELYZA-japanese-Llama-2-7b-instruct-demo
「ELYZA-japanese-Llama-2-7b-fast-instruct」デモ:https://huggingface.co/spaces/elyza/ELYZA-japanese-Llama-2-7b-fast-instruct-demo
(文・Haruka Isobe)
外部リンク
この記事に関連するニュース
-
Axcxept社、9B小型AIモデルで日本語処理に革新: - EZO-リリース/セキュアなローカルLLM構築サービスで企業のAI活用を加速
PR TIMES / 2024年7月10日 12時15分
-
サイバーエージェント、225億パラメータの日本語LLMを公開
マイナビニュース / 2024年7月9日 13時57分
-
ELYZA、「GPT-4」を上回る性能の日本語LLMを開発・公開
PR TIMES / 2024年6月26日 16時45分
-
オンプレミス導入も可能な高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開
PR TIMES / 2024年6月26日 16時45分
-
国産LLM初、AIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」を一般公開
PR TIMES / 2024年6月20日 11時15分
ランキング
-
1妻の悲鳴を聞いて駆けつけたら…… 充電中のモバイルバッテリーが発火、真っ黒に焼け焦げたバッテリーに戦慄
ねとらぼ / 2024年7月16日 7時15分
-
2スマホの容量パンパン!じゃあ直付けSDカードリーダーで容量増えやしちゃえ
&GP / 2024年7月18日 6時30分
-
3ナイキならぬニャイキ ロゴマーク「スウッシュ」を全身で表現する猫ちゃん
おたくま経済新聞 / 2024年7月18日 7時0分
-
4「笑み男」の正体はあの名作ADV!35年ぶりのシリーズ完全新作『ファミコン探偵倶楽部 笑み男』8月29日発売決定
インサイド / 2024年7月17日 22時41分
-
5「SNSの英知」 そうめんの巨大空き箱の“天才的な使い道”があまりにも予想外で話題に 「まねしよう」
ねとらぼ / 2024年7月18日 7時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)