ELYZA、「GPT-4」を上回る性能の日本語LLMを開発・公開
PR TIMES / 2024年6月26日 16時45分
オープンモデルをベースに開発、70Bモデルは「GPT-4」超えを達成、軽量な8Bモデルは商用利用可能な形式で一般公開へ
大規模言語モデルの社会実装を進める株式会社ELYZA(代表取締役:曽根岡侑也、以下ELYZA)は、ELYZAが提供する大規模言語モデル「ELYZA LLM for JP」シリーズの最新モデルとして、Meta社の「Llama 3」をベースとした700億パラメータの「Llama-3-ELYZA-JP-70B」と80億パラメータの「Llama-3-ELYZA-JP-8B」を開発し、性能を公開しました。
[画像1: https://prtimes.jp/i/47565/46/resize/d47565-46-8c78335a1966ddb1f966-0.png ]
「Llama-3-ELYZA-JP-70B」は、チャット形式のデモサイトを用意しております。
ELYZA LLM for JP|デモ版( https://elyza.ai/lp/elyza-llm-for-jp )
※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。
「Llama-3-ELYZA-JP-8B」は、モデル自体を一般公開いたします。LLAMA 3 COMMUNITY LICENSEに準拠しており、Acceptable Use Policyに従う限りにおいては、研究および商業目的での利用が可能です。
Llama-3-ELYZA-JP( https://huggingface.co/collections/elyza/llama-3-elyza-jp-667a311d51c8952e07778ecc )
なお、開発プロセスや評価のより詳細な状況については、note記事で解説しています。こちらも是非ご覧ください。https://note.com/elyza/n/n360b6084fdbd
ELYZAはこれらのモデルの公開・提供を通じて、国内におけるLLMの社会実装の推進、並びにLLMの研究開発の発展を支援してまいります。
■ニュースサマリ
「ELYZA LLM for JP」シリーズの最新モデル「Llama-3-ELYZA-JP」を公開。
70Bモデルは「GPT-4」「Claude 3 Sonnet」などの商用グローバルモデルを上回る性能を実現。チャット形式のデモも用意。高性能な国内製モデルとして、企業向けに提供を予定。
8Bモデルは「GPT-3.5 turbo」を上回る性能を達成し、オープンなモデルのなかでは最高水準の性能を達成。研究および商業目的での利用が可能な形式で一般公開。
ELYZAはモデル公開や提供を通じ、国内におけるLLMの社会実装の推進、並びにLLMの研究開発の発展を支援していく。
■「Llama-3-ELYZA-JP-70B」の概要
[画像2: https://prtimes.jp/i/47565/46/resize/d47565-46-8c78335a1966ddb1f966-0.png ]
「Llama-3-ELYZA-JP-70B」は、Meta社の「Llama-3-70B」をベースに追加の学習(日本語追加事前学習・指示学習)を実施して開発したモデルです。
本モデルは、元の「Llama-3-70B」から大きく日本語性能が向上しており、日本語の性能を測定するための2つのベンチマーク(※1)を用いた自動評価において、国内モデルの中では最高性能の水準を実現し、「GPT-4」や「Claude 3 Sonnet」、「Gemini 1.5 Flash」(※2)と同等あるいは上回る性能を達成しています。
図1:「Llama-3-ELYZA-JP-70B」の性能比較(vs 主要グローバルモデル)
[画像3: https://prtimes.jp/i/47565/46/resize/d47565-46-956f394e637397e5ec67-0.jpg ]
「Llama-3-ELYZA-JP-70B」は、安全なAPIサービスや共同開発プロジェクトなどを通して、様々な形態で、順次企業向けに提供を開始していきます。また、チャット形式のデモサイトを用意しております。
ELYZA LLM for JP|デモ版( https://elyza.ai/lp/elyza-llm-for-jp )
※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。
■「Llama-3-ELYZA-JP-8B」の概要
[画像4: https://prtimes.jp/i/47565/46/resize/d47565-46-b682368231582d9ca0ff-0.png ]
「Llama-3-ELYZA-JP-8B」は、Meta社の「Llama-3-8B」をベースに事後学習(日本語追加事前学習・指示学習)を実施して開発したモデルです。
「Llama-3-ELYZA-JP-70B」同様、本モデルは、元の「Llama-3-8B」から大きく日本語性能が向上しており、80億パラメータの軽量なモデルでありながら、日本語の性能を測定するための2つのベンチマーク(※1)を用いた自動評価において、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 Pro」(※3)に匹敵する性能を達成しています。
図2:「Llama-3-ELYZA-JP-8B」の性能比較(vs 主要な軽量グローバルモデル)
[画像5: https://prtimes.jp/i/47565/46/resize/d47565-46-e980fbcac7f363d228c1-0.jpg ]
ELYZAは「Llama-3-ELYZA-JP-8B」について、モデルを一般公開いたします。本モデルはLLAMA 3 COMMUNITY LICENSEに準拠し、Acceptable Use Policyに従う限りにおいて、研究および商業目的での利用が可能です。
Llama-3-ELYZA-JP( https://huggingface.co/collections/elyza/llama-3-elyza-jp-667a311d51c8952e07778ecc )
なお、開発プロセスや評価のより詳細な状況については、note記事で解説しています。こちらも是非ご覧ください。https://note.com/elyza/n/n360b6084fdbd
■「ELYZA LLM for JP」シリーズについて
[画像6: https://prtimes.jp/i/47565/46/resize/d47565-46-9ad5464dc72109e503c6-4.png ]
「ELYZA LLM for JP」は、ELYZAが提供する大規模言語モデル群の総称です。グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPI サービスや共同開発プロジェクトなど様々な形態で順次提供を開始していきます。
今回公開した「Llama-3-ELYZA-JP-8B」「Llama-3-ELYZA-JP-70B」は、「ELYZA LLM for JP」シリーズの最新モデルとなります。
ELYZA LLM for JP|デモ版( https://elyza.ai/lp/elyza-llm-for-jp )
※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。
■付記および今後の展望
ELYZAは「ELYZA-japanese-Llama-2-7b」から継続して「Llama」シリーズの日本語化に取り組み、今回の「Llama-3-ELYZA-JP」では「GPT-4」や「Claude 3 Sonnet」などを上回る性能を達成することができました。
さらに「Llama」シリーズでの取り組みに限らず、海外のオープンなモデルの日本語化や、独自のLLMの開発に継続して投資をしていきます。これらのモデルの公開・提供を通じて、国内における LLM の社会実装の推進、並びに LLM の研究開発の発展を支援してまいります。
※1 2つのベンチマーク:
1.ELYZA Tasks 100:ELYZAが提供している日本語ベンチマークで、LLM の指示に従う能力や、ユーザーの役に立つ回答を返す能力を測ることを目的としたもの。
2.Japanese MT-Bench:Stability AI 社が提供している日本語ベンチマークで、LLM の対話性能を評価するためのベンチマーク MT-Bench を日本語訳したもの。
※2 「GPT-4」は「gpt-4(0613)」、「Claude 3 Sonnet」は「anthropic.claude-3-sonnet-20240229-v1:0」、「Gemini 1.5 Flash」は2024年6月末時点の最新安定版を指す。
※3 「GPT-3.5 Turbo」は「GPT-3.5 Turbo(0125)」、「Claude 3 Haiku」は「anthropic.claude-3-haiku-20240307-v1:0」、「Gemini 1.0 Pro」は2024年6月末時点の最新安定版を指す。
■ELYZA会社概要
株式会社ELYZAは、「未踏の領域で、あたりまえを創る」という理念のもと、日本語の大規模言語モデルに焦点を当て、企業との共同研究やクラウドサービスの開発を行なっております。先端技術の研究開発とコンサルティングによって、企業成長に貢献する形で大規模言語モデルの導入実装を推進します。
<会社概要>
[画像7: https://prtimes.jp/i/47565/46/resize/d47565-46-8afba97ea0869f49a3d4-5.png ]
社名 :株式会社ELYZA
所在地 :〒113-0033 東京都文京区本郷3-15-9 SWTビル 6F
代表者 :代表取締役 曽根岡侑也
設立 :2018年9月
URL :https://elyza.ai/
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
会話型AI構築プラットフォームのmiibo、Claude 3.5 Sonnetに対応。主要なLLMに続々対応
PR TIMES / 2024年6月28日 11時17分
-
最新の高性能LLM「Claude 3.5 Sonnet」を「Tachyon 生成AI」に搭載
PR TIMES / 2024年6月28日 10時45分
-
オンプレミス導入も可能な高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開
PR TIMES / 2024年6月26日 16時45分
-
GPT-4oを上回る? Anthropicが「Claude 3.5 Sonnet」をリリース
マイナビニュース / 2024年6月21日 6時17分
-
ロゼッタ「Metareal AI LLM 2」に「Gemini 1.5 Flash」搭載完了 高精度・高速なGoogleの大規模言語モデルを企業実務に実装 メタリアル・グループ
PR TIMES / 2024年5月31日 17時45分
ランキング
-
1ソニー宮城拠点、250人削減=ブルーレイ、生産縮小
時事通信 / 2024年6月29日 15時49分
-
2「クレカタッチ」は交通系ICカードを駆逐するのか 熊本で「全国相互利用」離脱、一方で逆の動きも
東洋経済オンライン / 2024年6月29日 7時30分
-
3「押しボタン式信号」なぜ“押してすぐ青”にならないケースが? 納得の理由があった!
乗りものニュース / 2024年6月29日 16時42分
-
4作文は「理系だと苦手」「文系が得意」という大誤解 算数が得意な子は大概「作文もうまい」納得理由
東洋経済オンライン / 2024年6月29日 10時0分
-
5池袋西武とヨドバシ「売り場折半」の波紋と懐事情 北側にヨドバシ出店、西武の集客力に影響は?
東洋経済オンライン / 2024年6月29日 10時30分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)