Llama 3の日本語継続事前学習モデル「Llama 3 Youko」シリーズを公開
PR TIMES / 2024年7月26日 16時40分
Llama 3 70Bの日本語継続事前学習と指示学習により使いやすく高性能なモデルを実現
[画像1: https://prcdn.freetls.fastly.net/release_image/70041/58/70041-58-402a11321edeccd5c546cc6dc5881954-1920x1080.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
rinna株式会社 (本社:東京都渋谷区/代表取締役:宋 珠憲、以下rinna) は、Llama 3に対して日本語データで追加学習と指示学習を行った「Llama 3 Youko」シリーズを開発し、Meta Llama 3 Community Licenseで公開したことを発表します。
■ rinnaのモデル公開活動
最近のAI技術は、世界中の研究・開発者が切磋琢磨し、成果を共有・公開することで劇的に進化を遂げています。Microsoft社、Google社、Apple社、Meta社、NVIDIA社などのビッグ・テックも高いテキスト生成能力を持った大規模言語モデル (Large Language Model; LLM) を、利用しやすいライセンスで盛んに公開しています。しかし、これらのモデルは英語が学習データの大多数を占め、日本語のテキスト生成は可能であるものの、英語と比較すると十分な性能を発揮できない場合もあります。
rinnaは、日本のAI技術の貢献のために、日本語のタスクに適したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開してきました。2021年4月からHugging Faceに公開してきたrinnaのモデルは累計600万ダウンロード・1100 Likesを超え、多くの研究・開発者にご利用いただいています。2024年5月にはMeta社のLlama 3 8Bに対して日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、公開 ( https://rinna.co.jp/news/2024/05/20240507.html ) しました。
そしてこの度、より使いやすく高性能な日本語LLMを目指して、Llama 3 Youko 8Bに指示を遂行するように追加学習(指示学習)した「Llama 3 Youko 8B Instruct」と、Llama 8 70Bに対して日本語継続事前学習と指示学習した「Llama 3 Youko 70B」「Llama 3 Youko 70B Instruct」を開発し、公開しました。これらのモデル公開が、日本のAI研究・開発の参考になれば幸いです。
・Llama 3の日本語継続事前学習モデル「Llama 3 Youko」シリーズ
https://huggingface.co/collections/rinna/youko-669d18da5bd3f749a3e7ff95
■ 「Llama 3 Youko」シリーズの特徴
Llama 3 Youkoシリーズは、Llama 3 8Bと70Bに対して、日本語と英語の学習データで継続事前学習と指示学習をしたモデルです (Built with Meta Llama 3) 。また、各モデルを使用メモリ削減のために16bitから4bitに量子化したモデルも公開しています。モデル名の由来は、妖怪の「妖狐」からきています。Meta Llama 3 Community License ( https://llama.meta.com/llama3/license/ ) を継承しており、このライセンスに従いご利用いただけます。
Llama 3 Youko 8B Instructは、Llama 3 Youko 8Bに対してSFT・Chat Vector・DPOという手法を用いて指示学習したモデルです。こちらのモデルは、Hugging FaceのSpaces ( https://huggingface.co/spaces/rinna/llama-3-youko-8b-instruct ) で気軽にお試しいただけます。Llama 3 Youko 70Bは、Llama 3 70Bに対して日本語と英語の学習データ50億トークンを用いて継続事前学習したモデルです。またLlama 3 Youko 70B Instructは、Llama 3 Youko 70BにSFTという手法で指示学習したモデルです。
Llama 3に関連するモデルの日本語LLMベンチマークJapanese LM Evaluation HarnessとJapanese MT-Benchの結果(図1・図2)より、Llama 3 Youkoシリーズは高い性能であることが示されました。
[画像2: https://prcdn.freetls.fastly.net/release_image/70041/58/70041-58-e9809a0790878a2075a9bd20ecb836d2-2290x1041.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
図1:Llama 3関連モデルのJapanese LM Evaluation Harnessスコア
[画像3: https://prcdn.freetls.fastly.net/release_image/70041/58/70041-58-dd46c2fd6f10967675567b6e71e3107f-2237x587.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
図2:Llama 3関連モデルのJapanese MT-Benchスコア
■ 今後の展開
ChatGPTの登場によりテキスト生成の技術は気軽に利用できるようになりましたが、目的のタスクを実現するためのテキスト生成や低コスト化・セキュリティ強化等のためには、利用目的に則したモデルの開発・運用が重要となります。これまでにrinnaでは、LLMを用いた多くの研究・開発・運用により、知見を十分に蓄えており、LLMの導入を検討している法人のお客様に対して、ビジネスや事業目的に適したLLMのカスタマイズソリューション「Tamashiru Custom ( https://rinna.co.jp/products/business/tamashirucustom/ )」を提供しています。本モデルの開発を通して、これまで以上にお客様の目的に適したカスタムLLMを提供することが可能となりました。今後も、AIの社会実装を進めるために研究開発を続け、研究成果の公開や製品への導入を行っていきます。生成AIの活用やカスタムLLMをご希望の方はお問い合わせください。
【rinna株式会社について】
「人とAIの共創世界」(Co-creation world between humans and AI) をビジョンに掲げたAI企業です。テキスト・音声・画像・動画などの生成系AIモデルの研究開発や人工知能によるデータ分析が強みです。研究成果である各種AI技術を活用し、パートナー企業とともにさまざまなビジネス課題を解決するソリューションの開発と提供に取り組んでいます。また、フラグシップAI「りんな」の技術をもとに生み出した、親しみの持てる多様性あふれる「AIキャラクター」を通して人とAIが共に生きる豊かな世界を目指しています。
※文中の社名、商品名などは各社の商標または登録商標である場合があります。
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
爆速の生成AIを手軽に体験、SambaNovaが無料で使えるFast APIの提供を開始
マイナビニュース / 2024年7月25日 6時56分
-
Llama 3.1発表、4050億パラメータの最先端モデル公開「オープンなAIを主流に」
マイナビニュース / 2024年7月24日 7時22分
-
Meta、無料で商用可の「Llama 3.1」リリース 「世界最大かつ最も高性能なオープンモデル」
ITmedia NEWS / 2024年7月24日 7時6分
-
サイバーエージェント、225億パラメータの日本語LLMを公開
マイナビニュース / 2024年7月9日 13時57分
-
AI生成文章の検出モデルを開発 GPTシリーズで生成された日本語の文章を高精度に検出
PR TIMES / 2024年7月2日 10時0分
ランキング
-
1〈最低賃金1054円に〉過去最大増なのにパート、アルバイトから大ブーイングのワケ「扶養控除ライン据え置きはオフサイドトラップ」「政治家の報酬だけは世界トップクラスだけど、賃金はオーストラリアの半分」
集英社オンライン / 2024年7月26日 18時56分
-
2G20、「デジタル課税」早期実現への決意示す…3会合ぶりに共同声明採択し閉幕
読売新聞 / 2024年7月27日 15時0分
-
3「子どもが野菜を食べてくれない」悩みへの回答 科学的に正しい「野菜嫌いをなくす5つの方法」
東洋経済オンライン / 2024年7月27日 15時0分
-
4「半端な対策では命にかかわる」 山善の”プレミアム水冷服”がたちまち完売、現場のニーズとどう合致した?
ITmedia ビジネスオンライン / 2024年7月27日 6時20分
-
5NY市場サマリー(26日)円急上昇一服、株価上昇 利回り低下
ロイター / 2024年7月27日 6時48分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)