rinna、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を公開
PR TIMES / 2024年5月7日 13時45分
Llama 3の高いテキスト生成能力を日本語にいち早く導入
rinna株式会社 (本社:東京都渋谷区/代表取締役:宋 珠憲、以下rinna) は、Llama 3 8Bに対して日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、Meta Llama 3 Community Licenseで公開したことを発表します。
[画像1: https://prtimes.jp/i/70041/55/resize/d70041-55-7fbb61bca1f94dd803fc-0.jpg ]
■ rinnaのモデル公開活動
最近のAI技術は、世界中の研究・開発者が切磋琢磨し、成果を共有・公開することで劇的に進化を遂げています。rinnaも、日本語のタスクに適したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開してきました。2021年4月からHugging Faceに公開してきたrinnaのモデルは累計560万ダウンロード・1000 Likesを超え、多くの研究・開発者にご利用いただいています。
このようなAI技術の発展の中で、2024年4月にはMeta社のLlama 3、Microsoft社のPhi-3、Apple社のOpenELMといった、高いテキスト生成能力を持った大規模言語モデルが利用しやすいライセンスで公開されました。しかし、これらのモデルは英語が学習データの大多数を占め、日本語のテキスト生成は可能であるものの、英語と比較すると十分な性能を発揮することができません。
そこでrinnaは、Llama 2 ( https://rinna.co.jp/news/2023/10/20231031.html )やQwen ( https://rinna.co.jp/news/2023/12/20231221.html ) の日本語事前学習で得られた知見を活かし、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を開発しました。AIの急速な発展の中で、英語圏の進展に追随するために、速い段階で今回開発したLlama 3 Youko 8Bを公開しました。このモデル公開が、日本のAI研究・開発の参考になれば幸いです。
・Llama 3 8Bの日本語継続事前学習モデル「Llama 3 Youko 8B (rinna/llama-3-youko-8b)」
https://huggingface.co/rinna/llama-3-youko-8b
■ 「Llama 3 Youko 8B」の特徴
Llama 3 Youko 8Bは、80億パラメータのLlama 3 8Bに対して、日本語と英語の学習データ220億トークンを用いて継続事前学習したモデルです (Built with Meta Llama 3) 。モデル名の由来は、妖怪の「妖狐(ようこ)」からきています。Meta Llama 3 Community License ( https://llama.meta.com/llama3/license/ ) を継承してモデルを公開しており、このライセンスに従いご利用いただけます。
日本語言語モデルの性能を評価するためのベンチマークの一つである Stability-AI/lm-evaluation-harnessの9タスク平均スコアはLlama 3が59.82であるのに対し、Llama 3 Youko 8Bは66.15となっており(図1)、Llama 3の優れた性能を日本語に引き継いでいます。今回公開したLlama 3 Youko 8Bは汎用的なベースモデルであるため、目的とするタスクで利用する場合には、ファインチューニングやモデルマージを行い利用することをお勧めします。
[画像2: https://prtimes.jp/i/70041/55/resize/d70041-55-3eff6170afaf6a8304e0-1.png ]
図1:日本語言語モデルベンチマークStability-AI/lm-evaluation-harnessのスコア
https://rinnakk.github.io/research/benchmarks/lm/index.html
■ 今後の展開
ChatGPTの登場によりテキスト生成の技術は気軽に利用できるようになりましたが、目的のタスクを実現するためのテキスト生成や低コスト化・セキュリティ強化等のためには、利用目的に則したモデルの開発・運用が重要となります。これまでにrinnaでは、LLMを用いた多くの研究・開発・運用により、知見を十分に蓄えており、LLMの導入を検討している法人のお客様に対して、ビジネスや事業目的に適したLLMのカスタマイズソリューション「Tamashiru Custom ( https://rinna.co.jp/products/business/tamashirucustom/ )」を提供しています。本モデルの開発を通して、これまで以上にお客様の目的に適したカスタムLLMを提供することが可能となりました。今後も、AIの社会実装を進めるために研究開発を続け、研究成果の公開や製品への導入を行っていきます。生成AIの活用やカスタムLLMをご希望の方はお問い合わせください。
【rinna株式会社について】
「人とAIの共創世界」(Co-creation world between humans and AI) をビジョンに掲げたAI企業です。テキスト・音声・画像・動画などの生成系AIモデルの研究開発や人工知能によるデータ分析が強みです。研究成果である各種AI技術を活用し、パートナー企業とともにさまざまなビジネス課題を解決するソリューションの開発と提供に取り組んでいます。また、フラグシップAI「りんな」の技術をもとに生み出した、親しみの持てる多様性あふれる「AIキャラクター」を通して人とAIが共に生きる豊かな世界を目指しています。
※文中の社名、商品名などは各社の商標または登録商標である場合があります。
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
NVIDIA NIM がモデル展開に革命をもたらし、世界中の何百万人もの開発者を生成 AI 開発者に変える
PR TIMES / 2024年6月3日 11時15分
-
Mistral AI、コーディング用生成AIモデル「Codestral」リリース
ITmedia NEWS / 2024年5月30日 13時49分
-
カラクリ、世界で初めてAWS TrainiumでMoEモデルを学習した「KARAKURI LM 8x7B Chat v0.1」を公開
PR TIMES / 2024年5月21日 11時15分
-
rinna、AIアバター×LLM×音声合成ソリューション Virtual Human Talk を提供開始
PR TIMES / 2024年5月20日 14時45分
-
ナレッジグラフと大規模言語モデルを融合する研究開発を強化することで、生成AIの信頼性を高め業務活用を加速
PR TIMES / 2024年5月17日 18時15分
ランキング
-
1「有給を使い切って退職」と「買い取って早めに退職」 会社・社員にとってお得なのは?
ITmedia ビジネスオンライン / 2024年6月14日 6時25分
-
2トヨタ、新型クラウンの発売延期 不正問題受け、認証取得見送り
共同通信 / 2024年6月14日 18時2分
-
3「読者の7割ばあちゃん」福岡の新聞ヒットの裏側 75歳以上が働く「うきはの宝」のリアルに迫る
東洋経済オンライン / 2024年6月14日 7時0分
-
4テスラ株主、560億ドルのマスク氏報酬案承認 米企業で史上最高
ロイター / 2024年6月14日 8時30分
-
5内定辞退者を追い詰めるいなば食品社長が「哀願手紙」を京都大学に送っていた!
文春オンライン / 2024年6月13日 17時30分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください