rinna、Llama 3に日本語継続事前学習を行った「Llama 3 Youko 8B」公開
マイナビニュース / 2024年5月7日 14時16分
rinnaは5月7日、80憶パラメータを持つ「Llama 3 8B」に対して日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、Meta Llama 3 Community Licenseで公開したことを発表した。ちなみに、モデル名の由来は妖怪の「妖狐(ようこ)」とのことだ。
○Llama 3 Youko 8Bの特徴
Llama 3 Youko 8Bは80億パラメータのLlama 3 8Bに対して、日本語と英語の学習データ220億トークンを用いて継続事前学習したモデル(Built with Meta Llama 3)。Meta Llama 3 Community Licenseを継承してモデルを公開しているため、ライセンスに従い利用可能。
同モデルは日本語言語モデルの性能を評価するためのベンチマークの一つである「Stability-AI/lm-evaluation-harness」の9タスクにおいて、平均スコアが66.15だったという。一方Llama 3は59.82だった。
○利用時にはファインチューニングやモデルマージなどを
今回公開したLlama 3 Youko 8Bは汎用的なベースモデルであることから、同社は目的とするタスクで利用する場合にはファインチューニングやモデルマージを行い利用することを勧めている。
(熊谷知泰)
外部リンク
この記事に関連するニュース
-
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
PR TIMES / 2024年5月10日 17時15分
-
富士通など8者、富岳で学習した130億パラメータのLLM「Fugaku-LLM」を公開
マイナビニュース / 2024年5月10日 14時43分
-
rinna、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を公開
PR TIMES / 2024年5月7日 13時45分
-
ロゼッタ「Metareal AI LLM 2」に「Llama3」70Bと8Bを追加。米Meta最先端大規模言語モデルをスピーディに企業へ提供 メタリアル・グループのロゼッタ
PR TIMES / 2024年4月25日 17時15分
-
AWS、安全な生成 AI アプリケーションを構築、拡張する基盤として数万のお客様が活用する Amazon Bedrock の新機能を発表
PR TIMES / 2024年4月24日 17時45分
ランキング
-
1「現場を知らなすぎ」 政府広報が投稿「令和の給食」写真に批判続出…… 識者が指摘した“学校給食の問題点”
ねとらぼ / 2024年5月18日 7時30分
-
2「Lenovo LOQ 15IRX9」レビュー、17万円で最新パーツ搭載・フルHDゲームを快適に楽しめるゲーミングノートPC
マイナビニュース / 2024年5月19日 8時0分
-
3ダイソーで110円の「スマートフォンレンズセット」を半信半疑で試してみる 「魚眼」は実用可能
ITmedia Mobile / 2024年5月19日 11時30分
-
4『HUNTER×HUNTER』の冨樫義博がXで怒り 立て続く“誤配”で「三度目です」「次はもう知らん」
ねとらぼ / 2024年5月18日 16時57分
-
5FC版『ドラクエ』のローラ姫はナゼさらわれた? 「めとるため」とはいえないワケ
マグミクス / 2024年5月18日 21時25分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください