インストラクションチューニング済みの130億パラメータの日本語LLMを開発
Digital PR Platform / 2024年6月3日 11時3分
![インストラクションチューニング済みの130億パラメータの日本語LLMを開発](https://media.image.infoseek.co.jp/isnews/photos/digitalprplatform/digitalprplatform_89196_0-small.jpg)
~理化学研究所との共同研究のデータや、リコー独自開発のデータを追加学習させ、指示追従性能や要約性能が向上~
株式会社リコー(社長執行役員:大山 晃)は、国立研究開発法人理化学研究所 革新知能統合研究センター 言語情報アクセス技術チーム(以下、理研 AIP)が主催する日本語インストラクションデータ作成プロジェクトに参画しています。リコーは、同チームとの共同開発で得られたインストラクションデータをリコー製130億パラメータの日本語LLM*1に追加学習させ、LLMの指示追従性能が向上するという結果を得ました。また、リコー独自開発のインストラクションデータ*2を追加学習させた結果においても、指示追従性能*3の向上を確認し、要約タスクでの優位性を確認しました。
今回、インストラクションデータ「ichikara-instruction」(10,329件)を用いてリコー製LLMにインストラクションチューニング*4を行いました。結果、複雑な指示・タスクを含む代表的なベンチマーク「ELYZA-tasks-100」において、チューニング前と比較し、指示追従性能の大幅なスコア向上が確認できました。また、リコーが独自開発した3,556件のインストラクションデータを用いたチューニング結果でも、同ベンチマークにおいて、同様にスコアが大きく向上しました。
これらの結果から、「ichikara-instruction」はインストラクションデータとして高品質なデータセットであること、また、リコー製インストラクションデータにおいても高スコアが得られたことから、LLMの性能向上にはデータ量だけでなく、データの品質が重要だということが示唆されました。(表1)
[画像1]https://digitalpr.jp/simg/2160/89196/700_163_20240603091505665d0b09626c6.jpg
また、要約タスクを独自評価*5したところ、特に長文要約においては、リコー製データセットの優位性を確認できました。(表2)
AIによる要約生成はお客様のニーズが高く、リコーが強化していく領域です。リコーは継続的にデータ開発を進めており、2024年5月末時点では、5,000件超のインストラクションデータの開発を完了しています。今後、これらをリコーが提供するさまざまなAIソリューションに活用することで、より高品質なサービスの提供を目指します。
この記事に関連するニュース
-
はたらく人に寄り添うAIソリューション「RICOH デジタルバディ」「RICOH Chatbot Service デジタルバディ」の提供を開始
Digital PR Platform / 2024年6月28日 13時0分
-
ELYZA、「GPT-4」を上回る性能の日本語LLMを開発・公開
PR TIMES / 2024年6月26日 16時45分
-
オンプレミス導入も可能な高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開
PR TIMES / 2024年6月26日 16時45分
-
ファーストアカウンティングが理化学研究所のLLM用インストラクションデータライセンスを取得、研究開発の進展に
PR TIMES / 2024年6月26日 12時45分
-
リコー、インストラクションチューニング済みの130億パラメータLLMを開発
マイナビニュース / 2024年6月3日 12時46分
ランキング
-
1関東「気動車王国」の離れ小島路線が面白い! 不思議な“右ハンドル”車両 3駅の路線に“スゴイ密度”であるものとは?
乗りものニュース / 2024年6月29日 15時12分
-
2意外な面倒さも? 財布いらずの「スマート支払い」、店側はどう思っているのか
ITmedia ビジネスオンライン / 2024年6月30日 8時10分
-
3ウイスキーが「おじさんのお酒」から激変したワケ 市場復活に導いたサントリーのハイボール秘話
東洋経済オンライン / 2024年6月30日 8時20分
-
4「押しボタン式信号」なぜ“押してすぐ青”にならないケースが? 納得の理由があった!
乗りものニュース / 2024年6月29日 16時42分
-
5アングル:生成AI普及、拒絶と有効利用の間で揺れる欧州コミック業界
ロイター / 2024年6月30日 7時54分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください
![](/pc/img/mission/mission_close_icon.png)