インストラクションチューニング済みの130億パラメータの日本語LLMを開発
Digital PR Platform / 2024年6月3日 11時3分
![インストラクションチューニング済みの130億パラメータの日本語LLMを開発](https://media.image.infoseek.co.jp/isnews/photos/digitalprplatform/digitalprplatform_89196_0-small.jpg)
~理化学研究所との共同研究のデータや、リコー独自開発のデータを追加学習させ、指示追従性能や要約性能が向上~
株式会社リコー(社長執行役員:大山 晃)は、国立研究開発法人理化学研究所 革新知能統合研究センター 言語情報アクセス技術チーム(以下、理研 AIP)が主催する日本語インストラクションデータ作成プロジェクトに参画しています。リコーは、同チームとの共同開発で得られたインストラクションデータをリコー製130億パラメータの日本語LLM*1に追加学習させ、LLMの指示追従性能が向上するという結果を得ました。また、リコー独自開発のインストラクションデータ*2を追加学習させた結果においても、指示追従性能*3の向上を確認し、要約タスクでの優位性を確認しました。
今回、インストラクションデータ「ichikara-instruction」(10,329件)を用いてリコー製LLMにインストラクションチューニング*4を行いました。結果、複雑な指示・タスクを含む代表的なベンチマーク「ELYZA-tasks-100」において、チューニング前と比較し、指示追従性能の大幅なスコア向上が確認できました。また、リコーが独自開発した3,556件のインストラクションデータを用いたチューニング結果でも、同ベンチマークにおいて、同様にスコアが大きく向上しました。
これらの結果から、「ichikara-instruction」はインストラクションデータとして高品質なデータセットであること、また、リコー製インストラクションデータにおいても高スコアが得られたことから、LLMの性能向上にはデータ量だけでなく、データの品質が重要だということが示唆されました。(表1)
[画像1]https://digitalpr.jp/simg/2160/89196/700_163_20240603091505665d0b09626c6.jpg
また、要約タスクを独自評価*5したところ、特に長文要約においては、リコー製データセットの優位性を確認できました。(表2)
AIによる要約生成はお客様のニーズが高く、リコーが強化していく領域です。リコーは継続的にデータ開発を進めており、2024年5月末時点では、5,000件超のインストラクションデータの開発を完了しています。今後、これらをリコーが提供するさまざまなAIソリューションに活用することで、より高品質なサービスの提供を目指します。
この記事に関連するニュース
-
Llama 3の日本語継続事前学習モデル「Llama 3 Youko」シリーズを公開
PR TIMES / 2024年7月26日 16時40分
-
Axcxept社、9B小型AIモデルで日本語処理に革新: - EZO-リリース/セキュアなローカルLLM構築サービスで企業のAI活用を加速
PR TIMES / 2024年7月10日 12時15分
-
キャリア・マム 理化学研究所 関根氏を特別講師に迎えセミナーを開催!LLMの精度に直結するデータを解説
@Press / 2024年7月9日 11時45分
-
ソフトバンク、生成AIを活用したSaaS開発を本格始動‐コンタクトセンターを自動化
マイナビニュース / 2024年7月1日 12時9分
-
はたらく人に寄り添うAIソリューション「RICOH デジタルバディ」「RICOH Chatbot Service デジタルバディ」の提供を開始
Digital PR Platform / 2024年6月28日 13時0分
ランキング
-
1〈最低賃金1054円に〉過去最大増なのにパート、アルバイトから大ブーイングのワケ「扶養控除ライン据え置きはオフサイドトラップ」「政治家の報酬だけは世界トップクラスだけど、賃金はオーストラリアの半分」
集英社オンライン / 2024年7月26日 18時56分
-
2赤字続きのミニストップ、逆転を狙う新業態は「コンビニキラー」? まいばすけっとに続けるか
ITmedia ビジネスオンライン / 2024年7月26日 6時15分
-
3メルカリ「フルリモート廃止?」に私が感じたこと 一体感を得るには「ある種の非効率さ」も重要だ
東洋経済オンライン / 2024年7月26日 11時0分
-
4土用丑のうなぎで嘔吐=京急百貨店
時事通信 / 2024年7月26日 19時32分
-
5「ジェネリックにしますか?」と薬局で聞かれましたが、「新薬」にしました。これって損ですか…?
ファイナンシャルフィールド / 2024年7月26日 8時40分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください
![](/pc/img/mission/mission_close_icon.png)