インストラクションチューニング済みの130億パラメータの日本語LLMを開発
Digital PR Platform / 2024年6月3日 11時3分
![インストラクションチューニング済みの130億パラメータの日本語LLMを開発](https://media.image.infoseek.co.jp/isnews/photos/digitalprplatform/digitalprplatform_89196_0-small.jpg)
~理化学研究所との共同研究のデータや、リコー独自開発のデータを追加学習させ、指示追従性能や要約性能が向上~
株式会社リコー(社長執行役員:大山 晃)は、国立研究開発法人理化学研究所 革新知能統合研究センター 言語情報アクセス技術チーム(以下、理研 AIP)が主催する日本語インストラクションデータ作成プロジェクトに参画しています。リコーは、同チームとの共同開発で得られたインストラクションデータをリコー製130億パラメータの日本語LLM*1に追加学習させ、LLMの指示追従性能が向上するという結果を得ました。また、リコー独自開発のインストラクションデータ*2を追加学習させた結果においても、指示追従性能*3の向上を確認し、要約タスクでの優位性を確認しました。
今回、インストラクションデータ「ichikara-instruction」(10,329件)を用いてリコー製LLMにインストラクションチューニング*4を行いました。結果、複雑な指示・タスクを含む代表的なベンチマーク「ELYZA-tasks-100」において、チューニング前と比較し、指示追従性能の大幅なスコア向上が確認できました。また、リコーが独自開発した3,556件のインストラクションデータを用いたチューニング結果でも、同ベンチマークにおいて、同様にスコアが大きく向上しました。
これらの結果から、「ichikara-instruction」はインストラクションデータとして高品質なデータセットであること、また、リコー製インストラクションデータにおいても高スコアが得られたことから、LLMの性能向上にはデータ量だけでなく、データの品質が重要だということが示唆されました。(表1)
[画像1]https://digitalpr.jp/simg/2160/89196/700_163_20240603091505665d0b09626c6.jpg
また、要約タスクを独自評価*5したところ、特に長文要約においては、リコー製データセットの優位性を確認できました。(表2)
AIによる要約生成はお客様のニーズが高く、リコーが強化していく領域です。リコーは継続的にデータ開発を進めており、2024年5月末時点では、5,000件超のインストラクションデータの開発を完了しています。今後、これらをリコーが提供するさまざまなAIソリューションに活用することで、より高品質なサービスの提供を目指します。
この記事に関連するニュース
-
Adobe Acrobatの生成AI機能「Acrobat AI Assistant」日本語版を開発
マイナビニュース / 2024年6月13日 19時16分
-
アドビ、生成AI機能「Acrobat AI Assistant」の日本語版開発を発表
PR TIMES / 2024年6月13日 16時45分
-
アドビ、生成AI機能「Acrobat AI Assistant」日本語版開発を発表 提供開始時期は未定
ORICON NEWS / 2024年6月13日 13時36分
-
リコー、インストラクションチューニング済みの130億パラメータLLMを開発
マイナビニュース / 2024年6月3日 12時46分
-
リコージャパン、生成AIを活用した学校の働き方改革の取り組み支援を開始
Digital PR Platform / 2024年5月28日 15時0分
ランキング
-
1「鹿児島県産」を「兵庫県産神戸牛」表示で販売…卸売業者に是正指示 「ホルスタイン種」を「和牛」にも 誤った個体識別番号表示で農水省近畿農政局も勧告
MBSニュース / 2024年6月25日 19時20分
-
2「ポテポテハッシュポテハッシュ」の癖になるリズム マクドナルド公式X、朝マックのアピール動画話題に
J-CASTニュース / 2024年6月25日 19時48分
-
3急速な円安・ウォン安巡り「深刻な懸念共有」=日韓財務対話で鈴木財務相
ロイター / 2024年6月25日 17時44分
-
4青森のサクランボ農園で実が割れる被害、佐藤錦は1〜3割が裂果…9園が一般客の受け入れ断念
読売新聞 / 2024年6月25日 23時0分
-
5松屋のジョージア料理「シュクメルリ鍋」 ジャパン・フード・セレクションのグランプリ受賞!
J-CASTニュース / 2024年6月25日 8時15分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください
![](/pc/img/mission/mission_close_icon.png)