リコー、インストラクションチューニング済みの130億パラメータLLMを開発
マイナビニュース / 2024年6月3日 12時46分
リコーは6月3日、理化学研究所 革新知能統合研究センター 言語情報アクセス技術チーム(以下、理研 AIP)との共同開発で得られたインストラクションデータをリコー製LLM(Large Language Models:大規模言語モデル)に追加学習させ、LLMの指示追従性能が向上するという結果を得たことを発表した。なお、リコーは同チームが主催する日本語インストラクションデータ作成プロジェクトに参画している。
また、リコーが独自開発したインストラクションデータを追加学習させた結果においても、指示追従性能の向上を確認し、要約タスクでの優位性を確認したとのことだ。
○実証の結果
今回、インストラクションデータ「ichikara-instruction」(1万0329件)を用いて、リコー製LLMにインストラクションチューニングを実施した。インストラクションチューニングとは、タスクに対して指示(プロンプト)と正しい回答(インストラクションデータ)をセットで与えて受け答えを学習させる手法を指す。
その結果、複雑な指示やタスクを含む代表的なベンチマーク「ELYZA-tasks-100」において、チューニング前と比較して指示追従性能のスコア向上を確認した。また、リコーが独自開発した3556件のインストラクションデータを用いたチューニング結果でも、同ベンチマークにおいてスコアが向上した。
これらの結果から、「ichikara-instruction」はインストラクションデータとして高品質なデータセットであり、LLMの性能向上にはデータ量だけでなくデータの品質が重要であることが示唆された。
また、要約タスクを評価したところ、特に長文要約においてリコー製データセットの優位性を確認できたという。AIによる要約生成は需要が高く、リコーは特に強化する領域だとしている。同社は継続的にデータ開発を進めており、2024年5月末時点では5000件超のインストラクションデータを開発しているとのことだ。
○リコー製LLMの特長
リコーはユーザーの想定用途に合わせて、さまざまなデータを使ってドメイン適用された高精度なAIモデル(プライベートLLM)の個別開発を進めている。リコー製LLMは日本企業の業務における活用を目的に開発され、企業ごとのカスタマイズが容易な点が特徴とされる。
独自の学習上の工夫が組み込まれており、日本語としての文法や回答が正確で日本語精度が高く、日本企業が持つ情報資産の活用に適しているとのことだ。特にNLI(Natural Language Inference:自然言語推論能力)において高性能。2024年4月からは、プライベートLLMをクラウド環境で提供開始している。
(熊谷知泰)
外部リンク
この記事に関連するニュース
-
サイバーエージェント、大規模“視覚”言語モデル(VLM)を公開‐日本語に対応
マイナビニュース / 2024年6月13日 14時0分
-
Weights & BiasesがVision-Languageモデル評価のためのHeron VLMリーダーボードを公開
PR TIMES / 2024年6月13日 13時45分
-
チューリング、Vision & Languageモデル評価のための「Heron VLMリーダーボード」に技術提供
PR TIMES / 2024年6月13日 13時45分
-
世界初の技術で企業ニーズに対応した特化型生成AIを自動生成!エンタープライズ生成AIフレームワークを提供
PR TIMES / 2024年6月4日 15時15分
-
インストラクションチューニング済みの130億パラメータの日本語LLMを開発
Digital PR Platform / 2024年6月3日 11時3分
ランキング
-
1ダイソーで550円の「(USB)Type-Cイヤホン」を試す 万が一に備えた代替品としては十分だが、音がちょっと気になる
ITmedia Mobile / 2024年6月23日 11時43分
-
2「やばすぎ」 ブックオフに10万円で売られていた“衝撃の商品”に仰天 「これもう文化財」「お宝すぎる」
ねとらぼ / 2024年6月23日 8時15分
-
3英医療機関へのランサムウェア攻撃、交渉決裂で患者データがダークウェブに
ITmedia NEWS / 2024年6月23日 8時36分
-
4LINEの「友だち自動追加」をオフに設定する方法
マイナビニュース / 2024年6月23日 1時2分
-
5「死ぬほど笑ったw」 “ほろよい”限定デザイン → 人気ゲームの“例のロゴ”に見えると話題に まさかの公式も反応「ほろよい うま」
ねとらぼ / 2024年6月23日 20時15分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)