インストラクションチューニング済みの130億パラメータの日本語LLMを開発

[画像2]https://digitalpr.jp/simg/2160/89196/700_157_20240603091505665d0b09826e0.jpg



（背景）
労働人口減少や高齢化を背景に、生産性向上や付加価値の高い働き方の実現に向けて、多くの企業がAIの業務活用に注目しています。しかし、AIを実際の業務に適用するためには、その業種・業務の情報や、企業固有の用語や言い回しなどを含む大量のデータをLLMに追加学習させ、企業独自のAIモデル（プライベートLLM）を作成する必要があります。

（リコー製LLMの特徴）
リコーでは、お客様の想定用途に合わせてさまざまなデータ（企業独自の情報や知識を含む）を使ってドメイン適用された高精度なAIモデル（プライベートLLM）の個別開発を行っています。リコー製LLMは、日本企業の業務での活用を目的に開発され、企業ごとのカスタマイズを容易に行うことができることが特徴です。独自の学習上の工夫が組み込まれており、日本語としての文法や回答が正確で日本語精度が高く、日本企業が持つ情報資産の活用に適したモデルになっています。特にNLI（自然言語推論能力）において高性能という評価結果が出ています。2024年4月から、プライベートLLMをクラウド環境で提供開始しています。

今後、リコーはインストラクションデータの品質をさらに向上させ、インストラクションチューニング済みの高精度なプライベートLLMをご提供していくことで、お客様のAI活用を支援します。リコーは、お客様に寄り添い、業種業務に合わせて利用できるAIサービスの提供により、 お客様が取り組むオフィス／現場のデジタルトランスフォーメーション（DX）を支援してまいります。


*1 LLM:人間が話したり書いたりする言葉（自然言語）に存在する曖昧性やゆらぎを、文章の中で離れた単語間の関係までを把握し「文脈」を考慮した処理を可能にしているのが特徴。「自然文の質問への回答」や「文書の要約」といった処理を人間並みの精度で実行でき、学習も容易にできる技術。
*2 リコー独自開発のインストラクションデータ:2024年3月末時点で3,556件の開発を完了し、評価実施。その後、開発を継続し、24年5月末には5,091件のデータを開発。
*3 指示追従性能: ユーザの指示や質問に対して自然な回答ができる能力。ユーザの意図を適切に理解し、それに応じた対応をできるかどうかを測る指標。
*4 インストラクションチューニング:タスクに対して、指示（プロンプト）と正しい回答（インストラクションデータ）をセットで与えて受け答えを学習させる手法。
*5 独自評価：評価データセットはリコーで独自に準備。ニュース要約：200件（要約対象の文字数：200～3000文字程度）。論文要約：100件（要約対象の文字数：2500～5500文字程度）。