リコー、モデルマージによってGPT-4と同等の高性能な日本語LLM（700億パラメータ）を開発

*1　Llama-3-Swallow-70B:東京工業大学情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所によって開発された日本語LLMモデル。
*2　Chat Vector：指示追従能力を持つモデルからベースモデルのウェイトを差し引き、指示追従能力のみを抽出したベクトル。
*3 リコー製のChat Vector: Meta社のベースモデル「Meta-Llama-3-70B」に対し、リコー独自開発を含む約1万6千件のインストラクションチューニングデータで追加学習したInstructモデルから抽出したChat Vector。
*4　Large Language Model （大規模言語モデル）:人間が話したり書いたりする言葉（自然言語）に存在する曖昧性やゆらぎを、文章の中で離れた単語間の関係までを把握し「文脈」を考慮した処理を可能にしているのが特徴。「自然文の質問への回答」や「文書の要約」といった処理を人間並みの精度で実行でき、学習も容易にできる技術。
*5　モデルマージ：複数の学習済みのLLMモデルを組み合わせて、より性能の高いモデルを作る新たな方法のこと。GPUのような大規模な計算リソースが不要で、より手軽にモデル開発ができるとして、近年注目されています。
*6　2024年9月24日時点の評価結果。「スコア」の算出に際して、生成文の評価には「GPT-4」（gpt-4-0613）と「GPT-4o」（gpt-4o-2024-05-13）を使用し、英語での回答による減点は行っていない。「英語で回答されたタスクの割合」は100タスクのうち英語で回答されたものの割合。



本件に関するお問合わせ先
報道関係のお問い合わせ先 　
株式会社リコー広報室 　TEL：[phone] 　 E-mail：[e-mail]

関連リンク
リコー、日英中3言語に対応した700億パラメータの大規模言語モデル（LLM）を開発、お客様のプライベートLLM構築支援を強化
https://jp.ricoh.com/release/2024/0821_1
インストラクションチューニング済みの130億パラメータの日本語LLMを開発
https://jp.ricoh.com/release/2024/0603_1
日本語精度が高い130億パラメータの大規模言語モデル（LLM）を開発
https://jp.ricoh.com/release/2024/0131_1