日本語精度が高い130億パラメータの大規模言語モデル（LLM）を開発

　LLMは、パラメータ数が多いほどより多くの情報を処理でき、学習能力が高まる一方、より大きな計算リソースが必要になるうえ、学習や運用の難易度が上がり、開発難易度が高くなります。本モデルは「AWS™ LLM開発支援プログラム」によるサポート提供のもと、AWS Trainiumアクセラレーターを搭載したAmazon Elastic Compute Cloud Trn1インスタンスを利用することで、従来手法の開発と比較し45％のコスト低減および12％の開発期間短縮を実現することができました。さらに、お客様向けカスタムLLMを開発する際にも、効率的に開発することができるため、お客様へより安価・短納期でのご提供が可能です。
　なお、今回のLLM開発とその手法は2024年3月11日から開催される言語処理学会*4第30回年次大会において論文発表する予定です。

　リコーは、お客様に寄り添い、業種業務に合わせて利用できる AI サービスの提供により、 お客様が取り組むオフィス／現場のデジタルトランスフォーメーション（DX）を支援してまいります。


　*1　人間が話したり書いたりする言葉（自然言語）に存在する曖昧性やゆらぎを、文章の中で離れた単語間の関係までを把握し「文脈」を
　考慮した処理を可能にしているのが特徴。「自然文の質問への回答」や「文書の要約」といった処理を人間並みの精度で実行でき、学習も
　容易にできる技術。
　*2　2024年1月4日時点の評価結果。公開されている日本語LLMのうち130億パラメータかつトークナイザを日本語適応している事前学習
　モデルとの比較。
　MC、NLI、QA、RC は、下記カテゴリー内の平均値。Avg.はその4カテゴリー平均値の平均値。
　MC (Multi-Choice QA：多肢選択質問応答)：jcommonsenseqa
　NLI (Natural Language Inference：自然言語推論)：jamp、janli、jnli、jsem、jsick
　QA (Question Answering：質問応答)：jemhopqa、niilc
　RC (Reading Comprehension：読解)：jsquad
　*3　自然言語の文章や使い方を大規模に収集し、一般公開されているデータセット。
　*4　自然言語処理（NLP）分野では最大の学会です。学会発表するNLP2024は、言語処理学会の年次大会です。
　https://www.anlp.jp/