オルツの「LHTM-OPT2」、日本語RAG（検索拡張生成）で軽量型LLMとして世界最高の精度と推論速度を実現

～国内一の日本語推論能力を有する軽量型言語モデルで日本語AIの新たなユースケースを創出～

2024年10月29日

株式会社オルツ

　株式会社オルツ（本社：東京都港区、代表取締役：米倉 千貴、以下、オルツ）は、当社が開発する軽量大規模言語モデル「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2（ラートム・オプト2）」をリリースいたしました。「LHTM-OPT2」は、RAG（検索拡張生成）の精度を最適化する軽量型LLMであり、日本語RAG精度において、軽量型LLMで世界最高精度※1 を達成したことをお知らせいたします。

※ご参考：LHTM-OPTについて：https://alt.ai/news/news-2300/

※ご参考：LHTM-OPT、AWS Marketplace上に日本語LLMとして世界初公開：https://alt.ai/news/news-2553/

 

【画像：https://kyodonewsprwire.jp/img/202410298947-O1-l23KzO74】

 

　「LHTM-OPT」は、小規模GPUマシンで実用的な、パラメータ数が最適化された新たな軽量型大規模言語モデルです。この度、「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2」の日本語RAG精度にあたり、オルツが独自に開発したWikipediaデータからのRAG質問・回答のデータセット（Wiki RAGデータセット）と、東京大学入学試験の国語科目データセットを用いて評価を行いました。

　Wiki RAGデータセットを作成する手法は、日本語Wikipediaから特定の段落を抽出し、その段落に基づく質問を生成し、[段落、 質問、 正解] の３つ組を作成することです。このデータは、専門家の手によって再度確認、修正を行うことで、高品質のRAGベンチマークになります。

　また、東京大学入学試験の国語科目データセット評価では、東京大学入学試験※2 における国語大学科目問題の前提テキスト（段落）とその設問をRAGの入力とし、LLMがその段落と設問から生成した回答を専門家が評価しました。

　評価結果では、Wikipedia RAGデータセットでは、「LHTM-OPT2」が、GPT-4oと同等レベルの精度（LHTM-OPT2：91.0%、GPT-4o：90.8%）を達成しました。また、東大入試国語科目におけるRAGに関する質問では、「LHTM-OPT2」が、GPT-4oの94%の精度を達成しました。