オルツの「LHTM-OPT2」、日本語RAG（検索拡張生成）で軽量型LLMとして世界最高の精度と推論速度を実現

　さらに、RAG評価においては、国内の全ての軽量型LLM（パラメータ数が10B以下のLLM）を上回る高い精度を達成し、「JGLUE（Japanese General Language Understanding Evaluation）」ベンチマークや「Japanese MT-Bench（MTベンチ）※3」でも、軽量型LLMとしての最高スコアを記録しました。

　推論速度に関しては、SambaNova社の協力を得て、日本語推論において平均速度500TPS（トークン／秒）、最大速度796TPSを確認しました。この速度は、日本語LLM推論速度の最高記録※4 です。

※1 世界最高精度・最高スコア：

「弊社が独自に開発した日本語WikipediaデータによるRAGデータセット」というLLM・RAGベンチマークによる評価で、軽量型LLMとして、パラメータ数が10B以下のモデルの中での比較として国内トップスコアを達成。

（2024年10月15日時点。自社調べ）

※2 これまでの東京大学入学試験問題及び解答等：https://www.u-tokyo.ac.jp/ja/admissions/undergraduate/e01_04.html

※3 「Japanese MT-Bench」はStability AI社が提供しているベンチマークテストです。2024年10月15日に性能評価した結果、軽量型LLMとして最高点の評価を得ました。ベンチマークテストとは、定められた基準を元にその性能を測定する方法で、「Japanese MT-Bench」はGPT-4を評価者としたものです。

※4 最高記録：

ArtificialAnalysis.ai によると、既存のLLMでは、Cerebrasが最速の2148 TPS で、SambaNovaが2番の速度（462 TPS)。ただし、日本語専用のLLM超高速推論は、オルツとSambaNova社が初めて実現しました。

（2024年10月15日時点。自社調べ）

https://artificialanalysis.ai/#providers

 

オルツは、今後も「LHTM-OPT」シリーズの開発と提供を通じて、より高精度で効率的な言語モデルの開発を進め、世界水準の技術で "アジアにおけるOpenAI” の地位確立を目指します。そして、顧客へ最高品質のソリューションを提供することで、日本企業の労働生産性向上に資する取組みを推進してまいります。