DeepSeek、推論型LLM「R1」オープンソースで公開、OpenAI o1に匹敵、手頃なAPI料金

画像提供：マイナビニュース

中国のAIスタートアップDeepSeekは1月20日、オープンソースの推論型大規模言語モデル（LLM）「DeepSeek-R1」をリリースした。同モデルは、同社が2024年末にリリースした「DeepSeek V3」を基盤としており、OpenAIの推論型LLM「o1」に匹敵する性能を数学、コーディング、推論タスクにおいて達成している。さらに、APIアクセス料金をo1の約27分の1に抑えることで、極めて高い費用対効果を提供している。

OpenAIが昨年9月にo1モデルをリリースして以来、AIが目的達成のための最適な行動を学習する強化学習（RL, reinforcement learning）を活用したモデルが高いパフォーマンスを示している。DeepSeek-R1は、このRLに教師ありファインチューニングを組み合わせた多段階アプローチを採用して強化された。

まず、DeepSeek V3をベースに、教師データを使用せずに推論能力を開発。純粋なRLベースの試行錯誤プロセスによる自己進化のみに焦点を当てた結果、DeepSeek-R1-Zeroは自然に多くの強力な推論行動を身につけたという。この初期モデルは、自己検証、内省、長い思考プロセス（Chain of Thought）の生成で優れた能力を示したものの、可読性の低さや言語の混在といった課題も見られた。これを受け、DeepSeekはR1-Zeroの成果を基に、教師あり学習とRLの組み合わせによる改良を施し、最終的にR1モデルを完成させた。

DeepSeekが公表したテスト結果では、AIME 2024での精度が79.8％、MATH-500は97.3％というスコアを記録しており、o1-1217（AIME 2024:79.2%、MATH-500:96.4%）を上回っている。一方で、Codeforcesでは96.3％、MMLU (Pass@1) は90.8％と、o1-1217（Codeforce:96.6%、MMLU:91.8%）にわずかに及ばないものの、オープンモデルがクローズドな商用モデルとの差を縮めていることを示している。

DeepSeek-R1は6710億パラメータを有する。DeepSeekはDeepSeek-R1（deepseek-reasoner）のAPIアクセス料金を、入力100万トークンあたり0.55ドル、出力100万トークンあたり2.19ドルに設定している。OpenAI o1の料金は入力100万トークンあたり15ドル、出力100トークンあたり60ドルである。

また、DeepSeek-R1が生成した推論データを使用して、研究コミュニティで広く利用されている密集モデル（dense model）をファインチューニングした結果、蒸留された小型の密集モデルがベンチマークで優れた性能を発揮することが確認された。DeepSeekが公開した蒸留モデルはQwen2.5やLlama3シリーズを基にしており、15億/70億/80億/140億/320億/700億パラメータの構成となっている。
（Yoichi Yamashita）