オルツ、数兆パラメータ規模の大規模言語モデル構築に着手

オルツは、ソフト・ハード・データ・手法・概念等の多角的視点からLLMの最適なユースケースを実現

～ユースケースから逆算した設計で世界最高峰のスピードとコストパフォーマンスを追求～

2024年4月26日

株式会社オルツ

　P.A.I.®️（パーソナル人工知能）をはじめ、AIクローン技術でつくり出すパーソナルAIの開発および実用化を行う株式会社オルツ（本社：東京都港区、代表取締役：米倉 千貴、以下、オルツ）は、数兆パラメータ規模の大規模言語モデル（LLM）の構築に着手したことを発表いたします。約10年間、自然言語処理を含む本領域の研究開発を行ってきており、また早い段階からLLMの研究・開発・運用を手掛けてきた当社として、実際のビジネスシーンや実生活におけるユースケースから逆算したLLM設計・構築が肝要であると考えています。本開発は、単にパラメータ数を膨大にするだけではなく、生成AIのエンドユースケースから逆算した目標であり、パラメータ数に加えて、スピードと計算効率、コストパフォーマンスという実運用時に重要となる指標でも世界最高峰レベルを目指してまいります。また、当社は、本開発を通して、すでに展開している生成AIプロダクト群をより費用対効果の高いサービスとしてエンドユーザーに提供すること、ならびに、グローバルに先駆けた日本発の生成AIのエンドユースケースの確立を目指します。

【画像：https://kyodonewsprwire.jp/img/202404260044-O1-2ghPCUlk】

＜足許のLLM競争に対する課題・対策意識＞

　オルツは、大規模言語モデル（LLM）開発において、より複雑な表現力と高度なカスタマイズ性の両面を追求しています。デベロッパー及びエンドユーザー両方の観点から、GPTなどの既存モデルを超える使いやすさを実現するため、数兆パラメータ規模を持ち、日本語に優位なモデルの構築を構想してまいりました。大規模言語モデル（LLM）では、スケーリング則の元となる「パラメータ数」「データ量」「計算量」に加えて、スピードとコストのバランスを取ることが重要です。当社は、これらを適切に管理しながら、ユーザーにとって実用的なサービスを提供することを目指してまいります。

①パラメータ数

　ーより高度で複雑な表現力を目指すために多パラメータ（数兆規模）のモデル開発と、実用性を兼ね備えた軽量・高速モデルの開発の両面が鍵となります。

②データ量

　ーノイズ混じりのデータではスケーリング則が効かなくなってきています。同じような種類のデータを増やしていても飽和状態がきます*。よってより質の高いデータをいかに投入するかが鍵となり、高品質な事前学習データ及びバリエーションに富んだインストラクションデータの投入による精度向上の実績とノウハウ、またデータ作成人員の教育で競争力を持つ必要があります。