オルツ、数兆パラメータ規模の大規模言語モデル構築に着手

*データ数を半分以上削ったとしても、削った後のクリーンなデータの方が効果的であることを示す論文参考：https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A3-2.pdf

③計算量

　ー計算資源の枯渇と高コストという大きな課題に直面しています。特にエンタープライズ向けGPUの不足とクラウドリソースの価格高騰が課題で、これらの問題を解決するために、我々は分散コンピューティング基盤を活用し、世界中のGPU資源を効率的に利用することを目指しています（EMETHプロジェクト*）。この取り組みは、計算資源の流動性を改善し、誰もが簡単に高度なAI技術を利用できる世界を実現することを目標としています。

*オルツの分散コンピューティング基盤EMETプロジェクト参考：Alt EMETH — Super High Speed Distributed Computating Platform

＜当社の目指すLLMの方向性～意外と見過ごされるスピードとコストの重要性～＞

　LLMの開発では、モデルのパラメータ数を増やすことで精度や表現力が向上することは確かですが、それだけでは実用性に欠ける場合があります。例えば、1プロンプトに対して30分もの時間がかかるようなモデルでは、ユーザー体験が損なわれ、実際には誰も利用しないので、リアルタイムでの反応速度が求められています。また、1プロンプトあたり1万円もかかるようなモデルでは誰も利用しません。

　サービスとしての反応速度を実用的なレベルに保つには、単にLLMの処理能力を高めるだけでは不十分であり、ハードウェアレベルでの最適化、例えばLLM特化チップの採用などが必要になります。さらに、APIとしての高速化アーキテクチャの構築、通信技術基盤、分散化技術を用いた可用性の向上など、ソフトウェア面での工夫も欠かせません。

　また、ネットワークレイテンシーの問題を克服するためには、クラウドだけでなく、エッジ側（端末側）での処理*を活用した高速化も重要です。これにより、ユーザーの要求に即時に応答できるシステムを構築することが可能となります。

*業界動向”Apple、オンデバイス処理に特化したフランスのAI企業を買収”参考：https://gori.me/apple/apple-news/152746#google_vignette