「Intel Gaudi 3」が正式発表、実機を見てきた。PCIeカード版も投入して小規模利用にもアピール

通常のベースボードのGaudi 3はスパインスイッチ、リーフスイッチを使用することで最大8,192台の運用が可能ですが、専用の製品が必要となります。汎用サーバー1台で4枚のPCIeボードを利用し、必要ならばさらにサーバーを追加するというのは、多くの企業でAIアクセラレーターカードを保有・利用するにあたってちょうど良い構成なのかもしれません。

コスパに関しては従来同様、ライバルH100に対してLLama-3-8Bの計算において1.09倍のスループットとドル当たりのスループットが1.8倍、LLama-2-70Bの場合はそれぞれ1.19倍、2倍とお財布にやさしいことをアピールしていました。

パフォーマンスに優れているポイントとして、開発環境もアピール。Gaudi 3では巨大な行列を分割せずに演算できる256×256の行列乗算エンジン「MME」とベクトル演算プロセッサー「TPC」がありますが、この2つを効率的に動作させるためグラフコンパイラがキャッシュサイズに見合う程度に演算を分割(スライス)。これによってデータのやり取りをキャッシュサイズ内に収め、より高速に並列作業を可能にしていると、ソフトウェア最適化の説明をしました。

Gaudi 3製品は日本の場合Dell、HPに加え、Gaudiの最初の世代から製品を提供しているSuperMicroから行われます。会場にはSuperMicroのGaudi 3サーバーも展示。すぐにGaudiを使ってみたいという人にTiberデベロッパークラウドを紹介。

現在はGaudi 2までしか利用できせんが、Gaudiでも手元のソフトが利用できるかどうかの検証が可能ですし、今年Q4からGaudi 3も提供されるとの事。日本の顧客に対してはインテルデータセントリックCoEを東京オフィスに設置しており、現在はGaudi 2の8枚構成が利用可能だといいます。

Gaudi 3に対する利用例やエンドースメントもあり、会場にはエフサステクノロジーの坂井氏と日本アイ・ビー・エムの佐藤氏をゲストに迎えていました。エフサスの坂井氏は「用途に応じたサーバーの提供からAI基盤の構築、運用の支援までを行うトータルプロバイダーとしてGaudiの提供を行う」とコメント。

日本アイ・ビー・エムの佐藤氏は、「Gaudi 3を世界で最初に広く採用するグローバルクラウドプロバイダーの中で、東京リージョンは今年10周年を迎えるとコメント。今後のAI活用にはよりコスパの優れているもの、ビジネスニーズにフィットしたモデルを使いたいというニーズがあり、Gaudi 3はその解決策の1つになる」とコメントしていました。