【Gaudiシリーズを解説】生成AIに対し、広がる選択肢―Fugaku-LLMも快適に動作

Gaudiのターゲットとなるのは深層学習（DL）や大規模言語モデル（LLM）となっており、逆にHPCの利用に関してはGPUの方にメリットがある。

小佐原氏はGaudiの特徴としてAI専用設計により競合よりも安価に得られる事、シングルボードだけでなく4096ノードまで確立された拡張性がある事、最小限のコード変更で既存のアプリケーションが利用できることの三点を挙げた。

現在販売中のGaudi2は24のTensorコアと2つの行列演算エンジンを備えているほか、96GBのHBMメモリと48MBのSRAMによって大きなデータに高い帯域幅でアクセスできる。さらに大規模構成に対応するため業界標準の100Gビットイーサネットを24系統搭載し、外部バスも業界標準のPCIe Gen4 16レーンとなっている。小佐原氏は「（イーサネットやPCIeといった）業界標準のI/Fを使用することで使い慣れた機器メーカーや価格のこなれた製品を使うことができる」とシステム全体のコスト削減につながると説明した。

コストに関してはDatabricksの評価結果を引用して、現在の最大ライバルであるNVIDIA製品と比較していた。推論性能はNVIDIA H100と競合する性能を持ちつつ、AWS上の価格で比較すれば約半分のコストになるという。学習能力に関してはH100比で1.47倍のコスパと表現していた。

大規模化に関してはGaudi2が持つ24ポートのイーサネットを使用することでノード内部のアクセラレーター間接続もノード間のスケールアウト接続も同一のファブリックが使用できるほか、業界標準の100GbEを使っているため業界標準のRoCE対応イーサネットスイッチで利用できる。16台のGaudi2を1ノードとして構成し、これをリーフスイッチとスパインスイッチで接続することで512ノード4096個の構成まで実際に（デベロッパークラウドにて）構築できている。スケールアップ時の効率に関しては256枚と348枚でMLParfを使用した比較で、スケーリング効率が95%と高いことを示した。

このため、（自社の秘密データを扱うため、クラウドではなく）オンプレミスで10Bから1T規模の生成運用を行い、チップメーカーを特に選ばないことで調達コストと納期や調達リスクを抑え、業界標準のイーサネットシステムでの環境構築とオープンソースベースの開発環境を使う場合にGaudiは最適であるという。