爆速の生成AIを手軽に体験、SambaNovaが無料で使えるFast APIの提供を開始

画像提供：マイナビニュース

SambaNova Systemsは7月24日、チャットボットなどのAIアプリを簡単に構築するためのトークンベースのクレジットを無料で利用できる「SambaNova Fast API」に関する説明会を開催。その特長などの紹介を行った。

2017年に設立されたSambaNovaは、独自のAI半導体、ソフトウェア、システム、基盤モデルを統合したフルスタックAIプラットフォームを提供することで、オンプレミスで手軽な推論環境を構築できることを武器にカスタマを増やしてきた。日本でもソフトバンクが導入を決定したほか、日本語の大規模言語モデル(LLM)「Fugaku-LLM」が50種類以上の高品質オープンソース生成AIモデルで構成されたエンタープライズ向け1.3兆パラメータの生成AIモデル「Samba-1」のComposition of Experts(CoE)のエキスパートとして導入されるなど、実績を上げつつある(日本語LLMに関しては、東京工業大学のSwallowシリーズやELYZAのELYZA-japanese-llama-2-7bなども導入が進んでいる)。

同社Senior Vice President, Products(製品担当上級副社長)のMarshall Choy(マーシャル・チョイ)氏は、同社のフルスタックAIプラットフォームの特長について、「GPUのアーキテクチャについても検討したが、データの移動などに問題があった(GPUはCPUとやり取りしてメモリにアクセスする必要がある)。我々は専用のAI半導体であるRDU(Reconfigurable Dataflow Unit)を開発することで、この問題を解決することにした。最新世代となる第4世代品「SN40L」では、520MBのオンチップメモリ(SRAM)に加え、64GBのHBM3をキャッシュとして活用し、その先に外付けで1.5TBのDDR5 DRAMという3層データフローメモリ構成を採用することで、GPUに対しメモリフットプリントを20％ほど向上。専用コンパイラとの連携により、高いパフォーマンスと低いレイテンシを提供できるようになった」と、独自発想のAI半導体が源泉となっていることを強調する。

また、そのシステムとしてのコンパクトさも特長だとする。オンプレミス向けには19インチラックにx86 CPU×2に8個のSN40Lを搭載したユニット単位で提供される。今回提供が開始されたSambaNova Fast APIは、このSambaNova-1が提供する事前トレーニング済みモデルとチップ機能への手軽なアクセスを開発者たちに向けて提供することを目的としたもの。提供されるのは、Llama 3(8B)およびLlama-3(70B)のフル精度推論で、独自のチェックポイントを持ち込み、トークンベースで制限付きながら無料でAPIを活用し、超高速推論を体験することができ、契約後に専用URL、APIキー、およびドキュメントが提供され、SambaNovaの計算リソースを活用してモデルをファインチューニングすることも可能だという。