爆速の生成AIを手軽に体験、SambaNovaが無料で使えるFast APIの提供を開始
マイナビニュース / 2024年7月25日 6時56分
SambaNova Systemsは7月24日、チャットボットなどのAIアプリを簡単に構築するためのトークンベースのクレジットを無料で利用できる「SambaNova Fast API」に関する説明会を開催。その特長などの紹介を行った。
2017年に設立されたSambaNovaは、独自のAI半導体、ソフトウェア、システム、基盤モデルを統合したフルスタックAIプラットフォームを提供することで、オンプレミスで手軽な推論環境を構築できることを武器にカスタマを増やしてきた。日本でもソフトバンクが導入を決定したほか、日本語の大規模言語モデル(LLM)「Fugaku-LLM」が50種類以上の高品質オープンソース生成AIモデルで構成されたエンタープライズ向け1.3兆パラメータの生成AIモデル「Samba-1」のComposition of Experts(CoE)のエキスパートとして導入されるなど、実績を上げつつある(日本語LLMに関しては、東京工業大学のSwallowシリーズやELYZAのELYZA-japanese-llama-2-7bなども導入が進んでいる)。
同社Senior Vice President, Products(製品担当上級副社長)のMarshall Choy(マーシャル・チョイ)氏は、同社のフルスタックAIプラットフォームの特長について、「GPUのアーキテクチャについても検討したが、データの移動などに問題があった(GPUはCPUとやり取りしてメモリにアクセスする必要がある)。我々は専用のAI半導体であるRDU(Reconfigurable Dataflow Unit)を開発することで、この問題を解決することにした。最新世代となる第4世代品「SN40L」では、520MBのオンチップメモリ(SRAM)に加え、64GBのHBM3をキャッシュとして活用し、その先に外付けで1.5TBのDDR5 DRAMという3層データフローメモリ構成を採用することで、GPUに対しメモリフットプリントを20%ほど向上。専用コンパイラとの連携により、高いパフォーマンスと低いレイテンシを提供できるようになった」と、独自発想のAI半導体が源泉となっていることを強調する。
また、そのシステムとしてのコンパクトさも特長だとする。オンプレミス向けには19インチラックにx86 CPU×2に8個のSN40Lを搭載したユニット単位で提供される。今回提供が開始されたSambaNova Fast APIは、このSambaNova-1が提供する事前トレーニング済みモデルとチップ機能への手軽なアクセスを開発者たちに向けて提供することを目的としたもの。提供されるのは、Llama 3(8B)およびLlama-3(70B)のフル精度推論で、独自のチェックポイントを持ち込み、トークンベースで制限付きながら無料でAPIを活用し、超高速推論を体験することができ、契約後に専用URL、APIキー、およびドキュメントが提供され、SambaNovaの計算リソースを活用してモデルをファインチューニングすることも可能だという。
-
-
- 1
- 2
-
この記事に関連するニュース
-
NVIDIA AI Foundry が世界中の企業向けにカスタム Llama 3.1 生成 AI モデルを構築
PR TIMES / 2024年7月25日 10時45分
-
インターネット接続環境がなくても生成AIを活用できる「Panorama AI Box」をリリース
PR TIMES / 2024年7月11日 17時15分
-
オラクル、インデータベースLLM備える「HeatWave GenAI」 - ベクトル処理で競合圧倒
マイナビニュース / 2024年6月27日 16時10分
-
ELYZA、「GPT-4」を上回る性能の日本語LLMを開発・公開
PR TIMES / 2024年6月26日 16時45分
-
オンプレミス導入も可能な高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開
PR TIMES / 2024年6月26日 16時45分
ランキング
-
1温水洗浄便座の異常、放置しないで──NITEが注意喚起 発火のおそれも
ITmedia NEWS / 2024年7月25日 19時13分
-
2中国のサイバー攻撃グループ、Macを狙うマルウェアアップデート
マイナビニュース / 2024年7月25日 12時46分
-
3コントローラー付きドックってPCで動画見る時に便利かも!
&GP / 2024年7月25日 6時0分
-
4人気Androidアプリにゼロデイ脆弱性、動画に扮してマルウェア感染
マイナビニュース / 2024年7月25日 9時12分
-
5プロが本気で“アンパンマンの塗り絵”をしたら…… 衝撃の仕上がりが360万再生「凄すぎて笑うしかないww」「チーズが、、、」
ねとらぼ / 2024年7月18日 22時0分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください
![](/pc/img/mission/mission_close_icon.png)