爆速の生成AIを手軽に体験、SambaNovaが無料で使えるFast APIの提供を開始

実際にAPIを利用するためには、専用Webサイトからユーザー登録を行う必要があるが、その前に、SN40Lを16基活用する「Samba-1 Turbo」を活用したデモを専用サイトで無料で体験することができる。

このSamba-1 Turboのデモサイトは、画面の右上にドロップダウンのメニューがあり、そこで利用可能なLLMが表示されるので、使いたいものを選び、画面下の入力欄にプロンプトを記入する形で実行できる。

日本語環境にも対応しているほか、デモ用のプロンプトも用意されており、それをクリックするだけで出力を見ることもできる。その処理速度は、実際にデモを体感してもらうと実感を持ってわかっていただけると思うが、デフォルト設定となっている「Meta-Llama-3-8B-Instruct」の場合、1秒当たりに生成できるトークン数が1000超と、爆速といえる速さ。あまりの速さに出力の最初の方はページ外にスクロールしていってしまう。

また、その拡張機能の1つとして、「プロンプトの入力エリア」の左となりに用意された「Real-Time」のチェックボタンがある。これをオンにすると、プロンプトを入力中であっても、生成AIが出力を随時実行。プロンプトの変更に応じて、リアルタイムで書き換えていく様子を見ることができる。チョイ氏は「開発者やスタートアップにAPIを公開することにしたのは、すぐに大きな投資に踏み切るのではなく、まずは使ってもらう、という意味合いが大きい。エコシステムの中にいることが重要で、中にいるからこそ、我々のモデルを使ってソリューションを組んでもらうといった連携もできる。そうした意味では、今回の取り組みはデベロッパーを重視したものとなる」とこの取り組みの意義を説明する。

なぜ、こうした取り組みを推進するのか。同氏は「エージェンティックAI時代、つまりこれまでの人間とAIの関係を超えて、エージェントとエージェント、エージェントとシステムが連携しあう時代が到来しようとしており、それはビジネスシーンでの活用が進むことを意味する。そうした中で、具体的に、いかに少ないハードウェアリソースで多くの言語モデルをサポートして、性能要件を低コストかつ低レイテンシで実現するのか、消費電力の削減も併せて、SambaNovaがサポートできると信じている」と自社の指向するRDUの活用が、これから来るであろう新たな生成AIを活用する時代の最適解になると強調。推論環境でありながら、量子化をせずにフル精度で高速化を実現している点も、高い精度を提供する必要があるビジネスシーンで必要とされる要素とし、Fast APIがそうした時代の最適なプラットフォームの第一歩となるとした。
（小林行雄）