SambaNovaがAI推論サービス「SambaNova Cloud」を発表、Llama 3.1 405Bを毎秒132トークンで実行
マイナビニュース / 2024年9月11日 19時31分
SambaNova Systemsは9月10日(米国時間)、同社のAI半導体「SN40L」を活用したAI推論サービス「SambaNova Cloud」を発表した。
同サービスはユーザー登録を行うことで無料で利用することが可能。最大かつ高性能モデルである「Llama 3.1 405B」ならびに高速な「Llama 3.1 70B」をAPI経由で利用して、独自の生成AIアプリケーションを作成することができ、Llama 3.1 70Bを完全な精度で毎秒461トークン、Llama 3.1 405Bも完全な精度で毎秒132トークンで実行することが可能だとしている。
MetaのLlama 3.1モデルの中でも最もインテリジェントで、モデルの使用方法と展開方法に柔軟性を提供するとされる405Bながら、大きなモデルであることからシステムによっては実行速度が遅くなるほか、精度を下げることで対応するなどの必要があるが、同社では最新世代のSoCであるSN40Lの高い性能により、モデルの大きさによる速度のトレードオフを軽減。完全な精度で毎秒132トークン(16ビット時)での動作を可能としていると説明している。
ちなみにこのベンチマークは、AI性能比較サイト「Artificial Analysis」が独自に行った結果に基づくものだという。
なお、SambaNova Cloudは以下の3つのレベルで提供されており、同社では同サービスを活用することで、開発者は独自のチェックポイントを持ち込みことができ、Llamaモデル間を高速に切り替え、AIプロンプトチェーンを使用してワークフローを自動化し、高速な推論速度で既存のファインチューニングされたモデルを利用することができるようになるとしている。
Free(すでに利用可能):ログインで誰でも無料でAPIにアクセス可能
Developer(2024年末までに利用可能予定):開発者はLlama 3.1の8B、70B、405Bモデルをより高い制限レートで使用してモデルを開発することができる
エンタープライズ(すでに利用可能):企業における本番稼働のワークロードに必要な、より高い制限レートを提供
(小林行雄)
外部リンク
この記事に関連するニュース
-
Core Ultra 7 155Hで約1.5kgのモバイル14型ノートPCの実力を知る!
ASCII.jp / 2024年9月2日 11時0分
-
Cerebras、「NVIDIAのGPUベースより20倍高速」謳うAI推論サービス提供開始
ITmedia NEWS / 2024年8月28日 9時12分
-
NVIDIA、日本と台湾で生成AI向けの4つの新しいNIMマイクロサービスを開始
マイナビニュース / 2024年8月27日 18時7分
-
NVIDIA、日本と台湾で生成 AI 向け NIM マイクロサービスを開始
PR TIMES / 2024年8月27日 10時45分
-
リコー、日英中3言語に対応した700億パラメータの大規模言語モデル(LLM)を開発、お客様のプライベートLLM構築支援を強化
Digital PR Platform / 2024年8月21日 10時2分
ランキング
-
1「PS5 Pro」に「高すぎ」の声続出 「ゲーミングPCの方がいい」「新型Switchに期待」などの意見も
ITmedia NEWS / 2024年9月11日 15時23分
-
2今期は「Xperia 5 V」の後継モデルが登場しない ソニーが今後のスマホ販売方針を明らかに
ITmedia Mobile / 2024年9月10日 12時52分
-
3「日本のマクドナルドはクレイジーだ!」 アメリカ人が日本のメニューを食べてみたら…… まさかの酷評&絶賛に2500万再生「今から日本行きたい」
ねとらぼ / 2024年9月8日 12時0分
-
4イケアのまな板「コスパいい」なぜかオーディオ愛好家に好評 「発想が柔軟」目的外使用にはリスクも
iza(イザ!) / 2024年9月9日 17時50分
-
5JR中央線快速・青梅線にグリーン車 2025年春まで無料
ASCII.jp / 2024年9月11日 19時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)