GPT-4oを上回る? Anthropicが「Claude 3.5 Sonnet」をリリース
マイナビニュース / 2024年6月21日 6時17分
米Anthropicは6月20日(現地時間)、大規模言語モデル(LLM)の新版「Claude 3.5 Sonnet」を発表した。
Claudeには高性能モデル「Opus」、インテリジェンスとスピードのバランスがとれた「Sonnet」、コンパクトで高速な「Haiku」の3つのバリエーションがある。"3.5"ファミリーの最初のリリースであるClaude 3.5 Sonnetは、Claude 3 Opusの約2倍の速度で動作し、多くのベンチマークにおいて3 Opusを上回る性能を示している。特にコードの記述、翻訳、マルチステップワークフローの処理、チャートやグラフの解釈、画像からのテキスト抽出において顕著な改善が見られる。また、文脈の理解力が向上し、より自然な文章生成が可能になったという。
Anthropicが公開したClaude 3.5 Sonnetの主なベンチマーク結果は以下の通り。
OpenAIのGPT-4oと比較すると、GPQA(大学院レベルの専門的な知識とスキルを問うデータセット)とHumanEval(プログラミングタスクの正確性からコード生成能力を評価)がGPT-4oを上回っており、MMLU(自然言語処理モデルの理解力と推論能力を総合的に評価)は同等の性能を示している。より重視されるようになってきたMATHはGPT-4oに劣るものの、Claude 3 Opusから大きく向上しており、GoogleのGemini 1.5 Proを上回る結果となっている。Anthropicの内部エージェントコーディング評価で3.5 Sonnetは問題の64%を解決した。3 Opusの38%から大きく向上した。
Claude 3.5 Sonnetは20日から、Claude.aiとClaude iOSアプリに展開されており、Claude ProおよびTeamプランのユーザーに優先提供されている。Anthropic API、Amazon Bedrock、Google CloudのVertex AIでの提供も開始された。料金はClaude 3 Sonnetから変更されていない。入力トークン100万あたり3ドル、出力トークン100万あたり15ドル(20万トークンのコンテキストウィンドウを備える)となっている。
Claude 3 Sonnetのスピードとコストで3 Opusを上回るインテリジェンスを持つ3.5 Sonnetにより、顧客はより効率的かつコスト効果の高い方法で高度な言語モデルを活用することができるようになる。
-
- 1
- 2
この記事に関連するニュース
-
最新の高性能LLM「Claude 3.5 Sonnet」を「Tachyon 生成AI」に搭載
PR TIMES / 2024年6月28日 10時45分
-
企業向けAIサービス ChatSense が Claude 3.5 Sonnet (クロード)に対応予定。Anthropic社の最新AIを安全な環境で法人利用可能。
PR TIMES / 2024年6月27日 14時45分
-
Anthropicの新機能「Artifacts」 会話しながら成果物を改良するワークスペース
ITmedia NEWS / 2024年6月21日 8時49分
-
Anthropic、無料の「Claude 3.5 Sonnet」リリース 先代のOpusを上回る性能
ITmedia NEWS / 2024年6月21日 7時16分
-
「どの生成AIに課金すべき?」を見極めるためにAI検索サービスに課金するという方法
ITmedia NEWS / 2024年6月1日 18時5分
ランキング
-
1柴犬が必死でくわえようとするのはまさかの“一生無理”なヤツ 子どものような戦いに「激可愛すぎて永遠にリピート」
ねとらぼ / 2024年6月30日 7時0分
-
2様子見していたあのゲーム、今こそ買い時かも!特選Steamサマーセール「過去最安」編【Steamサマーセール2024年夏】
Game*Spark / 2024年6月30日 16時0分
-
3iPhoneでも使うべし!Google系便利アプリ5選|iPhoneでGoogle
&GP / 2024年6月29日 22時0分
-
4別人級メイクの達人がすっぴんからパーティーメイクすると…… 驚きの大変貌に「めちゃめちゃビジュがいい!」「これはまさしく詐欺」
ねとらぼ / 2024年6月29日 19時30分
-
5なんだこれ……! “近未来すぎる砂時計”が話題に 「こういうのたまらん」
ねとらぼ / 2024年6月30日 12時0分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください