米Magic、1億トークンモデルの研究開発でAIコードツール市場に存在感示す|元Google CEOら出資
Techable / 2024年9月18日 8時0分
サンフランシスコを拠点に、AIコードツールの開発をてがけるMagicは、今年8月、Googleの元CEOであるエリック・シュミット氏らから3億2,000万ドルの大型投資を受けた。これによるMagicの総資金調達額は、4億6,500万ドルに及ぶ。
Magicは、エリック・スタインバーガー氏とセバスチャン・デ・ロ氏によって2022年に設立されたスタートアップ。現在は製品を開発中の最中にあり、まだ収益はあげていない。GitHub CopilotがリードするAIコードツール市場で、製品化前にもかかわらず投資家の関心をよぶ理由として、Magicは1億トークンの生成AIモデルがもたらす革新性を強調する。
長い文脈に沿った推論の精度向上に期待Magicは、はじめての1億トークンモデルとして「LTM-2-mini」を訓練中だ。1億トークンは約1,000万行のコード、または約750冊の小説に相当する。
生成AIの“モデル”とは、生成AIの中核となるLLM(大規模言語モデル)のことだ。LLMにおけるトークンとは、テキストデータを解釈・処理する際の最小単位のことを指す。トークン化(トークナイゼーション)と呼ばれる前処理により、文章は単語、句読点、数字などの要素に分割され、分割された1つ1つの要素がトークンとなる。このLLMが一度に処理できる最大のトークン数のことを、コンテクストウィンドウのサイズという。
いままでの小さいコンテクストウィンドウでは、読み込んだコードの限られた部分からしか推論に使うことができなかった。しかしMagicの“超長”コンテクスト(Ultra-Long Context)のサイズが大きいということは、すべてのコード、ドキュメント、ライブラリのすべてからの推論が可能になるということだ。これにより長い文脈(コンテキスト)に沿った推論の精度の大幅な向上が期待できる。
同社は、事前トレーニングには限界があると指摘。現在主流の方法では生成AIモデルに事前のトレーニングが必須だったが、同社の超長コンテクストによって、事前のトレーニングなしでの推論中の学習が可能になる。同社はこれが次のAIフロンティアだと訴える。
Google CloudとのパートナーシップでNVIDIA GPUサーバーを構築MagicはGoogleと提携し、 NVIDIA H100 Tensor Core GPUを搭載したMagic-G4と、NVIDIA GB200 NVL72を搭載したMagic-G5でサーバーCloud上に構築した。またこのサーバーは次世代のBlackwell GPUにスケールする能力を持っている。
Magic共同創業者兼CEOのエリック・スタインバーガー氏は述べる。
私たちはGoogleおよびNVIDIAと提携し、次世代のAIスーパーコンピュータをGoogle Cloud上で構築できることを非常に楽しみにしています。NVIDIAのGB200 NLV72システムは、モデルの推論とトレーニング効率を大幅に向上させることができます。さらにGoogle Cloudは、迅速にスケールできる俊敏性と、豊富なクラウドサービスを提供してくれるのです。
さらにMagicのモデルはMetaのLlama 3.1 405Bと比較して、1億トークンのコンテキストウィンドウにおいて約1,000倍安価だという。
生成AIを稼働させるGPUサーバーのコストが深刻な問題になっている状況において、これは大きな競争優位をもたらす。
参考元:
Magic
プレスリリース
(文・五条むい)
外部リンク
この記事に関連するニュース
-
Mistral AI、新AIモデル「Pixtral Large」発表、Le ChatにWeb検索やCanvas機能を搭載
マイナビニュース / 2024年11月19日 17時55分
-
日本のクラウド リーダーが AI 時代の産業変革に向けて NVIDIA AI インフラを構築
PR TIMES / 2024年11月13日 15時15分
-
NVIDIA(R)H200 NVL 141GB PCIe の取り扱い開始のお知らせ
PR TIMES / 2024年11月12日 16時45分
-
DeepL、DGX GB200を搭載したNVIDIA DGX SuperPODを欧州で初導入
PR TIMES / 2024年10月31日 19時0分
-
閉域ネットワーク で動作可能な生成AI搭載 マルチドキュメントAIプラットフォーム「brox-AI」提供開始のお知らせ
PR TIMES / 2024年10月23日 13時45分
ランキング
-
1「スンスンが餌食に」 販売から“全店舗3分で完売”→高額転売で「怒りが込み上げる」 スシロー×人気キャラコラボが物議
ねとらぼ / 2024年11月21日 19時2分
-
2ダイソーの“フィギュアに最適”なアイテムが330万表示 驚きの高品質に「めっちゃいいやん……!」「価格バグってるw」
ねとらぼ / 2024年11月21日 20時0分
-
3イオンカード、不正利用に関するテレビ報道受け声明 「一日も早く安心してもらえる環境整備に努める」
ITmedia NEWS / 2024年11月21日 15時27分
-
4“主人公キャラのいない”ローグライクシューターが早期アクセス開始!AIとなって敵同士を戦わせ道を拓く―採れたて!本日のSteam注目ゲーム11選【2024年11月21日】
Game*Spark / 2024年11月21日 22時30分
-
5原作再現度がハンパない『FF14モバイル』が正式発表! まずは中国からサービス開始へ
ガジェット通信 / 2024年11月21日 22時0分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください