米Magic、1億トークンモデルの研究開発でAIコードツール市場に存在感示す|元Google CEOら出資
Techable / 2024年9月18日 8時0分
サンフランシスコを拠点に、AIコードツールの開発をてがけるMagicは、今年8月、Googleの元CEOであるエリック・シュミット氏らから3億2,000万ドルの大型投資を受けた。これによるMagicの総資金調達額は、4億6,500万ドルに及ぶ。
Magicは、エリック・スタインバーガー氏とセバスチャン・デ・ロ氏によって2022年に設立されたスタートアップ。現在は製品を開発中の最中にあり、まだ収益はあげていない。GitHub CopilotがリードするAIコードツール市場で、製品化前にもかかわらず投資家の関心をよぶ理由として、Magicは1億トークンの生成AIモデルがもたらす革新性を強調する。
長い文脈に沿った推論の精度向上に期待Magicは、はじめての1億トークンモデルとして「LTM-2-mini」を訓練中だ。1億トークンは約1,000万行のコード、または約750冊の小説に相当する。
生成AIの“モデル”とは、生成AIの中核となるLLM(大規模言語モデル)のことだ。LLMにおけるトークンとは、テキストデータを解釈・処理する際の最小単位のことを指す。トークン化(トークナイゼーション)と呼ばれる前処理により、文章は単語、句読点、数字などの要素に分割され、分割された1つ1つの要素がトークンとなる。このLLMが一度に処理できる最大のトークン数のことを、コンテクストウィンドウのサイズという。
いままでの小さいコンテクストウィンドウでは、読み込んだコードの限られた部分からしか推論に使うことができなかった。しかしMagicの“超長”コンテクスト(Ultra-Long Context)のサイズが大きいということは、すべてのコード、ドキュメント、ライブラリのすべてからの推論が可能になるということだ。これにより長い文脈(コンテキスト)に沿った推論の精度の大幅な向上が期待できる。
同社は、事前トレーニングには限界があると指摘。現在主流の方法では生成AIモデルに事前のトレーニングが必須だったが、同社の超長コンテクストによって、事前のトレーニングなしでの推論中の学習が可能になる。同社はこれが次のAIフロンティアだと訴える。
Google CloudとのパートナーシップでNVIDIA GPUサーバーを構築MagicはGoogleと提携し、 NVIDIA H100 Tensor Core GPUを搭載したMagic-G4と、NVIDIA GB200 NVL72を搭載したMagic-G5でサーバーCloud上に構築した。またこのサーバーは次世代のBlackwell GPUにスケールする能力を持っている。
Magic共同創業者兼CEOのエリック・スタインバーガー氏は述べる。
私たちはGoogleおよびNVIDIAと提携し、次世代のAIスーパーコンピュータをGoogle Cloud上で構築できることを非常に楽しみにしています。NVIDIAのGB200 NLV72システムは、モデルの推論とトレーニング効率を大幅に向上させることができます。さらにGoogle Cloudは、迅速にスケールできる俊敏性と、豊富なクラウドサービスを提供してくれるのです。
さらにMagicのモデルはMetaのLlama 3.1 405Bと比較して、1億トークンのコンテキストウィンドウにおいて約1,000倍安価だという。
生成AIを稼働させるGPUサーバーのコストが深刻な問題になっている状況において、これは大きな競争優位をもたらす。
参考元:
Magic
プレスリリース
(文・五条むい)
外部リンク
この記事に関連するニュース
-
閉域ネットワーク で動作可能な生成AI搭載 マルチドキュメントAIプラットフォーム「brox-AI」提供開始のお知らせ
PR TIMES / 2024年10月23日 13時45分
-
デル、「Dell AI Factory」を拡充するAIワークロード向けの新機能を発表
マイナビニュース / 2024年10月21日 18時32分
-
デル・テクノロジーズ、「Dell AI Factory」の新たな機能を発表 冷却テクノロジー、高密度コンピューティング、AIストレージなどにより、データセンターを変革
PR TIMES / 2024年10月21日 15時45分
-
AMD、AIの推論に適したデータセンター向け「Instinct MI325X」 2025年Q1デビュー
ITmedia NEWS / 2024年10月11日 10時10分
-
アドバンテック、生成AI開発向け エッジAI サーバー「AIR-520」をリリース
PR TIMES / 2024年10月8日 12時45分
ランキング
-
1「AQUOS sense9」はココが進化した 選べる6色の「ちょっとアガる、どまんなかスマホ」を実機で確認
ITmedia Mobile / 2024年10月29日 20時30分
-
2公式に「アウトだろ(笑)」の声 ミスド×『ポケモン』ドーナツのシルエットにざわつく
マグミクス / 2024年11月5日 19時21分
-
3「Pixel Watch 3」ユーザーが「Apple Watch Series 10」を使って分かった驚き
ITmedia PC USER / 2024年11月5日 16時0分
-
4Xの「ブロック貫通」導入始まる ブロックした相手も公開投稿を見られるように
ITmedia NEWS / 2024年11月5日 12時34分
-
5オーム電機「充電式LEDデスクライト」リコール品で発煙、焼損事故発生
ASCII.jp / 2024年11月5日 12時30分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください