Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開
ITmedia NEWS / 2024年4月25日 10時54分
Hugging FaceのOpenELM(30億パラメータ)のページ
米Appleの研究者らは4月24日(現地時間)、オープンソースの言語モデル「OpenELM」(ELMはEfficient Language Model、効率的な言語モデルの略)をHugging Faceで公開した。
パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億(パラメータとは、意思決定でモデルがトレーニングデータセットから理解する変数の数を示す)。
AppleがAIのモデルを公開することはこれまでほとんどなかったが、OpenELMの「広範なリリースは、オープンな研究コミュニティを支援し、発展させることが目的」という。
Appleは、OpenELMとともに、開発者がモデルをソフトウェアに組み込めるように設計された複数のツールもオープンソース化した。その中にはiPhoneやMac上でモデルを実行できるようにするライブラリも含まれる。
「公開データセットで学習されたモデルは安全性の保証なしでリリースされる」ため、利用する開発者は自分で「十分なセーフティテストを実施し、適切なフィルタリング機構を実装することが不可欠」だとしている。
AppleはOpenELMを、約1兆8000億のトークンで構成されるデータセットでトレーニングしたとしている。データセットとしては、GitHubのRedPajamaデータセット、大量の書籍、Wikipedia、StackExchangeの投稿、ArXiv上の論文、Reddit、Wikibooks、Project GutenbergなどのDolmaセットを使った。
OpenELMは、レイヤーごとのスケーリング戦略を用いて、Transformerモデルの各レイヤー内でパラメータをefficient(効率的)に割り当てることで精度を向上させているという。例えば10億パラメータでは、Allen Institute for AIのOLMoと比較して半分の事前学習トークン数で2.36%の精度向上を示すとしている。
米Microsoftも前日、iPhoneで稼働可能なSLM「Phi-3」を公開している。
外部リンク
この記事に関連するニュース
-
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
PR TIMES / 2024年5月10日 17時15分
-
世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現 ~NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に~
Digital PR Platform / 2024年5月7日 15時13分
-
Spiral.AI、Transformerの限界を克服した次世代LLMアーキテクチャ「RetNet」の学習済みモデルを公開
PR TIMES / 2024年5月1日 15時15分
-
オルツ、数兆パラメータ規模の大規模言語モデル構築に着手
PR TIMES / 2024年4月26日 17時15分
-
オルツ、数兆パラメータ規模の大規模言語モデル構築に着手
共同通信PRワイヤー / 2024年4月26日 15時0分
ランキング
-
1Microsoft Copilot+ PC向け新機能「Recall」、「悪夢のようなリスク」と非難も
マイナビニュース / 2024年5月22日 19時9分
-
2『ポケモンGO』“激レア色違い”と“最強ウルトラビースト”が初登場!「ウルトラスペースワンダー」重要ポイントまとめ
インサイド / 2024年5月23日 0時0分
-
3ニコニコ、使えるクレカがJCBのみに ダイナースクラブでの有料会員支払いを一時停止へ
ITmedia NEWS / 2024年5月22日 16時17分
-
4マルウェア最新動向、Windows標的としたPython悪用と狙われる自動車に注意
マイナビニュース / 2024年5月23日 8時55分
-
5スマホ新製品ラッシュの中、ひっそり登場のモトローラ「motorola edge 40 neo」がマジでよくない?
ASCII.jp / 2024年5月22日 12時0分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください