Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開

Hugging FaceのOpenELM（30億パラメータ）のページ

　米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。

　パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニングデータセットから理解する変数の数を示す）。

　AppleがAIのモデルを公開することはこれまでほとんどなかったが、OpenELMの「広範なリリースは、オープンな研究コミュニティを支援し、発展させることが目的」という。

　Appleは、OpenELMとともに、開発者がモデルをソフトウェアに組み込めるように設計された複数のツールもオープンソース化した。その中にはiPhoneやMac上でモデルを実行できるようにするライブラリも含まれる。

　「公開データセットで学習されたモデルは安全性の保証なしでリリースされる」ため、利用する開発者は自分で「十分なセーフティテストを実施し、適切なフィルタリング機構を実装することが不可欠」だとしている。

　AppleはOpenELMを、約1兆8000億のトークンで構成されるデータセットでトレーニングしたとしている。データセットとしては、GitHubのRedPajamaデータセット、大量の書籍、Wikipedia、StackExchangeの投稿、ArXiv上の論文、Reddit、Wikibooks、Project GutenbergなどのDolmaセットを使った。

　OpenELMは、レイヤーごとのスケーリング戦略を用いて、Transformerモデルの各レイヤー内でパラメータをefficient（効率的）に割り当てることで精度を向上させているという。例えば10億パラメータでは、Allen Institute for AIのOLMoと比較して半分の事前学習トークン数で2.36％の精度向上を示すとしている。

　米Microsoftも前日、iPhoneで稼働可能なSLM「Phi-3」を公開している。