Meta、コード最適化のためのAIモデル「LLM Compiler」を商用ライセンスで公開

　米Metaは6月27日（現地時間）、コード最適化のためのLLMモデル「Meta Large Language Model Compiler」（以下「LLM Compiler」）を発表した。特別な商用ライセンスの下でリリースしており、Hugging Faceでダウンロードできる。70億パラメータと130億パラメータの2サイズ構成だ。

　LLM Compilerは、研究者や開発者がコードの最適化とコンパイラの最適化をさらに研究開発するための、スケーラブルで費用対効果の高い基盤を確立することを目指しているという。このモデルを利用することで、コードサイズを大幅に削減したり、プログラムの実行速度を向上させることができるとしている。

　従来のコード最適化手法は、手作業で設計された特徴やグラフニューラルネットワークに依存しており、プログラムの表現が不完全だが、LLM Compilerは「ソースプログラムを完全かつロスレスな表現で受け入れることができる」という。

　LLM Compilerのトレーニングパイプラインは、Code Llamaの初期化、アセンブリコードとコンパイラIRの事前トレーニング、コンパイラエミュレーションのための命令の微調整、ダウンストリームコンパイラタスクの拡張という4つの段階で構成されている。

　LLM Compilerは、最適化フラグチューニングと逆アセンブリという2つのダウンストリームコンパイルタスク向けに適合されている。

　トレーニングに使用した自動チューニング手法と比較すると、LLM Compiler FTDは追加のコンパイルを必要とせずに最適化の可能性の77％を実現するという。逆アセンブルする場合、LLM Compiler FTDは14％の確率で正しい逆アセンブリを作成する。どちらのタスクでも、LLM Compiler FTDモデルは同等のLLM Code LlamaおよびGPT-4 Turboを大幅に上回るとしている。

　ただし、入力のシーケンスの長さ（コンテキストウィンドウ）の上限は1万6000トークンなので、長いプログラムコードでは利用できないだろう。

　Metaはコンテキストウィンドウの拡大に取り組んでいるという。また、モデル出力の精度も課題なので、利用者はLLM Compiler固有の評価ベンチマークを使ってモデルを評価するよう勧めている。