ELYZA、日本語LLMとしての性能向上を図った「Llama-3-ELYZA-JP-120B」発表

画像提供：マイナビニュース

ELYZAは9月19日、日本の生成AIの開発強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」に採択され、計算資源などの支援を受けながら基盤モデルの研究開発進め、新たな日本語LLM（Large Language Models：大規模言語モデル）「Llama-3-ELYZA-JP-120B」を構築したことを発表した。この成果は「GENIAC成果報告会」にて公表したという。

同社はモデルの構築にあたり、日本語LLMの性能向上に向けた新たな試みとして、モデルの基礎能力向上と日本特有の知識・表現の性能向上を実施。モデルの基礎能力向上では、従来から取り組んでいたオープンモデルをベースにした継続学習によるモデル開発手法に、「Depth Up-Scaling」というモデルサイズ拡張アプローチを組み合わせた。これにより、パラメータ数の増強による性能向上を図った。

日本特有の知識・表現の性能向上では、日本での社会実装を見据えて、日本特有の知識（法令、行政手続きなど）に関する特化学習による性能向上を試みた。その応答性能を測るためのベンチマークを新たに作成して評価した結果、「GPT-4（0613）」を超えるスコアを獲得たとのことだ。

なお、今回の研究開発における技術的な工夫や得られた知見のより詳細な情報については後日技術ブログなどを通じて公開予定だとしている。
（熊谷知泰）