押さえておきたいLLM用語の基礎解説 第2回 トランスフォーマー・エンコーダー・デコーダー・パラメータ・トークン・コーパス

画像提供：マイナビニュース

AI技術の急速な発展により、日常生活やビジネスに大きな変化を体験した人も多いだろう。特に近年では生成AIや、その中心となるLLM（Large Language Models：大規模言語モデル）の発展が目覚ましい。マイナビニュース TECH+でも、多くの活用事例や最新技術を紹介している。だがしかし、その仕組みや専門用語を理解するのは、意外と難しい。

そこで本連載では、生成AIやLLMに関連する用語について解説する。日々のビジネスや資格取得に向けた勉強、弊誌をはじめニュース記事を読む際の補足として活用してほしい。用語解説は、ソフトバンク子会社で日本語に特化したLLMの開発を進めるSB Intuitionsのエンジニアリングチーム。
トランスフォーマー

トランスフォーマー（Transformer）[1]は、2017年にGoogleの研究者らによって提案された深層学習モデル。アテンション（Attention：注意機構）と呼ばれる、文中の単語間の関係をうまく捉えることができる仕組みを利用し、アテンションをもつニューラルネットワークを複数重ねた構造を持つ。

トランスフォーマーはGPT（Generative Pretrained Transformer）[2]やBERT（Bidirectional Encoder Representations from Transformers）[3]といった言語モデルの他、画像認識や音声認識モデルにも組み込まれるなど大きな影響を与えた、広く利用されているモデル構造の一つ。ちなみに、SB Intuitionsが自社開発している言語モデル「Sarashina」もモデル構造としてトランスフォーマーを利用している。（黒澤）
○参考

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. In the Proceedings of the 31st Annual Conference on Neural Information Processing Systems.
[2] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving Language Understanding by Generative Pre-Training. OpenAI.
https://openai.com/index/language-unsupervised/
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers).
[4] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. 2020. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In the Proceedings of the 2021 Conference of the International Conference on Learning Representations.
[5]https://www.sbintuitions.co.jp/blog/entry/2024/06/26/115641
エンコーダー