押さえておきたいLLM用語の基礎解説 第2回 トランスフォーマー・エンコーダー・デコーダー・パラメータ・トークン・コーパス

エンコーダーはデータをある形式から別の形式に変換するもので、データの圧縮や、次元削減、特徴量の抽出などのために使用される。特に自然言語処理の分野では、テキストなどの言語データに含まれる各トークン（トークンについては後述）のベクトル表現からなる系列から、テキストや単語の意味などを捉えたベクトル表現を得るために使われる。

上記のBERT[1]は代表的なエンコーダーモデルであり、入力されたテキストが持つ意味を抽出したベクトル表現を出力して、テキスト分類などのタスクを解くことに利用される。また、発表された当時の翻訳タスクに用いられるトランスフォーマー[2]は、エンコーダーと、後述するデコーダーを組み合わせたアーキテクチャを持つ。エンコーダーは翻訳対象となる言語のテキストから翻訳に有用なベクトル表現を得る役割を担う。（泉）
○参考

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers).
[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. In the Proceedings of the 31st Annual Conference on Neural Information Processing Systems.
[3] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. 2014. Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1724–1734, Doha, Qatar. Association for Computational Linguistics.
デコーダー