押さえておきたいLLM用語の基礎解説 第3回 学習率・事前学習・クリーニング・ファインチューニング・インストラクションチューニング・プレファレンスチューニング

[1] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving Language Understanding by Generative Pre-Training.
https://openai.com/index/language-unsupervised/
[2] 大規模な日本語の事前学習言語モデルSarashina1・2の公開
https://www.sbintuitions.co.jp/blog/entry/2024/06/26/115641
クリーニング

LLM構築の文脈では、クリーニングは学習データ(コーパス)をモデルの学習前に処理しておくことを指す。コーパスの主なデータ源はインターネットから広く収集されたテキストであるが、ここには学習の際にノイズとなるテキストも大量に含んでいる。

クリーニングの目的はこのノイズを取り除くことにある。ノイズとなるテキストの例として、広告由来のテキストで商品に関連する名詞が繰り返されているもの、メニューやタグに由来する文字列、テンプレートを基に単語を差し替えて機械的に生成されているような文などが挙げられる。（新里）
ファインチューニング

ファインチューニングとは、事前学習済みモデルを別のデータセットを使って再トレーニングすることでモデルのパラメータを調整し、各タスクの性能を強化することを指す。LLMでは対話など特定のタスクに適応させるための手法として使われる。

LLMは汎用的な言語理解能力を獲得しているが、そのままでは特定のタスクで高い性能を発揮することが難しい。ファインチューニングでは、LLMを基にタスク固有の高品質なデータを用いて追加学習を行う。

この際、モデルのアーキテクチャは変更せず、パラメータのみを更新する。ファインチューニングによりLLMの汎用的な知識を生かしつつ、タスクに特化した応答性質や知識を獲得することができる。（新里）
インストラクションチューニング

インストラクション（=指示）チューニング（Instruction Tuning）は、LLMが人間の指示に従った文章を生成するようにファインチューニングを行う手法である。事前学習後のLLMは入力テキストに基づいて次のトークンを予測し続ける (Next Token Prediction） ことでテキストを生成するが、そのままだと人間の指示に従う能力が限定的である。