押さえておきたいLLM用語の基礎解説 第1回 AI・大規模言語モデル・生成AI・ニューラルネットワーク・ディープラーニング

大規模言語モデルの性能が飛躍的に向上した要因として、「Transformer」というニューラルネットワークの設計が、文中の要素間の関係を高い精度で捉えることが可能なこと、大量の計算機をまたぐ並列学習が可能でありモデルの大型化が実現したことが挙げられる。（新里 顕大）
○補足

対話などのタスクに応用するには、大規模言語モデルを調整用のデータでさらに学習する必要がある。
生成AI

文章や画像、音声などのコンテンツを作成することができるAIで、一般的には大量のデータによって学習されている大規模モデルを指す。私たち人間が簡単な指示を与えるだけで自動でコンテンツを生成してくれるため、さまざまな場所や用途で利用されるようになった。

ただし、生成AIのうち一部は著作権に守られた文章や画像などを学習に利用していて、人間の指示によって生成されたコンテンツが著作権侵害を引き起こす可能性もあるため、注意して利用すべきである。なお「生成AI」は2022年のChatGPTの出現によって広く使われるようになった用語で、2023年の新語・流行語大賞のトップテンにも選ばれた。（黒澤 友哉）
○参考

生成AIはじめの一歩～生成AIの入門的な使い方と注意点～
新語・流行語大賞（2023）年間大賞「アレ（A.R.E.）」阪神 岡田監督
ニューラルネットワーク

生物の脳の内部にある神経回路のこと。ニューロンと呼ばれる細胞が、あるニューロンから受け取ったシグナルに対し何らかの変換を施した後、異なるニューロンに伝播させるという内部構造をもち、学習の過程でその変換方法などを調整する。

人工知能の分野では、生物の脳の構造を模して作られた数理モデルを人工ニューラルネットワークと呼び、単にニューラルネットワークとも呼ぶ。数理モデルとしての概念自体は20世紀前半に現れたが、大規模化によりさまざまな分野で高い性能が達成できるようになったのは21世紀に入ってから。ChatGPTをはじめ多くの大規模言語モデルで用いられている「Transformer」もニューラルネットワークモデルの一つ。（黒澤 友哉）
ディープラーニング

多層のニューラルネットワークを用いて、データから与えられたタスクを解くための特徴やパターンを自動的に学習する技術。類似したネットワーク構造を繰り返して接続し多層化することより、予測精度などの性能が向上した。

学習過程では、パラメータを調整することでタスクに応じて設定した目的関数を最適化する。その際に計算する目的関数の微分値を自動的に計算する誤差逆伝播法というアルゴリズムの利用と、GPUのような高速なハードウェアの応用によって、ディープラーニングは2010年代以降著しい発展を見せている。画像認識や自然言語処理、音声認識などの分野でディープラーニングの応用が進んでおり、大規模言語モデルもその一例である。（新里 顕大）