押さえておきたいLLM用語の基礎解説 第3回 学習率・事前学習・クリーニング・ファインチューニング・インストラクションチューニング・プレファレンスチューニング
マイナビニュース / 2024年10月29日 9時0分
AI技術の急速な発展により、日常生活やビジネスに大きな変化を体験した人も多いだろう。特に近年では生成AIや、その中心となるLLM(Large Language Models:大規模言語モデル)の発展が目覚ましい。マイナビニュース TECH+でも、多くの活用事例や最新技術を紹介している。だがしかし、その仕組みや専門用語を理解するのは、意外と難しい。
そこで本連載では、生成AIやLLMに関連する用語について解説する。日々のビジネスや資格取得に向けた勉強、弊誌をはじめニュース記事を読む際の補足として活用してほしい。用語解説は、ソフトバンク子会社で日本語に特化したLLMの開発を進めるSB Intuitionsのエンジニアリングチーム。
学習率
学習率とは、一般にニューラルネットワークモデルの学習に用いられる勾配法において、パラメータの更新度合いを表す指標。勾配法の一種である勾配降下法の場合、時刻tにおけるパラメータをθ(t)として、θ(t+1) = θ(t) - α × ∇Lと更新される(αが学習率)。
∇Lは勾配と呼ばれるその時点までのパラメータによる予測結果と正解との差を表す損失(ロス)の偏微分であり、それに掛かる学習率αは、重要なハイパーパラメータの一つ。学習を通して定数とする場合や、学習ステップとともに変化していく値として設定する場合もある。たとえばSB intuitionsが開発するLLM「Sarashina2」における学習率は2.5e-4 (2.5×10^-4)を最大とし、次第に下げていくように設定している[1]。(黒澤)
○参考
[1] 大規模な日本語の事前学習言語モデルSarashina1・2の公開
https://www.sbintuitions.co.jp/blog/entry/2024/06/26/115641
事前学習
事前学習とは、ニューラルネットワークモデルに汎用的な知識を持たせるため、大量のデータを用いて行なう教師なし学習(厳密には自己教師あり学習)のこと。GPT[1]の事前学習タスクとして使用されている、LLMの事前学習におけるタスクは、ある入力のトークン列をもとに、その次のトークンを予測すること (Next Token Prediction) がある。
この事前学習タスクを行うことで、個別のタスクを解くための大規模な学習を行なうことなく数個の例をプロンプトに含めること(Few-Shot)のみでそのタスクの傾向を読み、解けるようになる。「Sarashina2」の構築に用いた事前学習データは約2.1兆トークンあり、そのうち日本語は約1兆トークン含まれている[2]。(黒澤)
○参考
この記事に関連するニュース
-
ストックマーク LLM組織の高橋が執筆した日本語LLMの分析論文が LLM領域の査読付き国際学会「PACLIC 38」に採択
PR TIMES / 2024年10月30日 12時15分
-
リコー、経済産業省の国内生成AI開発力強化プロジェクト「GENIAC」に採択
Digital PR Platform / 2024年10月17日 11時0分
-
オープンソースLLMの日本語能力を高めた「Llama 3.1 Swallow」を公開
共同通信PRワイヤー / 2024年10月8日 14時0分
-
SoftBank World 2024にてAiHUBのバーチャルヒューマン「Sali」がナビゲーターとして登場
PR TIMES / 2024年10月4日 19時40分
-
Gemma 2の日本語継続事前学習モデル「Gemma 2 Baku 2B」シリーズを公開
PR TIMES / 2024年10月4日 17時40分
ランキング
-
1画面オフ時に「ちいかわ」たちが浮かび上がる!点灯中は操作を妨げない「ガラススクリーンプロテクター」全4種が12月発売
インサイド / 2024年10月31日 19時45分
-
2もはやカメラの「AQUOS R9 Pro」ほぼハイエンドの「AQUOS sense9」、シャープが新スマホ2機種を発表
&GP / 2024年10月30日 22時0分
-
3FCNTが「らくらくスマートフォン」の新モデルを一挙3モデル発表 ドコモ向け/Y!mobile向け/MVNO向けを順次発売
ITmedia Mobile / 2024年10月31日 14時30分
-
4マイナ保険証、利用登録を解除すれば紙の“資格確認書”がもらえる
ASCII.jp / 2024年10月31日 12時0分
-
5電池が足りないときに“アレ”で代用 自衛隊公式が教える緊急時のライフハックがお役立ち 「素晴らしい」「これは本当に使える」
ねとらぼ / 2024年10月31日 20時50分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください