押さえておきたいLLM用語の基礎解説 第2回 トランスフォーマー・エンコーダー・デコーダー・パラメータ・トークン・コーパス
マイナビニュース / 2024年9月26日 15時0分
AI技術の急速な発展により、日常生活やビジネスに大きな変化を体験した人も多いだろう。特に近年では生成AIや、その中心となるLLM(Large Language Models:大規模言語モデル)の発展が目覚ましい。マイナビニュース TECH+でも、多くの活用事例や最新技術を紹介している。だがしかし、その仕組みや専門用語を理解するのは、意外と難しい。
そこで本連載では、生成AIやLLMに関連する用語について解説する。日々のビジネスや資格取得に向けた勉強、弊誌をはじめニュース記事を読む際の補足として活用してほしい。用語解説は、ソフトバンク子会社で日本語に特化したLLMの開発を進めるSB Intuitionsのエンジニアリングチーム。
トランスフォーマー
トランスフォーマー(Transformer)[1]は、2017年にGoogleの研究者らによって提案された深層学習モデル。アテンション(Attention:注意機構)と呼ばれる、文中の単語間の関係をうまく捉えることができる仕組みを利用し、アテンションをもつニューラルネットワークを複数重ねた構造を持つ。
トランスフォーマーはGPT(Generative Pretrained Transformer)[2]やBERT(Bidirectional Encoder Representations from Transformers)[3]といった言語モデルの他、画像認識や音声認識モデルにも組み込まれるなど大きな影響を与えた、広く利用されているモデル構造の一つ。ちなみに、SB Intuitionsが自社開発している言語モデル「Sarashina」もモデル構造としてトランスフォーマーを利用している。(黒澤)
○参考
[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. In the Proceedings of the 31st Annual Conference on Neural Information Processing Systems.
[2] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving Language Understanding by Generative Pre-Training. OpenAI.
https://openai.com/index/language-unsupervised/
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers).
[4] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. 2020. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In the Proceedings of the 2021 Conference of the International Conference on Learning Representations.
[5]https://www.sbintuitions.co.jp/blog/entry/2024/06/26/115641
エンコーダー
この記事に関連するニュース
-
『大規模言語モデル(LLM)白書2024年版 ー モデルの拡張・応用・特化型・プラットフォーム動向篇』 発刊のお知らせ
PR TIMES / 2024年10月15日 12時45分
-
SoftBank World 2024にてAiHUBのバーチャルヒューマン「Sali」がナビゲーターとして登場
PR TIMES / 2024年10月4日 19時40分
-
Gemma 2の日本語継続事前学習モデル「Gemma 2 Baku 2B」シリーズを公開
PR TIMES / 2024年10月4日 17時40分
-
リコー、モデルマージの手法で700憶パラメータの日本語LLMを開発
マイナビニュース / 2024年9月30日 18時29分
-
リコー、モデルマージによってGPT-4と同等の高性能な日本語LLM(700億パラメータ)を開発
Digital PR Platform / 2024年9月30日 11時3分
ランキング
-
1Xのブロック機能や規約の変更後、Blueskyに50万人の新規ユーザー
ITmedia NEWS / 2024年10月19日 10時31分
-
2神奈川県をRPG世界化したら…… ファンタジーすぎる“まさかの地名”に1800万表示 「脳汁出たw」
ねとらぼ / 2024年10月19日 19時50分
-
3めざましテレビが「まいたけダンス」紹介→元ネタのVTuberに触れずさまざまな意見 「何も紹介が無いのは違う」「フリー素材扱いしたかったのかな?」
ねとらぼ / 2024年10月16日 17時34分
-
4新型iPad mini、性能上がり6000円値下げ 「お買い得」「以前の価格に戻った」などの声
iza(イザ!) / 2024年10月16日 13時8分
-
5「素で叫んだ」 マクドナルド公式の“意味深”画像 → “背景に隠されたもの”にツッコミ殺到 「背後霊が見える」「サブリミナルは草」
ねとらぼ / 2024年10月19日 13時4分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください