GMOメディア、IT分野でのAI大規模言語モデル(LLM)の能力差を解明した論文が「2024年度 人工知能学会全国大会」にて採択
PR TIMES / 2024年3月22日 15時15分
GMOインターネットグループのGMOメディア株式会社(代表取締役社長:森 輝幸 以下、GMOメディア)が2024年3月11日(月)に発表した「大規模言語モデルの日本語実践的評価:JGLUEとIT パスポート試験を用いた比較分析」をテーマとした研究論文が、「2024年度 人工知能学会全国大会」(主催:一般社団法人人工知能学会)に採択されました。
本研究では、大規模言語モデル(LLM)が持つ推論能力(正確な解答を導き出す力)や問題解決能力の特徴を分析することで、LLMごとのIT分野における能力差を解明しました。
「大規模言語モデルの日本語実践的評価:JGLUEとIT パスポート試験を用いた比較分析」
https://college.coeteco.jp/ai-education-research-itpassport-results
[画像: https://prtimes.jp/i/136/4348/resize/d136-4348-16f9b619309a0a72150c-0.png ]
今年で38回目となる「人工知能学会全国大会」は、人工知能に関連する国内の研究者が一堂に集い、研究成果を発表する場として開催され、人工知能に関連する最新の技術動向や新しい研究成果、アイデアなどの発表、意見交換や交流が行われます。
このたび採択された論文は、執筆者のGMOメディアの羽中田 将(はちゅうだ・まさし)が、2024年5月28日(火)から31日(金)に開催される、「2024年度 人工知能学会全国大会」3日目(5月30日(木))のポスターセッションにて発表します。
【論文の概要】
■サマリー
・現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
・結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明した。
・最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
・LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
■背景と目的
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められています。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施しました。
■ 結論
IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かりました。
■論文執筆者
・羽中田 将(GMOメディア株式会社 サービス開発部 シニアエンジニア)
現サービス開発部AIチーム。2018年入社。2020年まで、技術推進室でレコメンドやデータ分析基盤の作成。その後、サービス開発部インフラチームのDBA(Database Administrator)で、MySQLの運用を担当し、2023年よりAIチーム発足に伴い、社内データ活用やAIの推進を行う。
【調査結果の活用方法と展望】
専門分野に特化するチューニングを施していない汎用的なLLMでも、一定の精度でIT分野の正確な解答を期待できるため、ITパスポート試験の学習においても、誤りがある可能性を踏まえた上で、「分からない単語や概念について質問する」「練習問題を作成する」などの活用方法は、一定程度有効であると言えます。
本研究において、各LLMに得意分野や不得意分野があることが判明したことは、価値があると考えています。今後も、こうした研究方法により他の資格試験を用いたLLMの評価分析を行っていく予定です。そして、それらの結果をもとに、資格試験をはじめとした学習にLLMを活用した授業の提案や対策講座の開発を促進してまいります。
GMOメディアは、今後もAIに関する研究を推進し、その結果を各事業へ生かす取り組みを積極的に行ってまいります。
【GMOメディア株式会社について】(URL:https://www.gmo.media/)
GMOメディアは、創業以来インターネット上で自社開発・自社運営のサービス群であるメディア事業を中心に展開しています。現在はプログラミング教育ポータル「コエテコ」と美容医療の情報に特化した「キレイパス」の2事業を投資育成し、それぞれプログラミング教室や医療機関のDXを支援するサービスも展開しています。
さらに、ソリューション事業としてメディア運営で培ったノウハウを基にポイントサイトの構築を支援する「GMOリピータス」と アフィリエイトASP「AffiTown」など提携パートナーの収益化のサポートも行っています。
以上
【GMOメディア株式会社】(URL:https://www.gmo.media/)
会社名 GMOメディア株式会社 (東証グロース市場 証券コード:6180)
所在地 東京都渋谷区桜丘町26番1号 セルリアンタワー
代表者 代表取締役社長 森 輝幸
事業内容 ■メディア事業 ■ソリューション事業
資本金 7億6,197万円
【GMOインターネットグループ株式会社】(URL:https://www.gmo.jp/)
会社名 GMOインターネットグループ株式会社 (東証プライム市場 証券コード:9449)
所在地 東京都渋谷区桜丘町26番1号 セルリアンタワー
代表者 代表取締役グループ代表 熊谷 正寿
事業内容 ■インターネットインフラ事業 ■インターネット広告・メディア事業
■インターネット金融事業 ■暗号資産事業
資本金 50億円
※記載されている会社名・製品名は、各社の商標、もしくは登録商標です。
Copyright (C) 2024 GMO Media, Inc. All Rights Reserved.
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
オルツ、GNIグループと創薬および投資分野におけるAI活用に関する協業を発表
PR TIMES / 2024年4月25日 16時45分
-
オルツ、GNIグループと創薬および投資分野におけるAI活用に関する協業を発表
共同通信PRワイヤー / 2024年4月25日 15時0分
-
身体性の有無による人間と機械の言語処理プロセスの違いの解明に向けたオノマトペ音象徴性の分析を行った論文が「2024年度 人工知能学会全国大会」にて発表採択
PR TIMES / 2024年4月24日 13時15分
-
LLMによる視覚読解技術を確立 ~グラフィカルな文書を理解する「tsuzumi」実現に向けて~
Digital PR Platform / 2024年4月12日 0時0分
-
【4/23開催ウェビナー】大規模言語モデル関係者必見のLLM構築発表会! LLM構築におけるInstruction Dataの重要性とData Centric開発をした事例〜
@Press / 2024年4月3日 14時0分
ランキング
-
1スバル、山崎製パン、キリン……相次ぐ“事故” 問題の根っこに何がある?
ITmedia ビジネスオンライン / 2024年4月24日 8時35分
-
25月以降の日経平均上昇を裏付ける「3つの追い風」 今後もドル高円安の大幅修正は見込みづらい
東洋経済オンライン / 2024年4月28日 9時30分
-
3「大したことない話なので割愛します」は正しいか…75%が「割愛」を本来と違う意味で使っていることが判明
プレジデントオンライン / 2024年4月28日 8時15分
-
4蹴飛ばされて全治1ヵ月の“腰椎圧迫骨折”。貯金4,000円・借金800万円の61歳DV夫の死で、妻が決断…じつは日本で増えている「死後離婚」の壮絶な実態【行政書士が解説】
THE GOLD ONLINE(ゴールドオンライン) / 2024年4月27日 11時30分
-
5明治「ザバス」が絶好調!プロテイン飲料最前線 まだ伸びるタンパク質市場へ「オイコス」も参戦
東洋経済オンライン / 2024年4月28日 7時20分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください