LLMによる視覚読解技術を確立 ~グラフィカルな文書を理解する「tsuzumi」実現に向けて~
Digital PR Platform / 2024年4月12日 0時0分
[画像4]https://digitalpr.jp/simg/2341/86559/700_310_202404111010066617386eab6d7.JPG
5.研究協力の状況
本成果は、2023年度における東北大学 データ駆動科学・AI教育研究センター 鈴木潤 教授との共同研究の成果となります。
6.今後の展開
本技術は、視覚表現された文書を基に質問応答を行う技術やWeb検索など産業上重要なサービスの発展に貢献します。作業自動化をはじめ、ヒトと協働し、価値を生み出すAIの実現に向けて技術確立をめざします。
<用語解説>
※1 tsuzumi
NTT版大規模言語モデル。日本語の処理性能を重視し、独自の大量のテキストデータを使って学習された言語モデル。詳細は、報道発表をご参照ください。
URL: https://www.rd.ntt/research/LLM_tsuzumi.html
※2 AAAI (Annual AAAI Conference on Artificial Intelligence)
人工知能に関するトップレベルの国際会議
URL: https://aaai.org/aaai-conference/
※3 言語処理学会年次大会
日本国内において自然言語処理を扱う最大規模の学会
URL: https://www.anlp.jp/nlp2024/
※4 視覚読解技術
文書を画像として捉え、視覚情報から理解し読解を行う技術。
※5 アダプタ技術
画像エンコーダとLLMの橋渡しとなるモジュール。
※6 Transformer
入力シーケンスを出力シーケンスに変換または変更するニューラルネットワークアーキテクチャの一種。
※7 相互注意と自己注意
二つの入力系列が与えられた時に、どこの入力箇所に注意すべきかを計算する機構。与えられる二つの系列が同一の場合、自己注意。そうでない場合は、相互注意と呼ばれる。
※8 InfographicVQA
インフォグラフィック(情報、データ、知識を視覚的に表現した文書)に対する質問応答タスク
URL: https://rrc.cvc.uab.es/?ch=17&com=evaluation&task=3
※9 SlideVQA
複数スライド画像に対する質問応答タスク
URL: https://github.com/nttmdlab-nlp/SlideVQA
※10 LLaVA
視覚と言語を統合した大規模モデル
URL: https://llava-vl.github.io/
この記事に関連するニュース
-
「tsuzumiパートナープログラム」募集開始
@Press / 2024年5月29日 13時0分
-
ナレッジグラフと大規模言語モデルを融合する研究開発を強化することで、生成AIの信頼性を高め業務活用を加速
PR TIMES / 2024年5月17日 18時15分
-
世界初、AIモデルの再学習コストを大幅に削減可能な過去の学習過程を再利用する「学習転移」を実現 ~NTT版LLM「tsuzumi」など基盤モデルの更新・差し替えを容易に~
Digital PR Platform / 2024年5月7日 15時13分
-
連合学習において一部のクライアントに異常や悪意がある場合にも高精度にAIモデルを学習可能な手法を開発 ~LLM tsuzumi の学習への適用やIOWN機能としての実用化を目指す~
Digital PR Platform / 2024年5月7日 15時10分
-
NSSOL、生成AI・LLMを活用した業務自動化を実現するプラットフォーム「Alli LLM App Market」を提供開始
Digital PR Platform / 2024年5月7日 13時57分
ランキング
-
1「SNS投資詐欺」の被害が爆増している根本原因 "メディア"や"広告主"の責任も問われている
東洋経済オンライン / 2024年6月1日 7時30分
-
21人気ままに暮らしていた90歳女性、子どもの世話になった途端に動悸、食欲不振に…「親の介護は子どもがする」は世間体を気にした単なる“エゴ”【有名医師が解説】
THE GOLD ONLINE(ゴールドオンライン) / 2024年6月1日 8時0分
-
3スバルの「新・水平対向エンジン」何が凄い? トヨタハイブリッドを独自進化させた“スバルらしさ” 新型「フォレスター&クロストレック」に搭載へ
くるまのニュース / 2024年5月31日 12時10分
-
4政府・日銀の為替介入は総額9兆7885億円、1か月間では過去最大
読売新聞 / 2024年5月31日 19時13分
-
5来春卒大学生の採用面接解禁 既に内定率78%、進む形骸化
共同通信 / 2024年6月1日 10時50分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください