画像認識世界最高峰の学会、CVPR2024のコンペ「Ego4D EgoSchema Challenge」でパナソニック コネクトが世界で第2位の評価を獲得
PR TIMES / 2024年7月16日 15時45分
[画像: https://prtimes.jp/i/3442/5803/resize/d3442-5803-f018a17528a2cdeca95d-2.jpg ]
パナソニック コネクト株式会社(本社:東京都中央区、代表取締役 執行役員 プレジデント・CEO:樋口 泰行、以下、パナソニック コネクト)は、画像認識世界最高峰の学会、CVPR2024のコンペ「Ego4D EgoSchemaChallenge(※1)」にて3分間の動画を見て、「映像の中の人物の行動から、人物が何をしようとしているのかを推測してください」等の質問に対する最適な回答を5つの選択肢から選んでAI認識技術で回答するタスク(Video Question Answering:VideoQAタスク)に取り組み、開発した生成AIマルチエージェントシステムにより正解率71%を達成し、世界で2位の評価を獲得しました。
■開発の背景
静止画を認識する能力と異なり、動画の内容を理解して質問に答えるためには、長時間の動画の中で時間の経過に伴い変化する様々な動きの中から重要な行動やその目的を認識して判断し、同時に言語で表現された質問文と回答文を解釈する必要があり、動画と言語の相互理解を行う高度な技術開発が求められます。
パナソニック コネクトでは、2021年の同学会で受賞歴のある動画を用いた行動予測タスクの研究開発経験(※2)を活かし、動画と自然言語処理の融合領域であるVideo Question Answeringタスクにチャレンジしました。
■今後の展望
これまでの画像認識技術は、人がいること、モノがそこにあること、人の手で何かを持っているといったその場、その時の事象を把握することに限られていましたが、今回のAIマルチエージェントシステムの開発を通じて、長い動画の内容を過去からの経緯を理解して推測、判断することが可能になります。なぜ人がそこにいるのか、それを持っているのか、何をしようとしているのか、を把握することで、人が次に取るべき行動の推奨や、過去から今に至るまでの一連の行動の中から修正や改善が望まれる行動の抽出に活用できるようになると考えています。
例えば工場のものづくりの工程の中で非効率な作業を把握し、工程の見直しが可能となるため、製造の現場の改善につながります。今後は、パナソニック コネクトが事業領域として注力しているサプライチェーンの領域、製造、物流、流通の現場でのAIマルチエージェントシステムの活用を視野に、さらなる開発に取り組んでまいります。
※1 一人称視点の動画と、動画に関する質問文、質問に対する5つの回答文選択肢が与えられ、動画に関する質問文に対して最も適した回答文を選択すること(Video Question Answering:VideoQAタスク)を競う大会です。
※2 世界最高峰の画像認識国際学会 CVPR2021のワークショップの一つ
全文は以下プレスリリースをご覧ください。
▼[プレスリリース]画像認識世界最高峰の学会、CVPR2024のコンペ「Ego4D EgoSchema Challenge」でパナソニック コネクトが世界で第2位の評価を獲得(2024年7月16日)
https://news.panasonic.com/jp/press/jn240716-1
<関連情報>
・パナソニックが、「EPIC-KITCHENS-100 2021 Challenges」コンテスト動作予測部門で、準優勝(2021年7月9日発表)
https://news.panasonic.com/jp/press/jn210709-1
・Egocentric Live 4D Perception (Ego4D)
https://ego4d-data.org/
・視覚と言語情報を同時に扱うAIマルチエージェントシステム ソースコード(GitHub)
https://github.com/PanasonicConnect/VDMA
・視覚と言語情報を同時に扱うAIマルチエージェントシステム テクニカルレポート(arXIV)
https://arxiv.org/abs/2407.03610
・パナソニック コネクト株式会社 ウェブサイト
https://connect.panasonic.com
・パナソニック コネクト Newsroom
https://connect.panasonic.com/jp-ja/newsroom
・パナソニック コネクト DEI(Diversity, Equity & Inclusion)
https://connect.panasonic.com/jp-ja/about/sustainability/dei
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
パナソニックHD、Flowベース生成モデルにおいて、従来難しかったタスク特有の知識を扱えるAI技術を開発
PR TIMES / 2024年7月12日 17時40分
-
慶應義塾大学AI・高度プログラミングコンソーシアムの新たな研究拠点にパナソニック コネクトの顔認証クラウドサービスを納入 ~約2,000人の学内・学外関係者の入退を管理、安全で快適な環境を実現~
PR TIMES / 2024年6月27日 12時15分
-
パナソニック コネクト 生成AI導入1年の実績と今後の活用構想
PR TIMES / 2024年6月25日 14時15分
-
ゲーム理論でAIの視点を可視化 画像認識AIの判断根拠を可視化する新技術
PR TIMES / 2024年6月21日 17時40分
-
製造業のお客様向け体験型共創ラボ「AI Inspection Lab」をリニューアル
PR TIMES / 2024年6月17日 15時45分
ランキング
-
1旅客機用の燃料不足で緊急対策 輸送船を増強、運転手確保へ
共同通信 / 2024年7月16日 23時42分
-
2CoCo壱「わずか3年で3回目の値上げ」は吉と出るか 過去の値上げでは「客離れ」は見られないが…
東洋経済オンライン / 2024年7月16日 17時30分
-
3大谷翔平の新居「晒すメディア」なぜ叩かれるのか スターや芸能人の個人情報への向き合い方の変遷
東洋経済オンライン / 2024年7月16日 20時40分
-
4工学系出身者が「先進国最低レベル」日本の"暗雲" エンジニアを育てられない国が抱える大問題
東洋経済オンライン / 2024年7月16日 17時0分
-
5中国は不動産バブル崩壊で「未完成ビル」と「売れ残り住宅」の山→政府当局が打ち出した“支援策”の裏にひそむ「重大な懸念点」【現地駐在員が解説】
THE GOLD ONLINE(ゴールドオンライン) / 2024年7月15日 8時15分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください