【東芝】少ない計算量で高精度に人物の行動を認識する「ハイブリッド行動認識AI」を開発 ～「骨格認識AI」と「動画認識AI」を組み合わせ、道具を使った作業を詳細に判別し製造現場のDX推進に貢献～

本技術の特長
　そこで当社は、少ない計算量で、持ち物も加味して人物の行動を認識するために、人物の骨格の動きと1枚の画像を効率的に組み合わせることで高精度に行動を認識する「ハイブリッド行動認識AI」を開発しました（図1）。
　本AIは、骨格の動きを参考に、独自のAIアルゴリズムを用いて、カメラ映像から行動認識に重要なキーフレームとなる画像を1枚だけ抽出します。具体的には、行動認識に必要となる度合いを「注目度」という指標で表し、時系列に並ぶフレームの中から、「注目度」が高いフレームを選択します。この技術により、「動画認識AI」と「骨格認識AI」の両者のデメリットを打ち消し合う「ハイブリッド行動認識AI」を実現しました。
　キーフレームとなる画像のみを利用することで、少ない計算量で、骨格情報には含まれない工具や部品などのビジュアル情報をAIに取り組むことができ、骨格と画像の情報を効率的に計算する行動認識が可能となります（動画）。


[画像1]https://digitalpr.jp/simg/1398/97746/700_391_20241025155138671b3ffa46f4a.jpg


図1：独自の「ハイブリッド行動認識AI」


https://www.youtube.com/watch?v=SJM0FfTV-F0

動画：既存技術と「ハイブリッド行動認識AI」の行動認識の比較

　本AIを公開データセットで評価した結果、「骨格認識AI」のみで認識する手法に比べて、道具を使う行動の認識精度が大幅に向上しました。例えば、「スマートフォンやタブレットを使用する」という行動では、本AIによって認識精度が51.6％から89.5％に向上したことを確認しました(図2)。
　本AIにより、「骨格認識AI」だけでは認識できなかった行動が区別できるようになり、詳細な作業内容や所要時間を実用的な精度で解析できます。
　加えて、動画のフレームをすべて処理する「動画認識AI」と比較して、本AIは4.6倍高速に処理することができるため、現場への導入が進んでいる「骨格認識AI」と同様にリアルタイムでの処理が可能です(*1)。


[画像2]https://digitalpr.jp/simg/1398/97746/450_353_20241025155141671b3ffd09506.jpg


図2：従来技術と比較した「ハイブリッド行動認識AI」の精度改善効果

今後の展望
　当社は今後、本AIを当社グループの工場や東芝ライテック(株)の製品であるカメラ付きLED照明「ViewLED」を用いた画像解析ソリューションなどへ広く活用し、早期の実用化を目指します。


*1 :約8秒の動画を処理したときに、行動認識にかかる時間から試算

以　上