複雑な｢体操競技の判定｣､審判支えるAIの凄み 富士通が国際体操連盟と採点システムを開発

さまざまな角度から採点するため審判が多く、種目によっては13名の審判が採点することになる。採点では採点規則に基づき、審判が神業的に目視で技を見極めて手書きで採点シートに書き入れるのが通例だった。

だが、技の高度化や複雑化が進み、判定にもより高いスキルが求められるようになり、審判の責任や負荷が高まっていた。

そこで富士通では、人の多様な動きを高精度にデジタル化する「Human Motion Analytics（以下、HMA）」を開発。これまでのディープラーニングによる画像解析で課題だった姿勢認識のブレを大幅に低減できる独自補正アルゴリズムのほか、AIの学習データを人工的に大量に生成する技術の実現に成功した。

賢いAIをつくるには、どんな情報でいかに学習させるかがポイントだ。開発当初は、実際に選手が演技している画像で学習していたが、途中から人工的に生成した演技画像も含めて正しい骨格情報をAIに覚えさせることで、開発期間を短縮したという。

また、人の動きを4次元（3次元＋時系列）で捉え、「技」を瞬間ではなく「一連の動き」として認識する技術も開発。これで複雑かつ高速な体操競技の動きであっても、精緻に捉えた分析ができるようになり、高精度な解析が可能となった。JSSの開発時点で、体操の技は約1500ほどあったが（富士通調べ）、それぞれの技を動作の組み合わせとしてAIに認識させることで開発ボリュームを抑える工夫も行っている。

ブレークスルーのきっかけ

富士通は、テクノロジーカンパニーであるがゆえに、会社の中に埋没している技術がたくさんあるという。これをいかに有効に使うかも重要で、埋もれた技術を組み合わせることからブレークスルーへのきっかけが生まれたと語る。

「開発のブレークスルーとなったのは、動作の計測をセンサーからカメラ映像による画像解析に置き換えたことだった。それまではセンサーでなければ人の動きを捉えられなかったが、生成技術をほかの分野に転用していくためには、カメラのほうが汎用性は高い。カメラ4台（ゆか競技は8台）で多角的に取得した画像データを、骨格認識や技のデータベースとマッチングさせAIで分析を行って採点している」

こうして生まれたJSSの導入で、何が変わったのか。現在、基本的には審判が判定する際のサポートとして利用されている。

とくに審判が判定に迷ったときは、これまでビデオリプレイが使われてきたが、JSSでは3次元のデータを駆使して、審判が確認したい動作を瞬時に確認できるようになった。JSSで出力されるデータは、①Dスコア・難度・グループコード、コネクティッドバリュー、②技名、③CG・骨格データ、④角度・距離、⑤カメラ画像・タイムラインだ。