富士通とカーネギーメロン大学、固定設置の単眼カメラの2次元画像から人や物体を動的かつ高精度に3次元化する技術を開発
PR TIMES / 2024年3月7日 17時15分
富士通株式会社(注1)(以下、富士通)と米国のCarnegie Mellon University(注2)(以下、カーネギーメロン大学)は、2022年2月に開始したソーシャルデジタルツインの共同研究の一環で、固定設置の1台の単眼カメラから得られる画像に映る物体をAIによって3次元に変換しデジタル化することで人や物体の3次元形状や位置を高精度かつ動的に再構築する技術を2024年2月に開発しました。両者は2024年2月22日から、カーネギーメロン大学周辺の交差点を撮影した画像データなどで本技術の有効性を検証する実証実験を開始しました。
本技術は、深層学習によって人や物体の形状を学習したAIを用いて、カメラに映る2次元の各物体の3次元形状を推定可能にする3次元形状推定技術と、建物や地形などを含む3次元モデル上で人や物体を高精度に位置推定し復元する3次元プロジェクション技術の2つのコア技術によって構成されています。これらの技術を活用することで、例えば交差点など人や車が密集する場面で撮影された画像を、匿名化したうえで3次元上へ動的に復元し、監視カメラでは捉えきれなかった交通事故の原因などの潜在的な課題の可視化を実現します。
今後両者は、適用シーン拡大に向けて、交通だけでなくスマートシティなどにおける有用性も検証し、2025年度までに本技術の実用化を目指します。
【背景】
富士通とカーネギーメロン大学は、2022年2月より、人、モノ、経済、社会の間の複雑な相互作用を3次元上に動的に再現するソーシャルデジタルツインの共同研究を開始しており、複数角度から撮影された動画を高速高精細に画像生成する高速3次元シーン復元技術の開発などの取り組みを進めてきました。しかし、共同研究を進める中で、撮影画像を3次元に動的に復元するためには、映像の解析精度が技術的に不十分な部分や、3次元上で正確に物体の位置や形状を再現するために複数のカメラが必要となり、作業負荷、コストなどに課題があり社会実装の障壁となっていました。
両者は、上記の課題を解決するため、複数のカメラで同時撮影した映像を組み合わせることなく、1台の単眼カメラで物体を固定の位置のみから撮影する場合でも動的3次元シーンモデルを再構築する技術を開発しました。
【開発技術について】
本技術は、主に以下の2つのコア技術から構成されています。
(1) 3次元形状推定技術:
本技術は、様々な角度から撮影した市街の複数の画像を、画像に映り込む建物や人などの物体の種別を判別させたうえで深層学習を用いて学習させたモデルを活用します。これにより、単眼カメラの1枚の市街の画像からでも、3次元空間上のVoxel(注3)の集合体として、建物や人といったカテゴリも含めて表現することが可能になります。また、事前の機械学習によって、建物の裏側などの画像では隠れて映っていない部分についても、正確な3次元形状の推定を可能にします。
(2) 3次元プロジェクション技術:
本技術は、3次元形状推定技術の出力結果に基づいて3次元化されたデジタルツイン上で、既に学習済みの社会人文科学的な人間の行動分析のノウハウを組み込むことで、例えば人が物体をすり抜けるなど、現実世界では起こり得ない人間の動きを除外しつつ、進行方向や速度情報などとともに3次元上に高精度に配置可能にするものです。これにより、人や車の動きをより現実世界に即した形で復元可能となるほか、物体の特定の部分が障害物によって隠されている場合でも正確な位置推定を可能にします。
[画像: https://prtimes.jp/i/93942/260/resize/d93942-260-9cca867bfb6b61c609e1-0.png ]
【実証実験について】
期間: 2024年2月22日(木曜日)から2024年5月31日(金曜日)まで
場所: 米国ペンシルバニア州ピッツバーグ市
内容: カーネギーメロン大学内などに単眼カメラを設置し、大学周辺の交差点を撮影した画像データに映る物体を認識し、人の顔や車のナンバープレートなどを匿名化してプライバシーを保護したうえで、ソーシャルデジタルツイン上で再現する実証実験を実施。大学周辺の人の往来や交通状況などを分析し、分析結果から、建物や一時的な人混みにより発生する死角などの潜在的な事故の可能性を発見し、その防止策の立案を目指すことなど、開発技術の有効性を検証。
【Carnegie Mellon University Laszlo A. Jeni助教授のコメント】
この成果は、富士通のチーム、ならびにSean Qian教授、Srinivasa Narasimhan教授をはじめとするカーネギーメロン大学のチームによる共同研究の成果であり、今回の発表を喜ばしく思います。カーネギーメロン大学では、今後も富士通との連携を通じて最先端技術の研究を進めていきます。
【富士通株式会社 富士通研究所フェロー兼 コンバージングテクノロジー研究所 所長 増本 大器のコメント】
当社のパーパスは、「イノベーションによって社会に信頼をもたらし、世界をより持続可能にしていくこと」です。当社が開発している ソーシャルデジタルツインは、このパーパスに沿って、さまざまな社会課題の解決を目指しています。カーネギーメロン大学と協力して達成したこのマイルストーンは、我々の目標に向けた重要な一歩となります。
【商標について】
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
【注釈】
注1
富士通株式会社:
本社 東京都港区、代表取締役社長 時田 隆仁
(補足:掲載先メディアや閲覧環境の仕様によっては、「隆」の文字が正しく表示されない場合があります。正しくは、「隆」の「生」の上に「一」が入ります。)
注2
Carnegie Mellon University:
所在地 米国ペンシルベニア州、学長 Farnam Jahanian
注3
Voxel:
体積(Volume)とピクセル(Pixel)を組み合わせた用語。ピクセルが2次元画像の単一画素を表すのと同様に、ボクセルは3次元空間上で単一点を表示するため立体表現方法
【関連リンク】
・富士通とカーネギーメロン大学、社会や経済における課題を解決するソーシャルデジタルツインの共同研究を開始(2022年2月8日プレスリリース)
(https://pr.fujitsu.com/jp/news/2022/02/8.html)
・富士通とカーネギーメロン大学の共同研究成果、ニューラルネットワークによる動的3次元形状復元技術を開発(2023年7月6日 研究開発 技術トピックス)
(https://www.fujitsu.com/jp/about/research/article/202307-cvpr2023.html)
・デジタルツインによるインフラの変革(2024年2月19日カーネギーメロン大学)
(https://www.cmu.edu/cee/news/news-archive/2024/02-2024-transforming-infrastructure-through-digital-twins.html)
【本件に関するお問い合わせ】
富士通コンタクトライン(総合窓口)0120-933-200(通話無料)
受付時間: 9時~12時および13時~17時30分(土曜日・日曜日・祝日・富士通指定の休業日を除く)
お問い合わせフォーム(https://contactline.jp.fujitsu.com/customform/csque04802/873532/)
プレスリリースに記載された製品の価格、仕様、サービス内容などは発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
富士通とMETRON、エネルギーコスト削減と生産性向上の両立によりお客様のESG経営を支援するため戦略的提携
PR TIMES / 2024年4月22日 17時45分
-
未来を切り拓く、世界の才能が集結 - FingerVisionが世界から選ばれた優秀学生へのインターンシッププログラムを開始
PR TIMES / 2024年4月4日 15時40分
-
シンガポール発スタートアップ、北九州市で日本初の実証プロジェクト実施(北九州、シンガポール)
ジェトロ・ビジネス短信 / 2024年4月4日 10時55分
-
R/GAと富士通が「CARBON CAKES(カーボンケーキ)」を制作
PR TIMES / 2024年4月3日 16時15分
-
真っ黒なケーキの正体はCO2とPM2.5!富士通×PÂTISSERIE ASAKO IWAYANAGI大気の状態を6段階のケーキで再現した「カーボンケーキ」
PR TIMES / 2024年4月3日 13時45分
ランキング
-
1米ファンドに日本KFC売却=三菱商事、来月にも
時事通信 / 2024年4月26日 20時17分
-
2NY市場、円安加速158円台 対ユーロも最安値に迫る
共同通信 / 2024年4月27日 17時42分
-
3祝日という"官製のみんな一斉休日"が日本人を苦しめる…精神科医警鐘「連休でストレスが増強される」本末転倒
プレジデントオンライン / 2024年4月27日 8時15分
-
4山梨でブドウなら「1日2時間労働で年収450万円」が可能…私が実践している「農FIRE」のススメ
プレジデントオンライン / 2024年4月27日 10時15分
-
5GW初日 大規模な混雑はじまる! 東名・新東名では午前中から夕方まで渋滞【4月27日の渋滞予測】
乗りものニュース / 2024年4月27日 7時12分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください