ヒトやモノの動きを含むダイナミックな空間情報を高精細かつ高速に遠隔地に伝送・再現する技術を確立

発表のポイント：

動きのある空間情報まで含めた伝送・再現を可能にする技術＝動的3D空間伝送・再現技術を確立。
エンタメ領域をはじめ、高精細かつダイナミックなメタバース空間や産業分野における各種デジタルツインへの適用が期待される。

　日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田　明、以下「NTT」）は、動きのある空間情報を遠隔地にそのまま伝送・再現する技術を確立し、本技術による新たなエンターテイメント体験の創出に成功しました。本成果を踏まえ、今後は本技術をコミュニケーション環境等に適用することで、リアルとバーチャルの垣根を超えたユーザ体験の活用・共有を可能にし、社会全体のWell-being実現に貢献していきます。なお、本技術は、虎ノ門ヒルズ ステーションタワー内TOKYO NODE　HALLで行われた配信イベント「Perfume 25th & 20th Anniversary Live Performance "IMA IMA IMA” Powered by NTT」の中で、日本を代表する音楽ユニットPerfumeのライブパフォーマンスを空間ごとスキャンし、3D空間データとして伝送・再現するシーンに適用されました。

1．背景
　NTTグループでは、実世界データ（空間情報）のデジタル化について、街やモビリティの全体最適を可能にする4Dデジタル基盤（※1）や、地域が抱える課題解決に寄与するフォトリアルなメタバースに活用（※2）することをめざして、3D点群メディア処理技術の研究開発を推進してまいりました。しかしこれまでの技術では、元になる点群データの計測方法の特性上対象は静的な物体に限定されており、動きのある空間情報をそのまま伝送・再現することは困難でした。

2．成果の概要
　現実世界の空間を丸ごとキャプチャーして3Dモデル化し、空間内の自由な位置や角度から映像生成を可能にするボリュメトリックビデオ技術(※3)が知られていますが、その撮影には多数のカメラが配置されたグリーンバックの専用スタジオが必要であり、またその対象（被写体）は特定のオブジェクトに限定されています。
　一方今回確立した「動的3D空間伝送・再現技術」では、少数のLiDAR(※4)およびカメラにより計測・撮影された膨大な3次元点群データと画像データを組み合わせることで、任意の場所・背景において、オブジェクトの動きを含む空間全体の情報を丸ごと伝送・再現することが可能です(図1)。
　将来的には、IOWN(※5)の低遅延・大容量ネットワーク（APN：All-Photonics Network）を活用することで、膨大な動きのある空間情報を瞬時に双方向で共有できるようになります。これにより、都市や作業現場のモニタリング、災害対策や都市計画のシミュレーションだけでなく、遠隔のチームとのコラボレーション、そしてリアルタイムでフィードバックを行えるメタバース環境を実現していきます。