ホロラボ・西松建設 XRを活用したドローン作業支援と空撮映像への３Dモデル重畳技術を開発

-BIM/CIMとリアルを融合、XR施工管理プラットフォーム実現に向けた要素技術を検証-



[画像1: https://prcdn.freetls.fastly.net/release_image/23638/96/23638-96-8ebc3305a0ea91c0df65e91c7a26f38b-2452x1259.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]

株式会社ホロラボ（東京都品川区、代表取締役CEO：中村 薫、以下「ホロラボ」）は、西松建設株式会社（東京都港区、代表取締役社長　高瀬 伸利、以下「西松建設」）との共同研究として、ドローンによる空撮映像に3Dモデルをリアルタイムで重畳し、ヘッドマウントディスプレイと連携して施工の可視化、ドローンの操縦支援を行なう技術を開発しました。


施工段階において3Dモデル（CIMモデル）を活用した生産性向上、現場管理業務の効率化が活発化し、その活用方法のひとつとして、現実世界にCGによる視覚情報を重ねるAR（Augmented Reality:拡張現実）技術があり、施工状況のイメージを共有して、早期の課題把握や改善策提案、施工の手戻りの抑制といった効果が期待できます。しかし現行のAR技術はスマートフォンやタブレット端末、ヘッドマウントディスプレイ等による用が主であるため、地上からの主観視点に限られていて、計画全体を見渡すことは困難で、そのためには高所に足場を用意して登らなければならず視点は限定的なものでした。また複数個所に渡って確認するためには現場内を移動して地点ごとにARの位置合わせをする必要がありました。
これらの問題を解決するべく、位置や距離の影響を受けず高速移動が可能なドローンを活用した、自由視点での3Dモデル重畳技術の開発を行ないました。（共同特許出願中）

マーカーを必要としない位置情報取得
ARの重畳のためにはQRコードなどのマーカーを使用した手法が一般的ですが、今回の研究ではDJI Mavic 3 Enterprise にRTKモジュールを搭載し、全地球航法衛星システム（GNSS：Global Navigation Satellite System）による位置情報と、ドローン自身がもつ姿勢、カメラの情報を紐付けて、マーカーを必要とせずにリアルタイムなAR重畳を行なっています。また3Dモデルの配置には設計の緯度経度情報を利用し、登録された指定座標にWebブラウザから直接配置する事が可能です。

XRデバイスを活用したドローン作業支援
ドローンの操縦を行ないながらこれらの制御をする事で操作が複雑化するのを解決するため、操縦者は透過型XRヘッドマウントディスプレイ（Trimble XR10 with HoloLens 2）を装着し、操縦している手を放すことなく様々な情報を把握、操作を補助するシステムを開発しました。
XR10に投影される空間ヘッドアップディスプレイ（HUD）には、AR重畳された空撮映像の他に、ハンドトラッキングで操作できる3Dモデルの制御UI、撮影機能、飛行中のドローンの各種ステータスが確認出来ます。また位置情報に基づいてドローンの飛行位置をARで投影された地図上に表示。カメラの向きを切り替えて確認する必要も無く、目視では把握しづらい遠方のドローンの位置を俯瞰的に把握出来ます。
[画像2: https://prcdn.freetls.fastly.net/release_image/23638/96/23638-96-4dd580087e7c21998c8cd3981d992a38-750x512.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
Trimble XR10 with HoloLens 2[画像3: https://prcdn.freetls.fastly.net/release_image/23638/96/23638-96-ac63233200c5acfc1b121d08bb9bbc8a-750x512.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
DJI Mavic 3 Enterprise
PCをコアにした性能向上と遠隔共有システム
ARレンダリングの処理負荷がドローン制御やXRデバイスに影響するのを回避するために、これらの演算を現場ネットワーク内の高性能PCで処理。PCから現場のネットワーク上で映像を共有する事で、各デバイスの負担を軽減しながら、高解像度なリアルタイムレンダリングと通信速度を実現。遠隔会議システムと連携する事で、インターネットを通じて遠隔地とも空撮映像の共有を可能にしました。
[画像4: https://prcdn.freetls.fastly.net/release_image/23638/96/23638-96-aafcd1b1637e05a17921c379e31d9ee9-1920x678.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
システム概要図

[動画: https://www.youtube.com/watch?v=ZLeY0Mizgxc ]

現場検証の実施
西松建設が施工中のダム建設現場（宮城県名取市）で本件開発のフィールド検証を実施。
ドローンによる空撮映像にダム堤体や岩級区分の3Dモデルを重畳し、自由な視点で現場全体を確認でき、現況と施工計画を比較できる事を確認。またドローンの機動力を活かして広大なフィールドを短時間で移動、確認する事が出来るため、従来のAR技術と比較して、現地での移動時間を大幅に短縮する事に繋がりました。
操縦者が装着しているXR10による空間ヘッドアップディスプレイ（HUD）には重畳映像とドローンの内部情報や、飛行している機体の位置を地図上で表示するため、操縦者はドローンを操縦しながら機体の状態、飛行位置、3Dモデルの重畳など複数の情報を同時に確認する事が可能です。
[画像5: https://prcdn.freetls.fastly.net/release_image/23638/96/23638-96-19a3db699f97da9f6b3b3df7e5e5b48f-2000x1103.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
ダム堤体モデルの重畳映像[画像6: https://prcdn.freetls.fastly.net/release_image/23638/96/23638-96-06334ddbf914d7eb12cdb8410cf655c9-2000x1103.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
岩級区分モデルの重畳映像
[画像7: https://prcdn.freetls.fastly.net/release_image/23638/96/23638-96-826fffc97da7e16a3d36321f8d5463d4-1920x800.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
開発システムの現場検証

今後の展望
今回の開発検証では自由視点での3Dモデルを重畳した広域現場での状況把握や、時間の削減を確認出来た一方、ドローンの移動中の伝送速度とレンダリング速度の差による重畳精度のずれなども確認出来たため、今後は一層の精度向上とシステムの最適化、更なる操作性・利便性の向上に向けて機能を拡張し、汎用利用可能なサービスとして展開するべく開発を進めて参ります。


ホロラボについて
ホロラボはAR/VR技術と、BIM/CIM、点群/フォトグラメトリ、3D都市モデルといった様々な三次元空間データやそれらが生み出す新しい体験をテーマに、調査研究、システム・アプリケーション開発、啓発活動を行うテクノロジー集団です。広がりゆく領域の最先端を開拓し、広く世の中へ発信、共に楽しんでいきます。


本件に関するお問い合わせ

株式会社ホロラボ
https://hololab.co.jp/#contact

引用：DJI 公式ウェブサイト https://www.dji.com/jp
引用：ニコン・トリンブル 公式ウェブサイト https://www.nikon-trimble.co.jp/TrimbleXR10/

企業プレスリリース詳細へ
PR TIMESトップへ