【大阪大学】自由な視点で楽しめる複合現実感！ 一般的なドローンでも体験できるMRシステム ― 2つのビジョンベース自己位置推定法で正確な位置合わせ

【研究の内容】
　そこで本研究では、任意のルートで操縦したドローンの現在位置を推定することによって、現実世界と仮想世界の動きを一致させること（位置合わせ）を目指しました。
　図1に、本研究で提案するシステムの概要を示します。先行研究を踏襲し、画面共有によってドローンの映像（現実世界）をゲームエンジンに入力し、仮想世界の映像と重ね合わせて出力します。出力されたMR映像はストリーミング配信でユーザに共有されます。ここで本研究は、現実世界と 仮想世界の映像を重ね合わせる際に、（iii）（iv）に示すようにVPSと自然特徴ベースのトラッキングを組み合わせることで位置合わせを行います。
　これらのビジョンベースの方法は、GPSなどのセンサを使用せず、一般的なドローンに搭載されているカメラ情報（画像と内部パラメータ）のみを入力とするため、特別な機体やソフトウェア開発キットを用いずに実装することが可能になります。

　図2に、本研究の提案システムと先行研究のシステムでMRを実行した場合の位置合わせの精度を比較した様子を示します。各行において、赤い領域の位置が左列のものに近いほど精度が良いことを表します。中列が本研究の提案システム、右列が先行研究のシステムによる出力結果です。また、これを定量的に評価するためにIoU（Intersection over Union）※4 という指標を用い、図3にグラフ化して示します。この指標は0～1の値を取り、1に近いほど精度が良いことを表します。
　これらの結果から、先行研究の結果と比較して、本研究の提案システムによる位置合わせの精度はより高いことが示されました。また、先行研究では時間が経過するにつれて精度が低下する傾向が見られましたが、本研究の提案システムでは高い精度で安定していることが確認されました。提案システムによって、任意の軌道でドローンを操縦しても十分な精度のMRが実行可能になったと考えられます。

【本研究成果が社会に与える影響（本研究成果の意義）】
　近年、AEC分野では、時間、精度、安全性、コストの面で優れた特徴を持っていることからドローンの導入が拡大しています。そして、将来的のAEC分野においてドローンがさらに広く適用されるためには、MRを含む他の最新技術との統合が重要であると言われています。
　本論文では実際の利用を想定したドローンMRアプリケーションを実装したわけではありませんが、提案した位置合わせシステムは汎用性が高いものであり、将来的にはさまざまな機能を付加することができる見込みです。建築プロジェクトの開始時（設計・計画）から後期段階（保守・点検）まで幅広く活躍するドローン視点MRの実現に一歩近づきました。