NTT、錯覚の利用でバラバラ配置のモニタ群に3D空中像を提示するシステムを開発

画像提供：マイナビニュース

日本電信電話(NTT)は、脳の映像補完の働きを活用し、バラバラに配置された複数のモニタ群の枠を超えて飛び出すように感じられる巨大3D空中像の提示システムを考案したことを発表した。同成果は、6月24日より開催される、コミュニケーション科学基礎研究所オープンハウス2024に出展される。

従来、広告、エンターテイメント、イベント、VR/ARなどの領域で、大きな3D映像が提供される際には、重厚なヘッドセットや暗室、大きな液晶モニタなど、専用の機材や空間が必要だったほか、汎用ディスプレイを複数個並べることで1枚の巨大ディスプレイとして大きな3D映像を提示する場合、モニタのベゼル(縁)部分が消せないため、どうしても映像を分断され、違和感を生じさせるため、同じ種類のモニタを精緻に整列させる必要などがあり、準備に手間と労力を要することが課題となっていたという。

NTTコミュニケーション科学基礎研究所(CS研)はこれまで、人が感じるさまざまな錯覚現象を通じて、人の感覚・知覚メカニズムを探る人間科学の研究に取り組んできており、その過程で、画像の明るさを適切に設計することで、物体が遮蔽物の手前に半透明に重なるように知覚される「透明視錯覚」や、画像中の描画されていないところを補完する脳の仕組みに関する知見を蓄積してきた。今回の研究は、そうしてこれまで蓄積してきた知見を活用する形で錯覚を用いることで、専用機材や空間に限定されない新しい映像表現の実現に取り組むことに挑んだという。

その結果、異なる種類のモニタがバラバラな位置に配置されている状態でも、それぞれのモニタの物理的位置を考慮して映像を提示できるシステムを考案し、巨大な立体像が飛び出て見えるような3D空中像を知覚的に提示することに成功したとする。この技術のポイントは、バラバラのモニタ群から飛び出す3D空中像を提示するために、モニタ群の物理的な位置関係のキャリブレーションを行う手法を提案したことにあるという。各液晶モニタに、2次元コードによる一意なIDを埋め込んだチェッカーパタンを提示し、カメラでモニタ群全体を撮影することで、1ショットでモニタ間の位置関係を把握、即座に各モニタの配置を把握する校正を可能にしたとする。1台のカメラでも校正可能ながら、ステレオカメラを使用することで、深度の推定精度をより向上させることができることも確認したとする。

校正を行った後、透明視錯覚を誘起する映像の明るさ調整を施す方法を導入することで、モニタのベゼルや乱雑な配置によるモニタ間の隙間で映像に欠損が生じる状況でも、脳がそれを補完でき、結果として飛び出す3D空中像提示を実現したという。同社では、人間の脳には、不完全な情報から全体像を推測し、欠けている部分を補完する優れた能力が備わっており、この能力を利用したと説明している。