NTT（日本電信電話）は7月26日、VRゴーグルや3Dグラスを装着せずに、バーチャルキャラクターが鏡から飛び出して見える「超鏡空中像表示システム」を開発したと発表した。同社によると本技術は世界初とのことで、博物館や美術館といった文化施設への導入、デジタルサイネージへの活用、イベントなどエンターテインメントの場において、新たな映像視聴体験の創出が期待できるという。
●「超鏡空中像」とは？
「超鏡空中像」はNTTによる造語で、バーチャルキャラクターを鏡の中に表示するだけでなく、鏡の外にも自在に移動させることができるという映像表示技術だ。
バーチャルキャラクターなどを、鏡の内から外へと連続的に空中に表示することで、高い“実在感”を実現している他、鏡の内外どちらに表示されている場合でも、ユーザーが自分の手を見ながら、双方向的かつ直感的な操作が可能になるという。
また、鏡を3面構成とすることにより、視域の拡大を実現している。公開されたプロトタイプでは4～5人が同時に空中像を視聴できるようにしている。具体的なデバイスのサイズは奥行きが約2mで、ハーフミラーの一辺が約60cmとなっており、20cmのサイズで空中像を表示できる。サイズは、用途に応じて「小型化」「大型化」どちらにも対応もできる。
●開発の経緯
本システムを開発した「人間情報研究所」は、NTTの研究開発部門（R＆D）の一翼を担う「サービスイノベーション総合研究所」の傘下にある社内研究所の1つで、主に実世界とサイバー世界の新たな共生に関する革新的研究開発を担う。その一環としてデジタル情報の表示技術の研究に注力しており、3D映像表示技術や空中像表示技術に取り組んできた経緯がある。
超鏡空中像は、従来の鏡に映像を表示する「ミラーディスプレイ技術」や、空中に映像を表示する「空中映像表示技術」とは異なる技術だという。同研究所の巻口誉宗氏（サイバー世界研究プロジェクト 主任研究員）は以下のように説明する。
（超鏡空中像では）ミラーディスプレイのように鏡の中への表示に縛られず、鏡の外の空間中にも映像が表示できる。再帰反射を用いた空中像光学系の「再帰反射素子」を利用しており、入った光がそのまま入った方向に返る特性を生かしている。交通標識をクルマのライトで照らすと、ライトの方向が明るく見えるのと同じ仕組みだ。 今回、ハーフミラーと組み合わせることで、空中像を結合することが可能となり、ユーザーから見ると、ハーフミラーより手前に映像が表示されることになる。
そこで同研究所では、再帰反射の仕組みを活用して「移動するディスプレイ」と「3面鏡」からなる光学系システムを開発した。
ユーザー（見る人）は、ハーフミラーの真ん中と左右の側面を見て“立体的な空間”を認識する。ハーフミラーの奥には、左右対称に移動する空中像用ディスプレイが設置されており、それに反射像を再現するディスプレイを組み合わせて、立体的な画像を表示することができるという。
具体的には、空中像ディスプレイが移動して中央部に来ると、空中像用ディスプレイから出た光が「ビームスプリッター」によって反射すると共に、再帰反射素子によって反射される。結果、空中像として結合して表示される。
ユーザー視点では、中央のハーフミラーが鏡面として認識されているため、その後ろに空中像が表示されているように見える。また、移動機構を備えたディスプレイが移動すると、それに伴って空中像も移動し、ハーフミラーを超えて、鏡の外に飛び出してきたように見える。
加えて、実空間においてバーチャルキャラクターの影を作るといった「光学的整合性技術」や、左右の鏡への反射像の再現技術を用いることで、影と反射像も再現している。
結果的に、「プロジェクターによって、空中像の下に影を表示することや、反射像の映像表示によって、実在感を高めることで、バーチャルキャラクターが鏡の内外に連続的に移動できる状況を再現できる」という。
巻口氏によると、研究の過程で「鏡の中と外の両方にデジタル情報を表示した際に、操作が共通動作になる新たなインタラクション手法が必要だと考えた」という。
そこで、空中像の表示領域に応じて、2種類の操作体系を切り替える手法を考案し、本システムに取り入れた。鏡の外に表示している場合は「直接手を伸ばして操作」し、鏡の中に表示している場合には「鏡に反射した手で操作」とすることで、空中像が鏡の中と外のどちらに表示されていても、空中像と自身の手を見ながら直感的に操作ができるようにしている。
なお、超鏡空中像表示システムで使用するコンテンツは「背景が黒で、被写体だけが表示される映像」という条件がある。そのため、実写の映像を利用する場合には、クロマキーを使うなど、背景を取り除く必要がある。CGを使う場合も、背景を除去する作業が必要だ。
●今後の展開
超鏡空中像表示システムは「技術的には完成の水準に達している」といい、今後は実装するパートナーを募り、コンテンツや演出について検討していくことになる。スケジュールはパートナーとの話し合い次第だが、2025年度中に試験運用の開始や、実用化に向けた動きを開始したいとのことだ。
巻口氏は、本システムを通して実現したいことを以下のように語った。
（超鏡空中像表示システムが）目指しているのは、デジタル情報を日常生活の中に自由に表示することだ。情報アクセスの自由度を向上させ、情報リテラシーによらない活用を可能にすることを目指している。これにより、幅広い年齢層において「情報へのアクセス」と「情報の取得機会増加」を図れる。 また、生活のあらゆる場所にデジタル情報を表示し、一緒に過ごすことができる「バーチャルエージェント」の実現も可能になる。