空間に浮かび上がる立体映像――そんなSF映画の世界にまた一歩近づいたようだ。12月3日から6日まで東京・有楽町で開催された、コンピュータグラフィックスに関する国際会議「SIGGRAPH Asia 2024」。この展示エリアでひときわ注目を集めていたのがソニーの「360度ライトフィールドディスプレイ」だ。
ディスプレイは、直径15cm・縦18cmのコンパクトな円筒形。その中心に3D映像が浮かび上がる。特筆すべきなのが、複数人が同時に、それぞれ別の角度から自由に3D映像を見られる点だ。デモでは、モンスターやサッカー選手の3Dモデルを表示していたが、背景が見通せるほどの透明性ながら十分な輝度もあり、現実空間に3Dオブジェクトが存在しているかのような“実在感”が得られた。
3次元のオブジェクトを空間に再現するというのは世界中の企業や研究者が長年取り組んでいるテーマの一つだが、その中でもソニーの360度ライトフィールドディスプレイは一歩抜きん出ているように思う。
●キモは「高速回転する独自開発スクリーン」
ディスプレイには、HOE（Holographic Optical Element）と呼ばれる、光の出射方向をコントロールできる（特定の波長と入射角を持つ光のみを任意の方向に曲げる）円形状の特殊なスクリーンが取り付けられている。本体の下にはDLPプロジェクターが上向きで取り付けられており、円筒スクリーンの天井に取り付けられた鏡に向かって映像を投影する。
ソニーによると、HOEスクリーンの原理は3Dホログラム映像と同じという。光の入射角や出射角など特定の回折条件を設定したスクリーンに、鏡越しにプロジェクターから照射された“特定の回折条件”に合致する光が当たることで強く拡散（＝映像として表示）する。一方で、条件外の光は透過するため、背景が見えるほど透明度が高いスクリーンながら、1000カンデラという高い輝度で映像を表示できる。
では、これを使ってどうやって3D映像を表示させるのか。ソニーは、HOEスクリーンを3600rpm（毎秒60回転）で高速回転させ、そこにDLPプロジェクターの映像を2万1600Hzの超高速リフレッシュレートで投影する方法を編み出した
投影する映像はUnityで制作している。3Dオブジェクトを囲む形でバーチャルカメラを1度ずつ、360度分設置し、それぞれのカメラからXGAの60Hz映像を生成。DLPプロジェクターはHOEスクリーンの回転と同期しており、1度あたり60Hz、それを360度分描写（60Hz×360＝2万1600Hz）する。超高速リフレッシュレートを生かして360度全ての映像を投影し、プロジェクターの映像を特定の位置からHOEスクリーン越しに見ることで、複数人同時かつ360度どの角度からでも3D映像を見ることができるディスプレイを実現した。
かなりの高速リフレッシュレートに驚くが、ブースの担当者によると、これはDLP素子ならではの高速応答性能を生かしたものという。これはもともと階調表現に使うためのもので、ライトフィールドディスプレイでは、この応答性能を階調描写ではなく3D映像の書き換えに利用したわけだ。そのため、投影している3D映像の階調性能は本来よりも劣るという。
映像の出力に使っていたのは米NVIDIAのGeforceRTXを搭載していたノートPC。360度分のバーチャルカメラを扱うためリアルタイム処理はかなりの高負荷になるようだが、デモではプリレンダリングした状態でプロジェクターに映像を渡すことで、ノートPCでも処理できる負荷に抑えてあった。
それぞれの角度で映像を出し分けられるので、例えば3Dオブジェクトは360度自由に、文字やロゴなどの2D要素は常に正面を向くよう制御することも可能だ。デモでは、バーチャルカメラが撮影するサッカー選手のユニフォームを角度ごとに変えて出力し、見る角度によってユニフォームの色が変化するようになっていた。
360度分の2D映像が用意できれば投影できる映像に制限はない。例えば、ボリュメトリックキャプチャした人物を投影したり、「Scaniverse」などの3Dスキャンアプリで作成した3Dモデルを映し出すこともできるという。ここは未確認だが、360度分の映像を用意できるのであれば実写を投影することも可能かもしれない。
●「等身大ディスプレイ」に期待したいが……
ここまで自由に3D映像を見れるということは、人間を等身大で投影できるぐらいのサイズが実現すればより未来っぽいな、と思うところ。ブースの担当者も「もっと大きなサイズがあれば……というお話は結構いただく」という。ただし、そこに立ちはだかるのがHOEスクリーンの製造難易度。
ソニーはHOEスクリーンの製造装置から独自に開発している。研究レベルであれば採算度外視でより大きなものも作れるというが、現状のサイズでもコストは「3桁万円」とのことで、製造面やコスト面から今の大きさになったという。スクリーンが大きくなるとプロジェクターのさらなる高輝度化、高速回転するスクリーンの安定性なども考慮する必要が出てくるので、この辺のバランスも鑑みたのだろう。
円筒形のライトフィールドディスプレイだが、実は同じスクリーンを使った「2D版」が5年前に登場している。ソニーがSIGGRAPH 2019で紹介したもので、当時は毎秒1000フレームで撮像できる高速カメラ（センサーはIMX382）を使い、視聴者の位置を360度シームレスにリアルタイムトラッキングすることで、円筒内に映し出された2D映像がどこから見ても常に正面を向くように制御していた。今回のディスプレイは、これを発展させたものという。
3D映像を表示できるようになったことで、AIエージェントを実体化させたり、ゲームやVR／メタバースの世界からキャラクターを召喚したりといった用途などが考えられるという。まずはイベントなどで使ってもらって、将来的にはテレコミュニケーション方面での活用も考えているようだ。
●空間再現ディスプレイにミニモデルが
立体視できるソニーのディスプレイだと、空間再現ディスプレイ「ELF-SR1」などが有名だろう。すでに発売されているもので、視線をトラッキングして直接視差のある映像を届けることで、裸眼ながら立体感や奥行きが変化する映像を視聴することができる。先述の担当者いわく、さきほどのライトフィールドディスプレイはARのアプローチ、空間再現ディスプレイはVRのアプローチになるという。こちらはバーチャル空間を覗く窓みたいなものだ。
その空間再現ディスプレイだが、ブースにはミニバージョンが展示されていた。スマートフォン用のパネルを利用することで、ドット感の少ない高精細な立体映像を表示できるという。デモでは、女の子の3Dキャラクターと掛け合いできるようになっていたが、ディスプレイ手前に取り付けられた手すりや乾電池というアイテムのおかげでより“その場に存在している”感覚が得られた。ディスプレイは2Dと3Dの切り替え表示にも対応している。
なお、カメラで視線をリアルタイムトラッキングするという空間再現ディスプレイの性質上、複数人同時に立体映像を見ることはできないが、小型ディスプレイであればパーソナルユースが増えてくるのでこの特性とも相性が良い。GPU性能的に現時点ではPCとの接続が前提だが、SoCの進化とともにこのディスプレイがスマートフォンに搭載される日が来るかもしれない。個人的にはScaniverseやLuma AIで記録した物体を立体で眺めてみたい。
ブースにはこの他、等身大サイズの空間再現ディスプレイや、空間再現ディスプレイを3枚並べて「PLATEAU」の東京都のデータを一望できる体験エリアなども用意していた。