WAVファイルに映像や照明の情報を書き込める、ヤマハの新技術「GPAP」とは？

　ヤマハは音声だけでなく映像や照明の制御信号など、さまざまな情報をWAV形式のオーディオデータに埋め込んで記録・再生できる世界初のシステム「GPAP」（ジーパップ、General Purpose Audio Protocol）を開発。銀座ヤマハスタジオで2月1日に、デモを交えたプレス発表会を開催した。

ヤマハ ミュージックコネクト推進部 戦略推進グループの谷真琴リーダー（左）と同グループの開発者 柘植秀幸氏(右）

映像や音声だけでなく、照明の信号も同期、高い臨場感を

　背景には、2020年にヤマハが開発した、ライブ演奏を擬似再現するライブビューイングシステム「Distance Viewing」がある。

　これは、映像と音声のほかに照明も一括して記録して再現できる“ライブを真空パックする”システムだ。これは記録したデータをオフラインで遠隔地の会場で再現するためのもので、いわゆる配信システムではない。GPAPの主眼は生演奏をライブビューイングで疑似体験できる点にある。

　ライブビューイングは、映画館やスタジオでライブを再現するイベントだ。コロナ禍を経て、会場とは離れた場所に住むファンが観たり、来日しにくい海外アーティストや解散したバンドのライブを観たりする需要も最近高まっているそうだ。

　それでは、Distance Viewingシステムと従来のライブビューイングの違いはどこにあるのか。それはライブの雰囲気を再現する力だ。デモで比べてみると、従来のライブビューイングが単にDVDを映画館の大画面で観るようなものなのに対して、Distance Viewingでは映像に照明の効果が加わることで、よりライブ会場に近づいた表現になる。演奏の音圧もライブ会場に近く迫力があった。

一般的なライブビューイングでは、映画館などの施設でコンテンツを再生するだけだ。

Distanse Viewingでは照明なども連動するため、より高くライブの臨場感を感じられる。

　参加者の評価も高く、ヤマハではさらに研究を重ねた。その過程で、記録フォーマットの異なる多様なデータを同期／再生する複雑な処理など様々な課題に直面したという。結果、開発されたのが「GPAPである。

　GPAPでは、音声だけではなく照明や舞台装置の制御信号など、さまざまなデジタルデータをWAV形式に統一して保存・再生する。このため複雑な同期処理をせず、容易にシンクロ再生ができるということだ。

GPAPの概念図

　ちなみに現時点でWAVデータに埋め込まれるのは、照明信号などで映像を内部にエンベッドするわけではない。また、ファイルをそのまま再生するとジーというノイズが入るということなので可聴帯域内にエンコードしているようだ。

　また、汎用ソフトの上で編集、保存ができる点もGPAPの強みだ。デモではCubase上でGPAPの編集を行いながら実際に照明やレーザーを連動させて動かして見せるデモも実施された。

Cubase上で照明とレーザーを連動させているデモ

　また、この照明データは家庭用テレビでも活用することが可能だ。GPAPをデコードできる機能があれば、その照明データを家庭用テレビのイルミネーションで再現できる。テレビの下に設置された青色のライトが映像内のライブの照明と連動して明滅することができるというデモだ。

Live Extremeと連動したライブ配信も

　そして、GPAPを活用することで生まれた大きなメリットは、コルグの「Live Extreme」と連動させることで、配信が可能となったということだ。Live Extremeではビットパーフェクトでデータの伝送ができるので、照明データを送れる。

　会場では、ギタリスト山中氏の生演奏をDistance Viewingで記録。さらにそれをLive Extremeで配信した。

生演奏

　仕組みを解説する。まず、Distance Viewingで記録したGPAPのWAVデータと映像をLive Extremeのエンコーダーに入力する。ここからはLive Extremeの領域となり、映像と音声データはLive Extremeを通じてPCのブラウザーで視聴できる。ポイントは音声データを送る際にマルチチャンネルのFLACにして、オーディオデータを入れないチャンネルに照明信号をエンコードしていることだ。結果、なんら手を加えずに、ブラウザーで音声を再生でき、ノイズなども生じない。必要な場合は、照明データを取り出して、家庭内のライトに連動させればいい。

演奏をDistance Viewingで記録し、Live Extremeで配信したもの

家庭にあるテレビとの連動

　このようにGPAPは、記録・再生・編集・配信のしやすさにメリットがある。面白いのは、これがライブの再現以外の、時間を決めて音声と照明が連動する用途で汎用的に使えるの点だ。例えば、10時にイルミネーションを動かすといったシステムに応用できる。ライブビューイングのみならず、ホームオーディオ機器との連携やVR分野など幅広い応用が期待できるシステムと言えるだろう。