世界初、音の波をハイスピードカメラとＡＩで高精細に見える化 ～深層学習と光計測を組み合わせた高感度な音のイメージングを実現～

発表のポイント：

ハイスピードカメラとレーザー光およびAI処理を用いた音の見える化技術を開発しました
音の物理特性を考慮した独自の深層学習モデルを用いたノイズ除去により高精細に音場をとらえることが可能になりました
本成果は音響デバイスの設計や音に関わる現象のさらなる理解、将来的には「音のデジタルツイン」実現への貢献が期待されます

　日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田　明、以下「NTT」）は、光を用いて音をセンシングする光学的音響計測技術において、音の物理特性を考慮した独自の深層学習モデルを用いた高精細な音の見える化を世界で初めて実現しました（注１）。これにより、空気中を伝わる音の波を動画像として観測することができるようになります（図1）。本成果は音の研究開発における新たなセンシング手段として活用でき、騒音の評価や新たな音響デバイスの開発、従来技術の高効率化などへの貢献が見込まれます。さらに、将来的には空間の音を余すところなく完全にデジタル化する「音のデジタルツイン」技術への活用が期待されます。
　本成果は6月24日より開催される、コミュニケーション科学基礎研究所オープンハウス2024に出展いたします。


[画像1]https://digitalpr.jp/simg/2341/89987/700_250_20240614180212666c0714c6f52.JPG


1．研究の背景
　音は日々の生活に身近な存在であり、会話などの音声コミュニケーション、スピーカーやヘッドホン等による音楽鑑賞やウェブ会議、様々な騒音、超音波を使ったセンサーなど、身の回りに溢れています。
　人間は音を聞くことでその音色や響き、音が鳴った方向など様々な情報を得ることができます。音は空気の圧力変動であり、ある地点で発生した音は、波として空気中を伝わっていきます。その様子は、水面に投げ入れられた石が作る波紋が周囲に一定の速度で広がっていく様子に似ています。しかし、音は水面とは異なり目で直接見ることができないうえ、反射や回折をともなって空間中を複雑に伝搬するため、音がどのように発生し伝わっていくかを把握することは困難です。 NTTでは、誰にとっても心地のよい最適な音環境を創出するための研究開発に取り組んでおり、音を聞くのではなく「見る」ことを可能とすることで、音に関する様々な課題を解決できると考え、光を用いて音場（※1）を見える化する技術「光学的音場イメージング」（※2）の研究を進めてきました。
　光学的音場イメージングは、目に見えない音を光の明るさに変換する特殊なイメージング装置を用いることで、ある瞬間の音の波紋の形を写真を取るようにそのまま画像として記録する技術です。一般に音の空間特性の測定に用いられるマイクロホンアレイと比較すると光学的音場イメージングは約100倍の空間分解能を有しています（表1）。これによって音の波がどこからどのように伝わっていくのかを、文字通り「見る」ことができるようになります。しかし光学的音場イメージングでは非常に小さな信号の変化を検出する必要があるため相対的に光学的なノイズの影響が大きく、これまで高感度かつ高精細に音を見える化することは困難でした。