世界初、音の波をハイスピードカメラとＡＩで高精細に見える化 ～深層学習と光計測を組み合わせた高感度な音のイメージングを実現～

[画像2]https://digitalpr.jp/simg/2341/89987/700_182_20240614180212666c0714021bc.JPG


2. 研究の成果
　本成果では、光学的音場イメージングおよび独自の深層学習モデルを用いて、音を動画像として捉える光学的音場イメージングの大幅な高精度化に成功しました。その結果、従来技術では検出することのできなかった微弱な音の波を、高精細にイメージングできることを示しました（図2）。ハイスピードカメラにより撮影されたノイズを多く含む画像に対して、画像中に含まれる微弱な音波成分のみを高感度に抽出するニューラルネットワークを適用することにより、高精細な音の画像化が実現されます。図2は光学的音場イメージングにより撮影された音場画像を60マイクロ秒ごとに示したもので、左から右に向かって音波が伝搬しています。本成果によるAI処理によって音の波が空気中を伝わる様子が鮮明に捉えられていることが分かります。


[画像3]https://digitalpr.jp/simg/2341/89987/700_341_20240614180212666c0714d39cc.JPG


3．技術のポイント
①音を動画像として捉える光学的音場イメージング技術
　光学的音場イメージング技術では、光を用いて空気中の音を検出します（図3）。音は空気中を粗密波として伝わりますが、音響光学効果（※3）と呼ばれる現象により、音がある空気中を光が通過する際に気体の粗密に応じて光の速さが僅かに変化します。レーザー光を測定したい音場内に伝搬させ、干渉計などの光学技術を用いて音によって生じた光の微弱な変化を高感度に検出することにより音が測定されます。このような光の変動をハイスピードカメラ用いて毎秒数千～数十万フレームの速さで撮影することにより、音波を動画像として捉えることができます。


[画像4]https://digitalpr.jp/simg/2341/89987/700_382_20240614180212666c071411621.JPG


②独自の深層学習モデルによる雑音除去
　光学的音場イメージングでは、音によって生じる光信号の変化が微小であることから、撮影された画像の中から音の波を高精細に見える化することは困難でした。特に高感度な測定においては、レーザー光や撮像素子に含まれる光学的なノイズが、音の可視化品質を著しく低下させてしまっていました。本成果では、ハイスピードカメラにより撮影された動画像の中から、不要なノイズを除去し、音波のみを見える化する独自の深層学習モデルを新たに考案し、高精細な光学的音場イメージングを実現しました（図4）。独自のモデルでは、音の物理的な性質に基づいた演算により人工的に生成した訓練画像を用いて、ニューラルネットワークの学習を実施しました。さらに、動画像を周波数毎に独立して処理する独自アルゴリズムにより、従来手法を大幅に上回る高精度なノイズ除去処理を実現しました（図5）。