金沢工業大学情報工学科OBの鈴木大志さんが学部4年次に取り組んだ研究が情報処理学会論文誌に採録。Any-to-Anyの音声変換をリアルタイムに行う手法の実装と評価で

ゼロショット声質変換法では，多くの場合、
(1) 入力話者音声をメルスペクトログラムに変換し、
(2) 入力話者のメルスペクトログラムを出力話者のものに変換。
(3) 出力話者のメルスペクトログラムで音声信号を生成する。
という手順を踏みます。

この声質変換に要する時間が入力音声よりも短ければリアルタイム声質変換が可能ですが、(2) と(3) の両方で深層学習モデルを使うためGPUを使った演算量が増加し，それがリアルタイム声質変換の実現を困難にしていました。

この解決策として鈴木さんが提案したのは、音声の特徴量を「スペクトル包絡」、「基本周波数」、「非周期性指標」の3 つとし、深層学習モデルはスペクトル包絡の変換にのみ適用することで演算量を削減する方法でした。


深層学習モデルはAutoVC の構造をベースとして、前処理と後処理部分を変更したものを用いました。実験により、音声信号1 秒あたりの処理に要する時間はGPU 環境では0.2 秒以下となり、リアルタイム声質変換可能であることが示されました。
さらに従来のAutoVC と比べても品質が改善できていることもMOS（Mean Opinion Score）による評価結果から示されました。

※メルスペクトログラム
音響特徴量の一部。音声の周波数をフーリエ変換したスペクトログラムで、人間の音声知覚の特徴を考慮したものを特にメルスペクトログラム（mel spectrogram）と呼ぶ。
※スペクトル包絡
スペクトルの曲線族すべてに接している曲線を包絡線（ほうらくせん）と呼び、包絡線の表す山や谷などを「包絡」という。

※GPU
特定の 3D レンダリング・タスクの高速化などに特化したプロセッサー。グラフィックスとゲームに使われるほか、汎用的な並列プロセッサーとして、生成AIなどにも使用されている。


論文名：「AutoVCを用いたゼロショットリアルタイム声質変換手法の実装と評価」
執筆者：鈴木大志　鷹合大輔　中沢実
情報処理学会論文誌　Vol.65 No.2 529-537（Feb.2024) 　発行年2024-02-15




▼本件に関する問い合わせ先
金沢工業大学　広報課
住所：石川県野々市市扇が丘7-1
TEL：[phone]
FAX：[phone]
メール：[e-mail]


【リリース発信元】 大学プレスセンター https://www.u-presscenter.jp/