【国際高専在学中から金沢工業大学AIラボで大学生と学ぶ】国際高専OBの鈴木大志さんが金沢工業大学4年次に取り組んだ研究が情報処理学会論文誌に採録。Any-to-Anyの音声変換をリアルタイムに行う手法の実装と評価で
Digital PR Platform / 2024年2月15日 14時5分
近年、深層学習を用いた声質変換技術の発展により、ある人物の声を、発話内容を変えずに別の人物の声質に高精度で変換することが可能となってきました。
こうした音声変換手法は扱う人数に応じて
(1) One-to-One
(2) Many-to-Many
(3) Any-to-Any
に大きく区分できます。
(1) は、特定の人物Aの声質を特定の人物Bの声質に変換する方式で、学習にはAとBの2人の声質が使われます。
(2)は、学習に用いる人物を複数人でき、手法によってはその双方向を変換できる方式ですが、学習に用いていない声質への変換はできません。
(3)は、学習に目標の声質の音声が含まれているかにかかわらず変換できる方式としてAutoVCがあり、学習用のデータになかった未知の対象を、テキストなどの補助的な情報を用いて予測する"ゼロショット"声質変換法と呼ばれます。
ゼロショット声質変換法では,多くの場合、
(1) 入力話者音声をメルスペクトログラムに変換し、
(2) 入力話者のメルスペクトログラムを出力話者のものに変換。
(3) 出力話者のメルスペクトログラムで音声信号を生成する。
という手順を踏みます。
この声質変換に要する時間が入力音声よりも短ければリアルタイム声質変換が可能ですが、(2) と(3) の両方で深層学習モデルを使うためGPUを使った演算量が増加し,それがリアルタイム声質変換の実現を困難にしていました。
この解決策として鈴木さんが提案したのは、音声の特徴量を「スペクトル包絡」、「基本周波数」、「非周期性指標」の3 つとし、深層学習モデルはスペクトル包絡の変換にのみ適用することで演算量を削減する方法でした。
深層学習モデルはAutoVC の構造をベースとして、前処理と後処理部分を変更したものを用いました。実験により、音声信号1 秒あたりの処理に要する時間はGPU 環境では0.2 秒以下となり、リアルタイム声質変換可能であることが示されました。
さらに従来のAutoVC と比べても品質が改善できていることもMOS(Mean Opinion Score)による評価結果から示されました。
※メルスペクトログラム
音響特徴量の一部。音声の周波数をフーリエ変換したスペクトログラムで、人間の音声知覚の特徴を考慮したものを特にメルスペクトログラム(mel spectrogram)と呼ぶ。
※スペクトル包絡
スペクトルの曲線族すべてに接している曲線を包絡線(ほうらくせん)と呼び、包絡線の表す山や谷などを「包絡」という。
※GPU
特定の 3D レンダリング・タスクの高速化などに特化したプロセッサー。グラフィックスとゲームに使われるほか、汎用的な並列プロセッサーとして、生成AIなどにも使用されている。
論文名:「AutoVCを用いたゼロショットリアルタイム声質変換手法の実装と評価」
執筆者:鈴木大志 鷹合大輔 中沢実
情報処理学会論文誌 Vol.65 No.2 529-537(Feb.2024) 発行年2024-02-15
【リリース発信元】 大学プレスセンター https://www.u-presscenter.jp/
-
-
- 1
- 2
-
この記事に関連するニュース
-
リアルタイム低遅延ボイチェンのポイントは“個性の制限”? NTTが研究成果を発表する「オープンハウス」が6月24日から大阪で開催
ITmedia PC USER / 2024年6月19日 6時0分
-
声と話し方を好みのスタイルに一瞬で変える ~高音質かつ低遅延なリアルタイム音声変換~
Digital PR Platform / 2024年6月17日 10時0分
-
社会人の学び直し「KITリカレント教育プログラム」の夏期集中講義の募集を令和6年5月27日より開始。AIやIoTを基礎から応用まで学ぶ「情報技術教育プログラム」を開講--金沢工業大学
Digital PR Platform / 2024年5月27日 20時5分
-
社会人の学び直し「KITリカレント教育プログラム」の夏期集中講義の募集を令和6年5月27日より開始。
共同通信PRワイヤー / 2024年5月27日 15時0分
-
【スマートファクトリー実現のキーテクノロジー】日本アンテナ株式会社と金沢工業大学伊東健治研究室が共同で空間伝送型ワイヤレス電力伝送システム用レクテナを開発
Digital PR Platform / 2024年5月24日 14時5分
ランキング
-
1なぜワークマンは「ランドセル」市場に参入したのか こだわりは「8800円」と「防弾チョッキ」
ITmedia ビジネスオンライン / 2024年6月22日 8時10分
-
2セブン‐イレブンの接客コンテストで頂点に立ったのはベトナムの外国人従業員
食品新聞 / 2024年6月22日 16時40分
-
3空港の作業車両をEV化で実証実験…国交省「脱炭素化遅れると就航地に選ばれない」
読売新聞 / 2024年6月22日 22時30分
-
4AIだけじゃない!予告された「iPhone」進化の中身 秋からもっと「自由」に、来年はもっと「便利」になる
東洋経済オンライン / 2024年6月22日 12時30分
-
5「あえて非正規」増加 ウラに潜む“由々しき問題”とは?
ITmedia ビジネスオンライン / 2024年6月23日 7時30分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)