【国際高専在学中から金沢工業大学AIラボで大学生と学ぶ】国際高専OBの鈴木大志さんが金沢工業大学4年次に取り組んだ研究が情報処理学会論文誌に採録。Any-to-Anyの音声変換をリアルタイムに行う手法の実装と評価で
Digital PR Platform / 2024年2月15日 14時5分
近年、深層学習を用いた声質変換技術の発展により、ある人物の声を、発話内容を変えずに別の人物の声質に高精度で変換することが可能となってきました。
こうした音声変換手法は扱う人数に応じて
(1) One-to-One
(2) Many-to-Many
(3) Any-to-Any
に大きく区分できます。
(1) は、特定の人物Aの声質を特定の人物Bの声質に変換する方式で、学習にはAとBの2人の声質が使われます。
(2)は、学習に用いる人物を複数人でき、手法によってはその双方向を変換できる方式ですが、学習に用いていない声質への変換はできません。
(3)は、学習に目標の声質の音声が含まれているかにかかわらず変換できる方式としてAutoVCがあり、学習用のデータになかった未知の対象を、テキストなどの補助的な情報を用いて予測する"ゼロショット"声質変換法と呼ばれます。
ゼロショット声質変換法では,多くの場合、
(1) 入力話者音声をメルスペクトログラムに変換し、
(2) 入力話者のメルスペクトログラムを出力話者のものに変換。
(3) 出力話者のメルスペクトログラムで音声信号を生成する。
という手順を踏みます。
この声質変換に要する時間が入力音声よりも短ければリアルタイム声質変換が可能ですが、(2) と(3) の両方で深層学習モデルを使うためGPUを使った演算量が増加し,それがリアルタイム声質変換の実現を困難にしていました。
この解決策として鈴木さんが提案したのは、音声の特徴量を「スペクトル包絡」、「基本周波数」、「非周期性指標」の3 つとし、深層学習モデルはスペクトル包絡の変換にのみ適用することで演算量を削減する方法でした。
深層学習モデルはAutoVC の構造をベースとして、前処理と後処理部分を変更したものを用いました。実験により、音声信号1 秒あたりの処理に要する時間はGPU 環境では0.2 秒以下となり、リアルタイム声質変換可能であることが示されました。
さらに従来のAutoVC と比べても品質が改善できていることもMOS(Mean Opinion Score)による評価結果から示されました。
※メルスペクトログラム
音響特徴量の一部。音声の周波数をフーリエ変換したスペクトログラムで、人間の音声知覚の特徴を考慮したものを特にメルスペクトログラム(mel spectrogram)と呼ぶ。
※スペクトル包絡
スペクトルの曲線族すべてに接している曲線を包絡線(ほうらくせん)と呼び、包絡線の表す山や谷などを「包絡」という。
※GPU
特定の 3D レンダリング・タスクの高速化などに特化したプロセッサー。グラフィックスとゲームに使われるほか、汎用的な並列プロセッサーとして、生成AIなどにも使用されている。
論文名:「AutoVCを用いたゼロショットリアルタイム声質変換手法の実装と評価」
執筆者:鈴木大志 鷹合大輔 中沢実
情報処理学会論文誌 Vol.65 No.2 529-537(Feb.2024) 発行年2024-02-15
【リリース発信元】 大学プレスセンター https://www.u-presscenter.jp/
-
- 1
- 2
この記事に関連するニュース
-
社会人の学び直し「KITリカレント教育プログラム」の夏期集中講義の募集を令和6年5月27日より開始。AIやIoTを基礎から応用まで学ぶ「情報技術教育プログラム」を開講--金沢工業大学
Digital PR Platform / 2024年5月27日 20時5分
-
社会人の学び直し「KITリカレント教育プログラム」の夏期集中講義の募集を令和6年5月27日より開始。
共同通信PRワイヤー / 2024年5月27日 15時0分
-
NEDO「長距離物資輸送用無人航空機技術の開発・実証」(経済安全保障重要 技術育成プログラム)に金沢工業大学が参画
Digital PR Platform / 2024年5月27日 14時5分
-
【スマートファクトリー実現のキーテクノロジー】日本アンテナ株式会社と金沢工業大学伊東健治研究室が共同で空間伝送型ワイヤレス電力伝送システム用レクテナを開発
Digital PR Platform / 2024年5月24日 14時5分
-
日本アンテナと金沢工業大学伊東健治研究室が共同で空間伝送型ワイヤレス電力伝送システム用レクテナを開発
共同通信PRワイヤー / 2024年5月24日 13時30分
ランキング
-
1中国の過剰生産「有害」=雇用保護へAI行動計画―G7首脳声明
時事通信 / 2024年6月15日 16時44分
-
2バーガー店打撃…日銀「国債買い入れ減額」で “歴史的円安”に歯止め?
日テレNEWS NNN / 2024年6月15日 13時57分
-
3「阿武隈急行」の赤字穴埋めする2県5市町の補助金、宮城・柴田町が2358万円の支払い拒否
読売新聞 / 2024年6月15日 20時24分
-
4アップルにEUが制裁金、世界売上高10%の可能性…デジタル市場法違反に初認定か
読売新聞 / 2024年6月15日 15時19分
-
5「南高梅」が全国で記録的不作、価格は例年の3〜4倍に…「こんなことは初めて」
読売新聞 / 2024年6月15日 12時4分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください