声と話し方を好みのスタイルに一瞬で変える ~高音質かつ低遅延なリアルタイム音声変換~
Digital PR Platform / 2024年6月17日 10時0分
![声と話し方を好みのスタイルに一瞬で変える
~高音質かつ低遅延なリアルタイム音声変換~](https://media.image.infoseek.co.jp/isnews/photos/digitalprplatform/digitalprplatform_89983_0-small.png)
発表のポイント:
高音質と低遅延を両立した深層学習に基づくリアルタイム音声変換技術を開発しました
新規に考案した話者依存性の低い音声特徴量の抽出処理で高音質を担保できたため、従来法とは異なり未来の音声信号のバッファが不要なモデルを用いた低遅延処理も実現できました
本技術は対面や遠隔を問わず、様々な音声コミュニケーションでの音声変換を可能にし、例えば、web会議にて発話者の抑揚や声質を聞き取りやすい音声に変換するなど、誰もが物理的・能力的・心理的な制約にとらわれないコミュニケーションの実現に寄与します
日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:島田 明、以下「NTT」)は、ある話者の声を、まるで他の話者が話しているかのように、高品質かつ低遅延に音声変換する技術を考案しました(図1)。これにより、Web会議やライブ配信などでのリアルタイム音声変換が可能になります。今後はスマートフォンやVRデバイス上での利用など、さまざまな場面での応用が期待されます。
本成果は、6月24日より開催される、コミュニケーション科学基礎研究所オープンハウス2024に出展いたします。
[画像1]https://digitalpr.jp/simg/2341/89983/700_391_20240614175757666c061552b2a.PNG
図1. 音声変換によるコミュニケーション拡張
1.背景
音声は、言語情報だけでなく話す人の抑揚や声質といった話者性など、非言語情報も伝達できるという大きな特徴を有し、利便性に特に優れたコミュニケーション媒体です。「もっと理想的な声で話したい・聞きたい」といったニーズはあるものの、手軽に実現できる技術はこれまで限られていました。音声変換は、言語内容を保持しつつ、声の特徴(声質、抑揚、リズムなど)を変更することで、ネイティブに近い英語の流暢な発音や、説得力のあるスピーチ、緊張による声の震えの解消など、物理的・能力的・心理的な制約にとらわれないコミュニケーションの実現に寄与します。その適用先は、プライバシー保護、エンターテインメント、医療、教育、ビジネスなど、多岐にわたります(図1)。
これらの利用シーンに応じて、「声のどの特徴を変換するべきか?」「その変換のためにはどういった学習データを用意すべきか?」「変換はリアルタイムである必要があるか?」など、様々な前提条件が想定されます。NTTではこれまでに、元話者と変換先話者の同一発話音声のペアデータを用いて、声質だけでなく抑揚やリズムなど柔軟に変換できる特徴量変換技術や、収集が高コストな元話者と変換先話者の発話ペア音声を必要としないペアデータフリーな学習方式を用いた特徴量変換技術の研究にも取り組んできました。
今回、これら音声の「特徴量変換技術」の研究成果と、独自に進めてきた音声特徴から音声波形を生成する「波形合成技術」の研究成果を融合し、Web会議を含むさまざまな音声コミュニケーションで使用可能である低遅延なリアルタイム音声変換技術を開発しました。
この記事に関連するニュース
-
Yahoo!カーナビに生成AIを活用した音声案内機能を搭載 よりリアルな人の声を再現
ITmedia ビジネスオンライン / 2024年7月18日 8時5分
-
LINEヤフー、音声生成AI搭載の「Yahoo!カーナビ」提供開始
レスポンス / 2024年7月17日 14時30分
-
Yahoo!カーナビ、音声案内に音声生成AIを採用 自然な発話で聞き取りやすさが向上
ITmedia Mobile / 2024年7月16日 18時40分
-
【Yahoo!カーナビ】LINEヤフーが新たに開発した高品質なオンデバイス音声生成AIを搭載した音声案内の提供を開始
PR TIMES / 2024年7月16日 17時45分
-
スマホ上でも高速動作可能な21言語の高品質ニューラル音声合成技術を開発
共同通信PRワイヤー / 2024年6月25日 14時0分
ランキング
-
1円安は終わり?円高反転4つの理由。どうなる日経平均?
トウシル / 2024年7月22日 8時0分
-
2なぜユニクロは「着なくなった服」を集めるのか…「服屋として何ができるのか」柳井正氏がたどり着いた答え
プレジデントオンライン / 2024年7月22日 9時15分
-
3イタリア人が営む「老舗ラーメン店」の人生ドラマ 西武柳沢「一八亭」ジャンニさんと愛妻のこれまで
東洋経済オンライン / 2024年7月22日 11時30分
-
4システム障害、世界で余波続く=欠航、1400便超
時事通信 / 2024年7月21日 22時45分
-
5コメが品薄、価格が高騰 米穀店や飲食店直撃「ここまでとは」
産経ニュース / 2024年7月21日 17時41分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください
![](/pc/img/mission/mission_close_icon.png)