日本テレビ“超汐留パラダイス”における『HUNTER×HUNTER』PRブースにて、DMMと東京大学大学院情報理工学系研究科猿渡研究室が開発した“リアルタイム音声変換”が採択
PR TIMES / 2019年7月26日 15時40分
~『HUNTER×HUNTER』のキャラクターの声になるシステムを開発~
日本テレビ放送網株式会社(本社:東京都港区、以下日本テレビ)が、7月26日(金)より開催するイベント「超汐留パラダイス」の企画である『HUNTER×HUNTER』のPRブースに、合同会社DMM.com(本社:東京都港区、会長 兼 CEO亀山敬司、以下DMM )が、東京大学大学院情報理工学系研究科システム情報学専攻猿渡研究室(猿渡 洋 教授,高道 慎之介 助教)と共同で開発した“リアルタイム音声変換”技術が採択されました。なお、この共同研究は2016年に東京大学大学院情報理工学系研究科に設置された社会連携講座「時空間解析技術の応用研究」の活動の一環として行われたものです。
[画像1: https://prtimes.jp/i/2581/3399/resize/d2581-3399-874992-0.jpg ]
参加者はブースにてアニメの映像に合わせてセリフを話すと、自分の声が『HUNTER×HUNTER』のキャラクターの声に変換されてスピーカーから流れ、なりきりアフレコ体験ができます。
DMMは今回の取り組みを皮切りに、”リアルタイム音声変換"の技術をエンターテイメントを始め、様々な用途での展開を進めていきます。
■リアルタイム音声変換について
リアルタイム音声変換とは、機械学習を用いてマイクに向かって話す声を特定の人の声にリアルタイムに変換する技術です。
プログラムの中では、人の声を3つのフェーズにて処理し、特定の人の声にリアルタイムに変換します。
1.分析
人間の声を"声の高さ"、"声色"、"声のかすれ具合"の要素に分けて分析します。
2.学習・変換
分析した声の要素を事前に生成した声の変換モデルに従って、機械学習を用いて人間の声の要素を変換します。
3.生成
変換した声の要素、"声の高さ"、"声色"、”声のかすれ具合”を再度統合し、音声を生成します。
<イメージ画像>
[画像2: https://prtimes.jp/i/2581/3399/resize/d2581-3399-777005-1.jpg ]
従来は、音声変換の処理に時間がかかるためリアルタイムでの音声変換は難しく、イベントやライブ配信などリアルタイム性が求められる場面での活用は困難でした。
今回のシステムでは1-2時間程度の収録で得られる音声データを元に、機械学習を用いた独自の変換処理により遅延を小さく抑え、人間が音声遅延を認識する約70msを下回る約50msでの音声変換を実現しました。
音声変換モデルの機械学習には、変換精度を高めるため、主に画像生成等において成果を上げている「GAN(Generative Adversarial Network)」と呼ばれる生成モデルと同様の技術を応用しております。
また、音声変換部分はシステムを軽量化したことで一般的なノートパソコンで十分に動作が可能となりました。
※今回のシステムでは音響機器の影響で遅延が発生いたします。
デモ動画
https://youtu.be/P9rGqoYnfCg
■東京大学大学院情報理工学系研究科との社会連携講座について
DMMは、2016年に東京大学大学院情報理工学系研究科に設置された社会連携講座「時空間解析技術の応用研究」において、共同研究に取り組んできました。
当社会連携講座では、高速画像処理、音声音響信号処理、触覚情報処理、VR、ネットワークコンピューティング等の技術基盤の上に、世界最先端の時空間信号の解析・活用技術を開発しています。
DMMはそんな世界トップクラスの技術をこれまで培ったビジネスの知見を基にエンターテイメント領域を中心に、社会へのビジネス展開し、テクノロジーからの事業創造を目指しています。
【開催概要】
超☆汐留パラダイス!-2019SUMMER-
期間:2019年7月26日(金)~8月25日(日)
時間:10:30~18:00 ※一部21:00まで
場所:汐留・日本テレビ及び汐留公共地下歩道
詳しくは、公式サイトをご参照ください。
https://www.ntv.co.jp/shiopara/
本件へのお問い合わせは下記まで
【リリースとご取材に関するお問い合わせ】
DMM.com 広報部
〒106-6224 東京都港区六本木3-2-1 住友不動産六本木グランドタワー24F
TEL:03-5797-8926(連絡可能時間帯:平日10:00~19:00)
E-MAIL:release-dmm@dmm.com
リリース:https://dmm-corp.com/press/
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
「第14回 フロンティアサロン 永瀬賞」贈呈記念 高校生のためのサイエンスセミナー 9/27開催
共同通信PRワイヤー / 2024年9月20日 19時30分
-
「数理・データサイエンス・AI /リテラシーレベル」に対応した新しいテキストが登場! 『ファーストステップ AI・データサイエンスの基礎』発行
PR TIMES / 2024年9月13日 13時45分
-
生成AIの仕組みや活用をわかりやすく解説。監修書籍『ゼロからわかるITほんき入門+マンガ 生成AIのなかみ』発売
PR TIMES / 2024年9月11日 17時15分
-
押さえておきたいLLM用語の基礎解説 第1回 AI・大規模言語モデル・生成AI・ニューラルネットワーク・ディープラーニング
マイナビニュース / 2024年9月10日 7時0分
-
横国大、AI処理を低消費電力で高速化する「スピン波リザバー素子」を開発
マイナビニュース / 2024年9月9日 6時31分
ランキング
-
1「100円マック」も今は昔 値上げしたマクドナルドなぜ好調? コスパ重視の客には500円台のセットで対応
ITmedia ビジネスオンライン / 2024年9月22日 6時15分
-
2フランフランが「若年女性」人気を総取りするワケ アインHDによる買収を経て、再成長できるのか
東洋経済オンライン / 2024年9月22日 8時0分
-
33浪東京藝大「音楽諦めた」彼女の"運命の出会い" 家庭環境の変化で、一度は夢を諦めたものの…
東洋経済オンライン / 2024年9月22日 8時0分
-
4建設業の深刻すぎる「人手不足」解消に必要なこと 一括請負方式の生産システムを見直せるか
東洋経済オンライン / 2024年9月22日 7時0分
-
5「三菱商事、伊藤忠、ゴールドマン・サックス」がずらり…偏差値55なのに就職実績"最強"の「地方マイナー大学」の秘密
プレジデントオンライン / 2024年9月22日 10時15分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください