「多言語コミュニケーション」強化するAI…吹き替えの口の動き・話し方も言語に合わせる

YouTubeチャンネルのショーツのキャプチャー(c)news1

【KOREA WAVE】人工知能技術が多言語対応を強化し、グローバルなコミュニケーションの壁を取り払いつつある。特に、映像の口元や話し方を各言語に合わせて再現する技術が登場し、利用者の利便性を一層高めている。

韓国のAIスタートアップの「ハドソンAI」は、YouTubeクリエイター向けにAI多言語吹き替えサービス「timbr」のベータ版を先月リリースした。このサービスは現在、日本語、韓国語、英語、スペイン語、ポルトガル語、フランス語、ドイツ語をサポートしており、正式版では約20言語に対応する予定だ。

「timbr」は、ハドソンAI独自の音声合成技術「Acting TTS（音声合成技術）」を基に構築されている。この技術は、映像内の話者が実際に外国語を話しているように音声や話し方を再現し、状況に応じた非言語的表現も取り入れることができる。また、音声のトーンや速度を調整可能で、AIによる吹き替え音声が不自然な場合でも編集ツールで修正が可能だ。

YouTubeチャンネルのショーツのキャプチャー(c)news1

翻訳表現も文脈に応じて変更可能だ。例えば「これ、おいしいですね」を英語に翻訳する場合、「It’s delicious」や「It’s yummy」などの異なるニュアンスを選択できるほか、喜びや落ち着きといった感情を反映する設定も可能だ。さらに、AIリップシンク技術により、話者の口元が吹き替え後の言語に合うようリアルタイムで調整される。この機能は間もなくベータ版に追加される。

現在、多くのYouTubeクリエイターが「timbr」を活用して多言語コンテンツを制作している。登録者2330万人を誇るグローバルアニメーションYouTuber「GH’S」は、キャラクターのセリフを日本語、英語、スペイン語で吹き替えたショート動画を公開している。

(c)news1/KOREA WAVE/AFPBB News