スマホで手軽に自動吹き替え!米Captions社のアプリ「Lipdub」、日本語含む28言語に対応
Techable / 2023年12月11日 20時0分
文章を外国語に訳す翻訳ツールは数多く展開されているが、米ニューヨークのスタートアップCaptionsがこのほどリリースしたのは、映像のなかの人物の話し言葉をスマホで簡単にさまざまな言語に変換できるモバイルアプリ「Lipdub」。同アプリは、日本語を含む28言語に対応している。
自己紹介の映像も簡単に吹き替えLipdub(現在iOSのみ)は、アプリ内のカメラで撮影、または既存のビデオをアプリにアップロードすると、ビデオの中の人物の話し言葉を、選んだ言語に吹き替えられるというもの。
人工知能(AI)を活用しており、たとえば日本語で自己紹介するビデオを撮り、英語やフランス語、スペイン語といった外国語に変えて、日本語以外の話者に案内するという使い方ができる。
対応言語は上記以外にイタリア語やドイツ語、ポルトガル語、オランダ語、韓国語、アラビア語、マレー語など幅広い。英語に限定されるが、米南部テキサス州のなまりやZ世代の話し方なども用意されている。
口元の動きも外国語風にまたLipdubは、吹き替えが自然な仕上がりになるよう、話者の口元の動きまで言語に合わせて変えられるのもポイント。いかにも流暢に外国語を話している感じにしてくれる。
このアプリを使用する上での主な注意点は、ビデオの中で話す人物のうち1人の吹き替えのみが可能であること。また、ビデオの長さは最長1分という制限がある。短いビデオメッセージ、商品やサービスの紹介などに使えそうだ。
どのような感じになるかは、以下のデモビデオを参考にしてほしい。
25秒のビデオ、約5分で吹き替え完成筆者はLipdubを使って、日本語で紹介する長さ25秒ほどのビデオを撮影し、実際に試してみた。
アプリを立ち上げて言語を選び、ビデオをアップロードすると、すぐさま吹き替え作業がスタート。待つこと5分近くで、英語吹き替え版が出来上がった。
完成したものは、確かに話し言葉が日本語から英語に変わっているが、声はほぼ同じ。口の動きも実際に英語を話しているように見える。
もちろん、英語で話す内容もオリジナルに沿ったものになっている。100%正確で自然な言い回しというわけではなさそうだが、少なくとも観た人に内容は伝わるだろう。馴染みのない外国語の場合は特に重宝しそうだ。
Lipdub、今後は世界展開を視野に無料アプリのLipdubは現在、米国のApp Storeでのみダウンロードできるが、世界への展開を準備しているようだ。
開発元のCaptionsは、Lipdubの前にビデオ編集アプリを手がけている。Lipdubと同様AIを活用し、ビデオの中の「あの」「えーっと」といった不要な言葉やカットしたりノイズを消去したりできるというもので、今回のLipdubはその延長線上にあるアプリともいえそうである。
公式ウェブサイトによると、社名と同じ名称のビデオ編集アプリの方はデイリーユーザー10万人超とすでに固定ファンをつかんでいるようだ。
なおCaptionsは2021年創業で、これまでにセコイア・キャピタルやアンドリーセン・ホロウイッツといった名だたるベンチャーキャピタルから資金を調達している。
Lipdub
(文・Mizoguchi)
外部リンク
この記事に関連するニュース
-
コニカミノルタ、WOVN.ioを導入
PR TIMES / 2024年5月21日 10時0分
-
ハングルがわからない状態でも気軽にトライ! 韓国語学習に役立つデジタルツール5選
ananweb / 2024年5月20日 19時0分
-
多すぎて悩む生成AI、最新注目ツールはこの3つ! お手軽で画像や音楽の作成に強力な性能を発揮
東洋経済オンライン / 2024年5月15日 18時30分
-
いくら単語を覚えても英語力は上がらない…勉強熱心な日本人が英語を話せない根本原因
プレジデントオンライン / 2024年5月5日 8時15分
-
外国語をマスターするには「聞く、話す、読む、書く」のどれを優先すべきか…12カ国語を操るYouTuberの結論
プレジデントオンライン / 2024年4月28日 8時15分
ランキング
-
1Xアカウントの乗っ取りDMが再流行中 インスタグラムへのリンクに見えるけど……じゃない!
おたくま経済新聞 / 2024年5月21日 18時6分
-
2貼り付ければOK、配線不要の小型ドライブレコーダーを実際に試してみた 画質やWi-Fiスマホ連携の使い勝手を検証
ITmedia Mobile / 2024年5月21日 12時30分
-
3今なら最大3500ポイント獲得 銀行の振込手数料を0円にする「エアウォレット」
ASCII.jp / 2024年5月21日 7時0分
-
4加護亜依、夫が1年前から病魔に襲われ……“嫌がらせ記事”と発覚時期かぶり「メンタル凹んでるときにダブルでやられて」「苦しかった」
ねとらぼ / 2024年5月21日 13時40分
-
5「Fantia」でVisaとMastercardクレジットカードの一時停止 ニコニコやDLsiteに続き
ねとらぼ / 2024年5月21日 19時31分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください