スマホで手軽に自動吹き替え!米Captions社のアプリ「Lipdub」、日本語含む28言語に対応
Techable / 2023年12月11日 20時0分
文章を外国語に訳す翻訳ツールは数多く展開されているが、米ニューヨークのスタートアップCaptionsがこのほどリリースしたのは、映像のなかの人物の話し言葉をスマホで簡単にさまざまな言語に変換できるモバイルアプリ「Lipdub」。同アプリは、日本語を含む28言語に対応している。
自己紹介の映像も簡単に吹き替えLipdub(現在iOSのみ)は、アプリ内のカメラで撮影、または既存のビデオをアプリにアップロードすると、ビデオの中の人物の話し言葉を、選んだ言語に吹き替えられるというもの。
人工知能(AI)を活用しており、たとえば日本語で自己紹介するビデオを撮り、英語やフランス語、スペイン語といった外国語に変えて、日本語以外の話者に案内するという使い方ができる。
対応言語は上記以外にイタリア語やドイツ語、ポルトガル語、オランダ語、韓国語、アラビア語、マレー語など幅広い。英語に限定されるが、米南部テキサス州のなまりやZ世代の話し方なども用意されている。
口元の動きも外国語風にまたLipdubは、吹き替えが自然な仕上がりになるよう、話者の口元の動きまで言語に合わせて変えられるのもポイント。いかにも流暢に外国語を話している感じにしてくれる。
このアプリを使用する上での主な注意点は、ビデオの中で話す人物のうち1人の吹き替えのみが可能であること。また、ビデオの長さは最長1分という制限がある。短いビデオメッセージ、商品やサービスの紹介などに使えそうだ。
どのような感じになるかは、以下のデモビデオを参考にしてほしい。
25秒のビデオ、約5分で吹き替え完成筆者はLipdubを使って、日本語で紹介する長さ25秒ほどのビデオを撮影し、実際に試してみた。
アプリを立ち上げて言語を選び、ビデオをアップロードすると、すぐさま吹き替え作業がスタート。待つこと5分近くで、英語吹き替え版が出来上がった。
完成したものは、確かに話し言葉が日本語から英語に変わっているが、声はほぼ同じ。口の動きも実際に英語を話しているように見える。
もちろん、英語で話す内容もオリジナルに沿ったものになっている。100%正確で自然な言い回しというわけではなさそうだが、少なくとも観た人に内容は伝わるだろう。馴染みのない外国語の場合は特に重宝しそうだ。
Lipdub、今後は世界展開を視野に無料アプリのLipdubは現在、米国のApp Storeでのみダウンロードできるが、世界への展開を準備しているようだ。
開発元のCaptionsは、Lipdubの前にビデオ編集アプリを手がけている。Lipdubと同様AIを活用し、ビデオの中の「あの」「えーっと」といった不要な言葉やカットしたりノイズを消去したりできるというもので、今回のLipdubはその延長線上にあるアプリともいえそうである。
公式ウェブサイトによると、社名と同じ名称のビデオ編集アプリの方はデイリーユーザー10万人超とすでに固定ファンをつかんでいるようだ。
なおCaptionsは2021年創業で、これまでにセコイア・キャピタルやアンドリーセン・ホロウイッツといった名だたるベンチャーキャピタルから資金を調達している。
Lipdub
(文・Mizoguchi)
外部リンク
この記事に関連するニュース
-
古江彩佳の気になる「英語力」…米ツアー参戦3年目もエビアン優勝インタビューは日本語で
日刊ゲンダイDIGITAL / 2024年7月16日 17時13分
-
「笹の葉はサラサラ」と感じるのは日本人だけ…子どもに英語を早期教育するのが「もったいない」理由
プレジデントオンライン / 2024年7月4日 10時15分
-
「日本の声優のすばらしさ広めたい」アニメの世界観ごと輸出するAI吹き替え技術
ASCII.jp / 2024年6月26日 10時0分
-
関西外国語大学(大阪府枚方市)の英語国際学部で2025年4月、新学科「アジア共創学科」がスタートします。文部科学省が設置届出を受理しました
Digital PR Platform / 2024年6月25日 14時5分
-
早見沙織と木島隆一がバディに ドラマ『ワイルドカード~』が日本初放送
マイナビニュース / 2024年6月20日 11時30分
ランキング
-
1スマホの容量パンパン!じゃあ直付けSDカードリーダーで容量増えやしちゃえ
&GP / 2024年7月18日 6時30分
-
2妻の悲鳴を聞いて駆けつけたら…… 充電中のモバイルバッテリーが発火、真っ黒に焼け焦げたバッテリーに戦慄
ねとらぼ / 2024年7月16日 7時15分
-
3ナイキならぬニャイキ ロゴマーク「スウッシュ」を全身で表現する猫ちゃん
おたくま経済新聞 / 2024年7月18日 7時0分
-
4「笑み男」の正体はあの名作ADV!35年ぶりのシリーズ完全新作『ファミコン探偵倶楽部 笑み男』8月29日発売決定
インサイド / 2024年7月17日 22時41分
-
5「SNSの英知」 そうめんの巨大空き箱の“天才的な使い道”があまりにも予想外で話題に 「まねしよう」
ねとらぼ / 2024年7月18日 7時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)