这是ElevenLabs近期发布的一款产品,结合了ElevenLabs的多语言语音合成、声音克隆、文本和音频处理技术,可以把任意一段音频或者视频,快速翻译为包括中文、葡萄牙语、日语等在内的29种语言,同时保留原语音者的音色特征和情感。
访问AI Dubbing官网,选择Create a New Dub创建一个新项目,为项目添加一个名称,Source Language可以手动选择或者让系统自行检测,Target Language选择想要输出的目标语言即可。
除了上传视频外,还可以粘贴Youtube、TikTok、X(Twitter)、Vimeo,以及任意视频的链接。设置完成后,点击最下方的Create按钮,开始音频克隆,完成后可以预览看看效果,然后再下载。
此外,在高级选项中还可以选择原视频中的人物数量、视频的质量,以及其他设置。
需要注意的是,在未登录和注册的情况下,AI Dubbing仅支持翻译一个最长为1分钟的视频,免费体验额度用完即需要付费使用。
在AI Dubbing的发布会上,ElevenLabs首席执行官兼联合创始人Mati Staniszewski分享了他在童年时期经历的后期配音内容的负面体验:“我在波兰长大,我们看的英语电影都是由一个旁白配音的。这意味着每个演员都有同样的声音,这让观影体验大打折扣。人工智能配音的发布是我们在消除这些内容语言障碍方面迈出的最大一步,将帮助观众享受他们想要的任何内容,无论他们说什么语言。”
2. HeyGen
https://labs.heygen.com/guest/video-translate
HeyGen是一个AI视频和数字人生成网站,9月7日上线了Video Translate(视频翻译)功能后,在X上迅速走红。
有国外网友使用HeyGen的即时配音 口型同步功能,生成了Elon Mask用日语、西班牙语、德语等8种语言的讲话片段。
此外,还有梅西和扎克伯格等人用多种外语讲话的逼真片段在社交媒体疯传。
目前,HeyGen的视频翻译功能支持14种语言,依托的是ElevenLabs的声音处理技术。不过,用户必须上传时长居于30秒至5分钟之间的视频,否则无法翻译和生成。
HeyGen的创作者包月套餐最低为每月29美元,可以制作多个视频,每个视频最长5分钟。
3. LipDub
https://www.lipdub.app/