1,000 多家企业品牌 选择 Smartcat 进行 AI 配音
AI配音究竟能做什么
AI配音用另一种语言的合成语音替换视频中的原配音频。Smartcat 可以根据可编辑的转录文本生成配音:只需修改一个人名或重写一个句子,配音就会完全照此朗读。AI 配音支持 35 种语言区域——由 ElevenLabs [1] 提供技术支持——并且最适合用于培训、产品和营销视频。
35
配音语言区域
翻译涵盖280多种语言,但AI画外音支持的语言列表较短:由ElevenLabs提供技术支持的35个区域语言,包括日语、中文、德语、印地语、韩语、法语(法国和加拿大),以及英语的美国、英国、澳大利亚和加拿大变体。如果您的目标语言没有可用的配音,请导出翻译后的字幕。
5
从上传到导出的步骤
上传视频,修改一次转录文本,选择语言和配音,对照画面检查配音,导出。语音与背景音频分离,因此音乐和音效会保留在新声音之下,而不是消失不见。
10
每个源词的 Smartwords 数量
配音是按转录字数计费,而非按视频分钟数计费——因此,内容少但时长较长的视频,费用要低于内容密集但时长较短的视频。标准翻译是每个源词对应 1 个 Smartword,因此配音预算大约是同一剧本文字翻译成本的十倍。详情:定价。
为什么大多数配音视频从未发布?
录音室配音按每分钟、每种语言计费。一段时长10分钟的培训视频,若要翻译成八种语言,报价可达五位数,因此配音预算往往会被砍掉,导致七个市场只能看字幕——甚至什么都没有。
每增加一种语言都会增加数周的时间:选角、录音、审核、重录。等到德语配音获得批准时,视频中的产品已经发生变化了。
而团队害怕这种机械音。人人都听过糟糕的AI配音,因此各大品牌在未曾测试之前,就悄然认定“这不适合我们”,而未去探究自己记忆中的那些瑕疵是否早已被现有工具所修复。
Smartcat 上的企业品牌
翻译语言
支持的视频格式(不包括 WebM)
每个文件的最大上传大小
四个原因中有三个是可以解决的
读错的名字、语速过快地念完长段翻译的声音、突然消失的音乐——在编辑器中,每一个问题都有对应的控制选项。一次性设置发音规则,重新调整提示时间,分离背景音频。第四个原因是一个真正的限制,它决定了何时改为提供字幕。
AI 配音是如何运作的?
Smartcat 中的 AI 配音是通过可编辑的转录文本而非直接从音频进行的:系统会将语音轨道转录为带有时间轴的提示,您只需校对一次人名和产品术语,所有语言都会以校正后的文本为准。这就是整个流程。
转录 — 媒体翻译代理将视频的语音音频转换为带有时间轴、可编辑的字幕提示。配音是根据语音来进行的,而不是根据画面中内嵌的文字。
更正——在进行任何翻译之前,您先对转录文本进行一次修改(人名、首字母缩略词、产品术语)。
翻译 — AI 会将提示内容翻译为您的目标语言,并复用您的术语表和翻译记忆库。
配音 — 生成与原提示时间同步的 AI 音轨,支持 35 种语言区域之一,并由 ElevenLabs 提供技术支持;编辑字幕行即可更改 AI 配音的内容。
审阅与导出——在同一工作流程中,可将任何语言分配给专业的人工审阅员;您还可以重新生成单行内容(包括修正发音),而无需重新制作整个视频。
语音与背景音频分离,因此在换上新声音后,音乐和音效仍会保留,而不会消失。配音是按脚本字数而非视频长度计费的,费率为每个源词 10 个 Smartword。
从上传到导出只需五步——您只需修改一次转录文本,所有语言即可同步更新
1
上传视频
支持十六种视频格式:3GP、3G2、AVI、FLV、M2V、M4V、MKV、MOV、MP4、MPEG、MPG、OGV、QT、WMV、TS 和 VOB。不支持 WebM,因此请先进行转换。
- 文件最大支持 6 GB;建议将超过 1 GB 的文件进行分割,以加快处理速度。
- 没有公布的最大视频时长——限制条件是文件大小,而非播放时长。
- 任何套餐均不限制单个项目中的文件数量。
2
修改一次文本记录
在进行任何翻译之前,请先纠正带时间戳的转录稿中的人名、缩略语和产品术语。每一次纠正都会汇入每一种语言。
3
选择语言和声音
可翻译成 280 多种语言中的任意一种,并在 35 个配音区域中为每种语言选择一种 AI 语音。若某个区域设置没有配音,则导出翻译后的字幕。
4
对照画面审查配音
在字幕编辑器中编辑任意提示,该行的配音就会重新渲染。如果重要程度需要,可在同一工作流程中将某种语言交给专业的人工审校员处理。
5
导出
下载配音视频,或单独下载音频轨道。
观看其为视频配音
上传视频,修改一次脚本,亲耳聆听可编辑转录文本带来的不同。免费试用 15 天,含 15,000 个 Smartwords 字符——尊享完整翻译功能,无需信用卡。
为预算曾说“不行”的视频配音
上传视频,只需修改一次脚本,即可在每一个重要市场推出自然流畅的配音音轨——对于不宜由人工智能配音的内容,还提供字幕支持。免费试用15天,无需信用卡。
AI配音——背后的隐性条款
这与 YouTube 的自动配音有何不同?
YouTube 的自动配音是全自动且不受你控制的——你无法编辑脚本、纠正发音,也无法在观众听到之前审核某种语言(你可以在 YouTube 工作室的音频设置中针对单个视频将其停用)。Smartcat 则是一种截然相反的权衡:您可以完全掌控转录文本、配音和审核环节,并且导出的文件全渠道归您所有。
我可以上传哪些视频格式?视频时长最长可以是多少?
支持十六种视频格式:3GP、3G2、AVI、FLV、M2V、M4V、MKV、MOV、MP4、MPEG、MPG、OGV、QT、WMV、TS 和 VOB。不支持 WebM,因此请先进行转换。
- 大小——上传上限为 6 GB,Smartcat 建议将超过 1 GB 的文件进行拆分,以加快处理速度。
- 时长 — Smartcat 发布的内容中没有最大视频时长限制;文档记录的限制是文件大小,而非播放时长,因此一段 90 分钟的录音主要是文件大小的问题,而不是时长的问题。
- 数量——单个项目中包含的视频数量没有上限,并且支持数百个文件的批量上传。
这些限制均不因方案而异。
配音会翻译屏幕上的文字吗?
不。视频翻译是通过语音音频进行的。嵌入在画面中的文本(如片名、字幕条、图表和叠加层)无法自动提取或翻译;您需要编辑原始视频源文件才能对其进行更改。
有多少种语言拥有人工智能语音?
翻译涵盖280多种语言,但AI配音的支持范围较小:共有由ElevenLabs提供技术支持的35种语言环境,包括日语、中文、德语、印地语、韩语、法语(法国和加拿大),以及美式、英式、澳大利亚和加拿大变体的英语。如果您的目标语言没有可用的语音,请改为导出翻译后的字幕。
配音生成后我还可以进行编辑吗?
是的——在字幕编辑器中编辑任意提示,该行的语音就会重新渲染。你不会为了修改一句话而重新生成整个视频。
在交付之前,可以由人工对配音进行审核吗?
是的。在同一个项目内,将任何语言指派给来自 Smartcat Marketplace 的经过审核的审校员;他们的修改会更新提示点,且语音会根据修正后的文本重新渲染生成。
我的视频是保密的吗?
为什么 AI 配音听起来很糟糕——又将在何时摆脱这种现状?
大多数糟糕的 AI 配音之所以失败,都是因为四个原因之一,而其中三个是可以解决的。
- 读错的名称 — 通过一次性全局应用的发音规则予以纠正。
- 因翻译文本过长而语速过快的声音——已通过在字幕编辑器中调整时间轴完成修复。
- 音乐和音效消失——已通过背景音分离解决。
- 合成语音不会演戏——第四个原因是一个真正的局限:它们能很好地朗读脚本,但对于带有情感或喜剧色彩的素材,请使用字幕或真人配音人才。
上传前还有两个限制需要注意:唇音同步是基于时间对齐,而非口型匹配,因此说话者面部的特写镜头对配音来说是最糟糕的情况,但对字幕而言却是最好的选择;此外,嘈杂的音源会降低后续所有处理的效果,这也是为什么会有可编辑转写文本这一步骤的原因。
配音、旁白翻译和字幕之间有什么区别?
配音替换了原本的声音。画外音翻译将翻译后的旁白覆盖在原声之上,同时底层的原声依然隐约可闻。字幕翻译保留原音频不变,将译文呈现在屏幕上。这三者均来自同一份可编辑的转录文本,因此您可以按视频进行挑选,也可以导出多个视频,而无需重新翻译。
来源
1. 唐尼,A.,& 海斯,M.(2025年4月17日)。什么是AI语音?IBM。