基于可编辑文稿的 AI 配音 —— 支持 280 多种语言、35 种 AI 音色

Smartcat 可以为您的视频转录文本,允许您逐行编辑,将其翻译成 280 多种语言中的任意一种,并生成 35 种配音语言区域的同步 AI 语音轨道——同时保留原有的背景音乐和音效。

翻译任意文件。秒速完成。
图片、文档、视频、音频、课程 — 选择格式并拖入文件。
将视频拖到此处
或 浏览文件 · 支持 .mp4, .mov, .avi, .mkv 等更多格式
源语言
目标语言

翻译

1,000 多家企业品牌 选择 Smartcat 进行 AI 配音

AI配音究竟能做什么

AI配音用另一种语言的合成语音替换视频中的原配音频。Smartcat 可以根据可编辑的转录文本生成配音:只需修改一个人名或重写一个句子,配音就会完全照此朗读。AI 配音支持 35 种语言区域——由 ElevenLabs [1] 提供技术支持——并且最适合用于培训、产品和营销视频。

35

配音语言区域

翻译涵盖280多种语言,但AI画外音支持的语言列表较短:由ElevenLabs提供技术支持的35个区域语言,包括日语、中文、德语、印地语、韩语、法语(法国和加拿大),以及英语的美国、英国、澳大利亚和加拿大变体。如果您的目标语言没有可用的配音,请导出翻译后的字幕。

5

从上传到导出的步骤

上传视频,修改一次转录文本,选择语言和配音,对照画面检查配音,导出。语音与背景音频分离,因此音乐和音效会保留在新声音之下,而不是消失不见。

10

每个源词的 Smartwords 数量

配音是按转录字数计费,而非按视频分钟数计费——因此,内容少但时长较长的视频,费用要低于内容密集但时长较短的视频。标准翻译是每个源词对应 1 个 Smartword,因此配音预算大约是同一剧本文字翻译成本的十倍。详情:定价。

为什么大多数配音视频从未发布?

录音室配音按每分钟、每种语言计费。一段时长10分钟的培训视频,若要翻译成八种语言,报价可达五位数,因此配音预算往往会被砍掉,导致七个市场只能看字幕——甚至什么都没有。

每增加一种语言都会增加数周的时间:选角、录音、审核、重录。等到德语配音获得批准时,视频中的产品已经发生变化了。

而团队害怕这种机械音。人人都听过糟糕的AI配音,因此各大品牌在未曾测试之前,就悄然认定“这不适合我们”,而未去探究自己记忆中的那些瑕疵是否早已被现有工具所修复。

1,000+

Smartcat 上的企业品牌

280+

翻译语言

16

支持的视频格式(不包括 WebM)

6 GB

每个文件的最大上传大小

四个原因中有三个是可以解决的

读错的名字、语速过快地念完长段翻译的声音、突然消失的音乐——在编辑器中,每一个问题都有对应的控制选项。一次性设置发音规则,重新调整提示时间,分离背景音频。第四个原因是一个真正的限制,它决定了何时改为提供字幕。

AI 配音是如何运作的?

Smartcat 中的 AI 配音是通过可编辑的转录文本而非直接从音频进行的:系统会将语音轨道转录为带有时间轴的提示,您只需校对一次人名和产品术语,所有语言都会以校正后的文本为准。这就是整个流程。

  • 转录 — 媒体翻译代理将视频的语音音频转换为带有时间轴、可编辑的字幕提示。配音是根据语音来进行的,而不是根据画面中内嵌的文字。

  • 更正——在进行任何翻译之前,您先对转录文本进行一次修改(人名、首字母缩略词、产品术语)。

  • 翻译 — AI 会将提示内容翻译为您的目标语言,并复用您的术语表和翻译记忆库。

  • 配音 — 生成与原提示时间同步的 AI 音轨,支持 35 种语言区域之一,并由 ElevenLabs 提供技术支持;编辑字幕行即可更改 AI 配音的内容。

  • 审阅与导出——在同一工作流程中,可将任何语言分配给专业的人工审阅员;您还可以重新生成单行内容(包括修正发音),而无需重新制作整个视频。

语音与背景音频分离,因此在换上新声音后,音乐和音效仍会保留,而不会消失。配音是按脚本字数而非视频长度计费的,费率为每个源词 10 个 Smartword。

从上传到导出只需五步——您只需修改一次转录文本,所有语言即可同步更新

1

上传视频

支持十六种视频格式:3GP、3G2、AVI、FLV、M2V、M4V、MKV、MOV、MP4、MPEG、MPG、OGV、QT、WMV、TS 和 VOB。不支持 WebM,因此请先进行转换。

  • 文件最大支持 6 GB;建议将超过 1 GB 的文件进行分割,以加快处理速度。
  • 没有公布的最大视频时长——限制条件是文件大小,而非播放时长。
  • 任何套餐均不限制单个项目中的文件数量。

2

修改一次文本记录

在进行任何翻译之前,请先纠正带时间戳的转录稿中的人名、缩略语和产品术语。每一次纠正都会汇入每一种语言。

3

选择语言和声音

可翻译成 280 多种语言中的任意一种,并在 35 个配音区域中为每种语言选择一种 AI 语音。若某个区域设置没有配音,则导出翻译后的字幕。

4

对照画面审查配音

在字幕编辑器中编辑任意提示,该行的配音就会重新渲染。如果重要程度需要,可在同一工作流程中将某种语言交给专业的人工审校员处理。

5

导出

下载配音视频,或单独下载音频轨道。

观看其为视频配音

上传视频,修改一次脚本,亲耳聆听可编辑转录文本带来的不同。免费试用 15 天,含 15,000 个 Smartwords 字符——尊享完整翻译功能,无需信用卡。

团队借助 Smartcat 视频本地化交付的成果

2–3 天

在施乐辉,而不是十个

施乐辉(Smith+Nephew)将生命科学和医疗内容同等长度在线学习课程的翻译交付周期,从以往供应商平均所需的十天缩短至两到三天。

30%

原班人马,更高产出

在团队和资源保持不变的情况下,伟门·智威(Wunderman Thompson)将本地化内容的产出提高了30%。

50%

更低的成本,更高的生产力

expondo 将生产力提高了 50%,并将本地化成本降低了一半。

由 G2 上的 Smartcat 用户评分

为预算曾说“不行”的视频配音

上传视频,只需修改一次脚本,即可在每一个重要市场推出自然流畅的配音音轨——对于不宜由人工智能配音的内容,还提供字幕支持。免费试用15天,无需信用卡。

AI配音——背后的隐性条款

这与 YouTube 的自动配音有何不同?

YouTube 的自动配音是全自动且不受你控制的——你无法编辑脚本、纠正发音,也无法在观众听到之前审核某种语言(你可以在 YouTube 工作室的音频设置中针对单个视频将其停用)。Smartcat 则是一种截然相反的权衡:您可以完全掌控转录文本、配音和审核环节,并且导出的文件全渠道归您所有。

我可以上传哪些视频格式?视频时长最长可以是多少?

支持十六种视频格式:3GP、3G2、AVI、FLV、M2V、M4V、MKV、MOV、MP4、MPEG、MPG、OGV、QT、WMV、TS 和 VOB。不支持 WebM,因此请先进行转换。

  • 大小——上传上限为 6 GB,Smartcat 建议将超过 1 GB 的文件进行拆分,以加快处理速度。
  • 时长 — Smartcat 发布的内容中没有最大视频时长限制;文档记录的限制是文件大小,而非播放时长,因此一段 90 分钟的录音主要是文件大小的问题,而不是时长的问题。
  • 数量——单个项目中包含的视频数量没有上限,并且支持数百个文件的批量上传。

这些限制均不因方案而异。

配音会翻译屏幕上的文字吗?

不。视频翻译是通过语音音频进行的。嵌入在画面中的文本(如片名、字幕条、图表和叠加层)无法自动提取或翻译;您需要编辑原始视频源文件才能对其进行更改。

有多少种语言拥有人工智能语音?

翻译涵盖280多种语言,但AI配音的支持范围较小:共有由ElevenLabs提供技术支持的35种语言环境,包括日语、中文、德语、印地语、韩语、法语(法国和加拿大),以及美式、英式、澳大利亚和加拿大变体的英语。如果您的目标语言没有可用的语音,请改为导出翻译后的字幕。

配音生成后我还可以进行编辑吗?

是的——在字幕编辑器中编辑任意提示,该行的语音就会重新渲染。你不会为了修改一句话而重新生成整个视频。

在交付之前,可以由人工对配音进行审核吗?

是的。在同一个项目内,将任何语言指派给来自 Smartcat Marketplace 的经过审核的审校员;他们的修改会更新提示点,且语音会根据修正后的文本重新渲染生成。

我的视频是保密的吗?

Smartcat 符合 SOC 2 Type II 标准;文件在传输和静态存储过程中均已加密,工作区相互隔离并具有基于角色的访问权限。详情:安全。

这里没有解答您的问题?预约演示 — 一对一咨询,无需任何承诺。

为什么 AI 配音听起来很糟糕——又将在何时摆脱这种现状?

大多数糟糕的 AI 配音之所以失败,都是因为四个原因之一,而其中三个是可以解决的。

  • 读错的名称 — 通过一次性全局应用的发音规则予以纠正。
  • 因翻译文本过长而语速过快的声音——已通过在字幕编辑器中调整时间轴完成修复。
  • 音乐和音效消失——已通过背景音分离解决。
  • 合成语音不会演戏——第四个原因是一个真正的局限:它们能很好地朗读脚本,但对于带有情感或喜剧色彩的素材,请使用字幕或真人配音人才。

上传前还有两个限制需要注意:唇音同步是基于时间对齐,而非口型匹配,因此说话者面部的特写镜头对配音来说是最糟糕的情况,但对字幕而言却是最好的选择;此外,嘈杂的音源会降低后续所有处理的效果,这也是为什么会有可编辑转写文本这一步骤的原因。

配音、旁白翻译和字幕之间有什么区别?

配音替换了原本的声音。画外音翻译将翻译后的旁白覆盖在原声之上,同时底层的原声依然隐约可闻。字幕翻译保留原音频不变,将译文呈现在屏幕上。这三者均来自同一份可编辑的转录文本,因此您可以按视频进行挑选,也可以导出多个视频,而无需重新翻译。

来源

1. 唐尼,A.,& 海斯,M.(2025年4月17日)。什么是AI语音?IBM。