Voice Cloning

声音克隆是利用生成式 AI生成特定人物声音的新语音。给定某位说话者的录音后，克隆系统会学习该声音的辨识特征，包括音高、音色、口音和节奏，然后用这个声音读出任何新文本或翻译后的台词。百度的 Sercan Arık 及其同事在 2018 年的论文《少样本神经声音克隆》中阐述了沿用至今的两种方法：将多说话者模型适配到新声音，或将声音编码为模型可以据此生成语音的向量。现代系统只需几秒音频就能生成逼真的克隆声音，这使该技术在无障碍服务和媒体制作中很有价值，也同样容易被诈骗者利用。

声音克隆的构建方式#

大多数声音克隆系统会在文本转语音（TTS）中加入说话者身份表示。说话者编码器通过数千种声音进行训练，会将参考录音压缩为固定长度的向量，称为说话者嵌入。Google 的 2018 年 SV2TTS 系统使用说话者验证任务训练编码器，判断两段录音是否来自同一个人；对于未见过的说话者，该系统只需几秒钟音频。TTS 模型接收文本和嵌入，并预测梅尔频谱等声学表示；神经声码器再将其转换为音频波形。

声音克隆主要有两种方式：

• 零样本克隆：将一段简短的参考片段（通常长 3 到 30 秒）输入在多位说话者的声音上训练的模型。系统不会重新训练，因此可以立即生成新声音；不过，口音浓重的声音和情绪化的表达不太容易可靠地迁移。
• 微调克隆：使用某位说话者数分钟到数小时的清晰录音调整模型权重。这种方法需要更多数据和计算资源，但能生成更接近原声、更稳定的效果，因此专业旁白声音通常采用这种方式制作。

较新的系统会将语音视为语言。神经音频编解码器利用残差向量量化将音频压缩为离散词元，再由 Transformer语言模型生成这些词元。Microsoft 的 VALL-E于 2023 年 1 月推出，在 60,000 小时英语语音上训练，可以用相同的声音、情绪和房间声学特性续写一段 3 秒提示音频；由于存在滥用风险，Microsoft 没有公开发布该模型。OpenAI 的 Voice Engine 也采取了相同做法，于 2024 年 3 月展示了只需 15 秒样本即可克隆声音的系统。无论采用哪种方法，参考音频中的噪声、削波和房间回声都会出现在克隆声音中。

声音克隆与文本转语音、声音转换的区别#

标准 TTS 使用一组预先设计或获授权的固定音色，而克隆技术则能以某个特定人物为目标。语音转换与之密切相关：它接收录制的语音作为输入，在保留原始表演中的文字、时间安排和情感的同时替换说话者身份。语音转文本则反向工作，将音频转录为文字。自动配音会将这三种技术串联起来：转录原始对话，翻译，然后用克隆的演员声音说出译文。

如果使用克隆声音让某人看似说出了从未说过的话，这就是音频深度伪造。

声音储存、配音和游戏对话#

• Apple 的个人声音：被诊断出 ALS 或即将接受喉部手术的人，会趁还能说话时录下一组简短语句，iPhone 随后会在设备上合成他们的声音，用来朗读他们输入的消息。
• 配音和旁白： 工作室和有声读物出版商会使用经授权的克隆声音，以原说话者的声音将内容本地化为其他语言，也可以录制修改后的台词，而不必让旁白人员重新进棚。
• 游戏和虚拟助手：开发者可以用一致的声音生成大量角色对白，配音演员则通过合同授权使用自己的克隆声音。

欺诈、同意与检测#

犯罪分子会从社交媒体片段中克隆声音，然后打电话给亲属或员工，紧急要求转账。防范这类虚假紧急情况诈骗的可靠方法是挂断电话，再拨打已知号码回拨给对方。2024 年 1 月，使用克隆的拜登总统声音的自动拨号电话告诉新罕布什尔州选民不要参加该州的初选；2024 年 2 月，美国联邦通信委员会裁定，根据《电话消费者保护法》，AI 生成的声音属于“人工”声音，因此未经事先同意，这类自动拨号电话属于违法行为。负责任的语音平台会要求声音所有者提供录音同意，限制克隆公众人物的声音，并在生成的音频中嵌入人耳听不到的 AI 水印，以便日后识别。C2PA 内容凭证会添加一份经过签名的记录，说明媒体文件的创建和编辑方式。

检测会结合音频和视觉证据。音频分类器会查找声码器留下的频谱伪影；自 2015 年起举办的 ASVspoof 挑战系列则会用新的克隆和转换攻击对这些分类器进行基准测试。视频检测会将唇部动作与音轨进行比较，以发现叠加在真实画面上的克隆配音，因为发出“b”“m”“p”音时嘴巴必须闭合，并且要与同一时刻的音频相符。这些检测首先要在每一帧中找到并跟踪说话者的脸；经过 Ultralytics YOLO26 训练的人脸检测器可以实时完成这项工作，并在跟踪模式下为每张脸分配一个持久 ID，让唇形同步模型收到每位说话者连续的一串嘴部裁剪图。