Consistency Models
一致性模型能够将扩散轨迹上的任意噪声点直接映射为干净数据,因此只需一两步就能生成图像。了解其训练方式。
一致性模型是一种生成式 AI模型,它能将扩散模型去噪轨迹上的任意点直接映射到该轨迹的干净起点,因此只需一次网络计算,就能将纯噪声转换为样本。扩散模型则通过数十到数百个小步骤逐步去除噪声,以达到相同结果,因此不适合实时推理。OpenAI 的 Yang Song、Prafulla Dhariwal、Mark Chen 和 Ilya Sutskever 于 2023 年 3 月在论文一致性模型中提出一致性模型,并报告了一步生成的弗雷歇 Inception 距离 (FID):在 CIFAR-10 上为 3.55,在 ImageNet 64 x 64 上为 6.20,均为当时最好的一步生成结果。
一致性属性#
扩散采样可以表示为概率流常微分方程 (ODE),它沿着确定性路径将每个噪声样本与唯一一个数据样本相连接。路径上的每个点——从轻微噪声到纯噪声——都共享同一个起点。一致性函数 f(x, t) 接收噪声水平为 t 的点 x,并返回该起点;所谓自一致性,就是对于同一条轨迹上的所有点,函数都返回相同的输出。在噪声水平最低时,函数必须原样返回输入;网络通过一条跳跃连接实现这一边界条件:在该噪声水平下,输入的权重为 1,而神经网络输出的权重为 0。
对于一维高斯数据,一致性函数有闭式解;下面几行 PyTorch 代码就展示了这两项性质:
import torch
torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0 # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80
def consistency_fn(x, t):
"""Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
return mu + (x - mu) * s / (s**2 + t**2) ** 0.5
# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t: ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))
# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")轨迹上的四个点——2.6、3.34、14.01 和 98.0——都映射回 2.6;一次调用就能将 100,000 个纯噪声样本转换为均值为 1.99、标准差为 0.50 的样本,与数据分布相匹配。图像没有这样的公式,因此网络需要从数据中学习 f。
通过蒸馏或从头开始训练#
- 一致性蒸馏: 预训练扩散模型和 ODE 求解器将带噪样本移动一步,降至更低的噪声水平;损失函数则促使模型在这两个点上的输出趋于一致。
- 一致性训练: 不需要教师模型。它通过对一张干净图像在两个噪声水平下加入同一份噪声,生成两个相邻点,从而在不求解 ODE 的情况下估计轨迹。
在原始论文中,较低噪声点的输出来自模型自身权重的指数移动平均 (EMA),即一个缓慢更新的副本,能够避免目标在每一步都发生变化。Ultralytics YOLO26在训练期间也会维护同类平均值:每次优化器更新后,都会更新模型的 EMA 副本,衰减率逐步升至 0.9999;验证以及保存的 last.pt 和 best.pt 检查点都会使用该副本。Song 和 Dhariwal 于 2023 年 10 月提出改进的一致性训练 (iCT),将目标副本的 EMA 衰减率设为零,用 Pseudo-Huber 损失替代 LPIPS 感知损失,在没有预训练扩散模型的情况下,在 CIFAR-10 和 ImageNet 64 x 64 上分别达到 2.51 和 3.25 的一步 FID。Cheng Lu 和 Yang Song 于 2024 年 10 月将连续时间 sCM 扩展到 15 亿参数,在 ImageNet 512 x 512 上实现了 1.88 的两步 FID。
多步采样与零样本编辑#
一步采样速度最快,再增加几步则可以提升质量。多步采样交替执行跳转到干净数据和重新加噪,将噪声降低到更小的水平,因此每次处理都会细化上一次的估计:
同一循环无需针对特定任务进行训练,也能编辑图像。每次跳转后替换已知像素,就能实现图像修复;约束下采样图像或灰度图像,则能实现超分辨率或着色。这三种方法都由原始论文进行了演示。
应用与相关方法#
- 潜在一致性模型 (LCM): 将 Stable Diffusion 蒸馏成在潜在空间中运行的模型,并于 2023 年 10 月为开源模型带来一步到四步的文生图生成能力。
- 扩散策略: 对动作序列进行去噪的机器人控制器。Stanford 和 Princeton 的 Aaditya Prasad 等人于 2024 年将其蒸馏为 Consistency Policy;与最快的替代方法相比,该策略将推理速度提升了一个数量级,并可在笔记本电脑 GPU 上运行。
- 整流流: 直接拉直噪声到数据的路径,使普通 ODE 求解器只需很少的步数。
- 渐进式蒸馏:Tim Salimans 和 Jonathan Ho 于 2022 年提出的方法,每轮蒸馏都将扩散模型的步数减半,经过多轮后达到 4 步;一致性蒸馏则直接训练模型实现一步跳转。










