获取 YOLO 许可
返回 Ultralytics 术语表

Consistency Models

一致性模型能够将扩散轨迹上的任意噪声点直接映射为干净数据,因此只需一两步就能生成图像。了解其训练方式。

一致性模型是一种生成式 AI模型,它能将扩散模型去噪轨迹上的任意点直接映射到该轨迹的干净起点,因此只需一次网络计算,就能将纯噪声转换为样本。扩散模型则通过数十到数百个小步骤逐步去除噪声,以达到相同结果,因此不适合实时推理。OpenAI 的 Yang Song、Prafulla Dhariwal、Mark Chen 和 Ilya Sutskever 于 2023 年 3 月在论文一致性模型中提出一致性模型,并报告了一步生成的弗雷歇 Inception 距离 (FID):在 CIFAR-10 上为 3.55,在 ImageNet 64 x 64 上为 6.20,均为当时最好的一步生成结果。

一致性属性#

扩散采样可以表示为概率流常微分方程 (ODE),它沿着确定性路径将每个噪声样本与唯一一个数据样本相连接。路径上的每个点——从轻微噪声到纯噪声——都共享同一个起点。一致性函数 f(x, t) 接收噪声水平为 t 的点 x,并返回该起点;所谓自一致性,就是对于同一条轨迹上的所有点,函数都返回相同的输出。在噪声水平最低时,函数必须原样返回输入;网络通过一条跳跃连接实现这一边界条件:在该噪声水平下,输入的权重为 1,而神经网络输出的权重为 0。

对于一维高斯数据,一致性函数有闭式解;下面几行 PyTorch 代码就展示了这两项性质:

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

轨迹上的四个点——2.6、3.34、14.01 和 98.0——都映射回 2.6;一次调用就能将 100,000 个纯噪声样本转换为均值为 1.99、标准差为 0.50 的样本,与数据分布相匹配。图像没有这样的公式,因此网络需要从数据中学习 f。

通过蒸馏或从头开始训练#

  • 一致性蒸馏: 预训练扩散模型和 ODE 求解器将带噪样本移动一步,降至更低的噪声水平;损失函数则促使模型在这两个点上的输出趋于一致。
  • 一致性训练: 不需要教师模型。它通过对一张干净图像在两个噪声水平下加入同一份噪声,生成两个相邻点,从而在不求解 ODE 的情况下估计轨迹。

在原始论文中,较低噪声点的输出来自模型自身权重的指数移动平均 (EMA),即一个缓慢更新的副本,能够避免目标在每一步都发生变化。Ultralytics YOLO26在训练期间也会维护同类平均值:每次优化器更新后,都会更新模型的 EMA 副本,衰减率逐步升至 0.9999;验证以及保存的 last.pt 和 best.pt 检查点都会使用该副本。Song 和 Dhariwal 于 2023 年 10 月提出改进的一致性训练 (iCT),将目标副本的 EMA 衰减率设为零,用 Pseudo-Huber 损失替代 LPIPS 感知损失,在没有预训练扩散模型的情况下,在 CIFAR-10 和 ImageNet 64 x 64 上分别达到 2.51 和 3.25 的一步 FID。Cheng Lu 和 Yang Song 于 2024 年 10 月将连续时间 sCM 扩展到 15 亿参数,在 ImageNet 512 x 512 上实现了 1.88 的两步 FID。

多步采样与零样本编辑#

一步采样速度最快,再增加几步则可以提升质量。多步采样交替执行跳转到干净数据和重新加噪,将噪声降低到更小的水平,因此每次处理都会细化上一次的估计:

同一循环无需针对特定任务进行训练,也能编辑图像。每次跳转后替换已知像素,就能实现图像修复;约束下采样图像或灰度图像,则能实现超分辨率或着色。这三种方法都由原始论文进行了演示。

  • 潜在一致性模型 (LCM): 将 Stable Diffusion 蒸馏成在潜在空间中运行的模型,并于 2023 年 10 月为开源模型带来一步到四步的文生图生成能力。
  • 扩散策略: 对动作序列进行去噪的机器人控制器。Stanford 和 Princeton 的 Aaditya Prasad 等人于 2024 年将其蒸馏为 Consistency Policy;与最快的替代方法相比,该策略将推理速度提升了一个数量级,并可在笔记本电脑 GPU 上运行。
  • 整流流: 直接拉直噪声到数据的路径,使普通 ODE 求解器只需很少的步数。
  • 渐进式蒸馏:Tim Salimans 和 Jonathan Ho 于 2022 年提出的方法,每轮蒸馏都将扩散模型的步数减半,经过多轮后达到 4 步;一致性蒸馏则直接训练模型实现一步跳转。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来