获取 YOLO 许可
返回 Ultralytics 术语表

Latent Consistency Models (LCMs)

潜在一致性模型(LCM)将 Stable Diffusion 蒸馏为一个只需一步到四步即可生成图像的模型。内容涵盖蒸馏、LCM-LoRA 和速度。

潜在一致性模型 (LCM) 是一种从潜在扩散模型(如 Stable Diffusion)蒸馏而来的文生图模型,可在 1 到 4 个采样步骤内生成图像,而通常需要 20 到 50 步。它将一致性模型的思路应用于原始模型压缩后的潜在空间:一致性模型是一种能将去噪路径上任意带噪点直接映射到其干净终点的网络。文本编码器和图像解码器保持原样复用,学生模型则从教师模型的 U-Net 权重开始训练。清华大学的 Simian Luo、Yiqin Tan、Longbo Huang、Jian Li 和 Hang Zhao 于 2023 年 10 月在论文潜在一致性模型:通过少步推理合成高分辨率图像中提出 LCM,并报告称,一个以 2 到 4 步采样的 768 x 768 模型仅需 32 个 A100 GPU 小时即可完成训练。

潜在一致性蒸馏的工作原理#

标准扩散模型通过逐步求解概率流常微分方程 (ODE) 进行生成:从纯噪声潜变量开始,得到干净潜变量,再由自编码器的解码器将其转换为像素。潜在一致性蒸馏会训练一个 U-Net 学生模型副本,使其一次调用就完成整个过程。在每个训练步骤中,冻结的教师模型沿着轨迹执行一步 ODE 求解,而学生模型必须从这一步的两端预测出相同的干净潜变量:

在随机时间步上反复执行此过程,会将轨迹上的每个点都拉向同一输出。两项改动让这一方法适用于文生图模型。教师模型执行的步骤已包含缩放系数为 w 的无分类器引导,而 w 会作为学生模型的输入,因此生成引导图像只需一次前向传播,而不是两次。跳步调度则让教师模型每次跨越 k 个时间步,而非一步,从而加快收敛。无教师模型的变体——潜在一致性微调——可以将现有 LCM 适配到自定义数据集。

一致性蒸馏是知识蒸馏的一种形式,也就是教师-学生模式;Ultralytics YOLO26训练同样通过其 distill_model 参数支持这一模式:使用 distill_model="yolo26s.pt" 训练 yolo26n.pt,让 nano 学生模型匹配较大模型的特征图,从而提升学生模型在 COCO 上的 mAP,且不增加推理成本。

四步采样#

LCM 通过交替执行跳步和重新加噪来采样。它先从纯噪声预测出干净潜变量,再加入新噪声,将该预测带回更小的时间步,然后再次进行预测,最后解码最终预测结果。Hugging Face diffusers 中的 LCMScheduler 会根据 Stable Diffusion 的 1,000 步训练调度选择这些时间步:

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

DDIM 采样器从时间步 980 开始,每次递减 20,每一步都调用一次 U-Net;而 LCM 只访问时间步 999、759、499 和 259。每增加一步,模型都能修正上一次预测中的细节,因此生成质量会从一步到四步逐渐提升。

LCM-LoRA 与实时应用#

原始论文发表一个月后,作者与 Hugging Face 工程师发布了 LCM-LoRA,将蒸馏结果存储为 LoRA 适配器,而非一整套新权重。他们针对 Stable Diffusion v1.5、SSD-1B 和 SDXL 进行了训练;无需进一步训练,就能将它接入同一基础模型的微调检查点和风格 LoRA。少步采样让交互式工具能够进行实时推理:开源 StreamDiffusion 流程在一块 RTX 4090 GPU 上,使用 KohakuV2 检查点和 4 个去噪步骤,以每秒 38 帧的速度进行文生图。

  • 一致性模型: OpenAI 最初提出的形式,直接在像素上运行,并在 CIFAR-10 和 ImageNet 64 x 64 上进行了基准测试。LCM 将其扩展到潜在空间,并加入文本条件和引导。
  • 对抗式扩散蒸馏: Stability AI 的 SDXL Turbo 同样于 2023 年 11 月发布,它通过在蒸馏损失中加入判别器,实现一步到四步生成。
  • 大型概念模型: Meta 的大型概念模型也使用 LCM 这一缩写,但它们是预测整句嵌入的语言模型,与图像生成无关。
  • 整流流: 训练更直的噪声到数据路径,使采样器能够减少步数;这是 Stable Diffusion 3 和 FLUX 背后的方法。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来