Latent Consistency Models (LCMs)
潜在一致性模型(LCM)将 Stable Diffusion 蒸馏为一个只需一步到四步即可生成图像的模型。内容涵盖蒸馏、LCM-LoRA 和速度。
潜在一致性模型 (LCM) 是一种从潜在扩散模型(如 Stable Diffusion)蒸馏而来的文生图模型,可在 1 到 4 个采样步骤内生成图像,而通常需要 20 到 50 步。它将一致性模型的思路应用于原始模型压缩后的潜在空间:一致性模型是一种能将去噪路径上任意带噪点直接映射到其干净终点的网络。文本编码器和图像解码器保持原样复用,学生模型则从教师模型的 U-Net 权重开始训练。清华大学的 Simian Luo、Yiqin Tan、Longbo Huang、Jian Li 和 Hang Zhao 于 2023 年 10 月在论文潜在一致性模型:通过少步推理合成高分辨率图像中提出 LCM,并报告称,一个以 2 到 4 步采样的 768 x 768 模型仅需 32 个 A100 GPU 小时即可完成训练。
潜在一致性蒸馏的工作原理#
标准扩散模型通过逐步求解概率流常微分方程 (ODE) 进行生成:从纯噪声潜变量开始,得到干净潜变量,再由自编码器的解码器将其转换为像素。潜在一致性蒸馏会训练一个 U-Net 学生模型副本,使其一次调用就完成整个过程。在每个训练步骤中,冻结的教师模型沿着轨迹执行一步 ODE 求解,而学生模型必须从这一步的两端预测出相同的干净潜变量:
在随机时间步上反复执行此过程,会将轨迹上的每个点都拉向同一输出。两项改动让这一方法适用于文生图模型。教师模型执行的步骤已包含缩放系数为 w 的无分类器引导,而 w 会作为学生模型的输入,因此生成引导图像只需一次前向传播,而不是两次。跳步调度则让教师模型每次跨越 k 个时间步,而非一步,从而加快收敛。无教师模型的变体——潜在一致性微调——可以将现有 LCM 适配到自定义数据集。
一致性蒸馏是知识蒸馏的一种形式,也就是教师-学生模式;Ultralytics YOLO26训练同样通过其 distill_model 参数支持这一模式:使用 distill_model="yolo26s.pt" 训练 yolo26n.pt,让 nano 学生模型匹配较大模型的特征图,从而提升学生模型在 COCO 上的 mAP,且不增加推理成本。
四步采样#
LCM 通过交替执行跳步和重新加噪来采样。它先从纯噪声预测出干净潜变量,再加入新噪声,将该预测带回更小的时间步,然后再次进行预测,最后解码最终预测结果。Hugging Face diffusers 中的 LCMScheduler 会根据 Stable Diffusion 的 1,000 步训练调度选择这些时间步:
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")DDIM 采样器从时间步 980 开始,每次递减 20,每一步都调用一次 U-Net;而 LCM 只访问时间步 999、759、499 和 259。每增加一步,模型都能修正上一次预测中的细节,因此生成质量会从一步到四步逐渐提升。
LCM-LoRA 与实时应用#
原始论文发表一个月后,作者与 Hugging Face 工程师发布了 LCM-LoRA,将蒸馏结果存储为 LoRA 适配器,而非一整套新权重。他们针对 Stable Diffusion v1.5、SSD-1B 和 SDXL 进行了训练;无需进一步训练,就能将它接入同一基础模型的微调检查点和风格 LoRA。少步采样让交互式工具能够进行实时推理:开源 StreamDiffusion 流程在一块 RTX 4090 GPU 上,使用 KohakuV2 检查点和 4 个去噪步骤,以每秒 38 帧的速度进行文生图。










