Latent Consistency Models (LCMs)
Модели латентной согласованности (LCM) дистиллируют Stable Diffusion в модель, создающую изображения за один-четыре шага. Рассматриваются дистилляция, LCM-LoRA и ускорение.
Модель согласованности в латентном пространстве (LCM) — это модель преобразования текста в изображение, дистиллированная из латентной диффузионной модели, например Stable Diffusion, чтобы генерировать изображения за один–четыре шага сэмплирования вместо обычных 20–50. Она использует идею модели согласованности — сети, которая напрямую преобразует любую зашумлённую точку на пути устранения шума в его чистую конечную точку, — в сжатом латентном пространстве исходной модели. Текстовый энкодер и декодер изображений используются без изменений, а ученик начинает с весов U-Net учителя. Симянь Ло, Ицинь Тан, Лунбо Хуан, Цзянь Ли и Хан Чжао из Университета Цинхуа представили LCM в октябре 2023 года в статье Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference. По их данным, для обучения модели с разрешением 768 x 768, выполняющей сэмплирование за 2–4 шага, понадобилось всего 32 часа работы GPU A100.
Как работает дистилляция согласованности в латентном пространстве#
Стандартная диффузионная модель генерирует данные, решая обыкновенное дифференциальное уравнение потока вероятностей (ODE) небольшими шагами: от латентного представления, состоящего из чистого шума, до чистого латентного представления, которое декодер автоэнкодера преобразует в пиксели. При дистилляции согласованности в латентном пространстве копию U-Net обучают проходить этот путь целиком за один вызов. На каждом шаге обучения замороженный учитель делает один шаг решателя ODE вдоль траектории, а ученик должен предсказать одно и то же чистое латентное представление для обеих точек этого шага:
Эта процедура повторяется для случайных временных шагов и притягивает каждую точку траектории к одному выходу. Для моделей преобразования текста в изображение нужны два дополнительных изменения. Шаг учителя уже включает безклассификаторное наведение с коэффициентом w, который также становится входом ученика, поэтому для генерации изображений с наведением достаточно одного прямого прохода вместо двух. При расписании с пропуском шагов учитель за раз перескакивает через k временных шагов вместо одного, что ускоряет сходимость. Вариант без учителя, дообучение на согласованность в латентном пространстве, адаптирует существующую LCM к пользовательскому набору данных.
Дистилляция согласованности — это разновидность дистилляции знаний, при которой используется схема «учитель — ученик». Обучение Ultralytics YOLO26 также поддерживает этот подход с помощью аргумента distill_model: обучение yolo26n.pt с distill_model="yolo26s.pt" заставляет нано-модель-ученика повторять карты признаков более крупной модели, повышая показатель mAP ученика на COCO без дополнительных затрат на инференс.
Сэмплирование за четыре шага#
LCM выполняет сэмплирование, чередуя скачки и повторное добавление шума. Модель предсказывает чистое латентное представление из чистого шума, добавляет свежий шум, чтобы вернуть предсказание к меньшему временному шагу, снова делает предсказание и декодирует последнее из них. LCMScheduler в diffusers от Hugging Face выбирает эти временные шаги из тысячешагового расписания обучения Stable Diffusion:
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")Сэмплер DDIM спускается от временного шага 980 с интервалом в 20 шагов и выполняет один вызов U-Net на каждом шаге, тогда как LCM посещает только временные шаги 999, 759, 499 и 259. Каждый дополнительный шаг позволяет модели уточнить детали предыдущего предсказания, поэтому качество растёт от одного шага до четырёх.
LCM-LoRA и применение в реальном времени#
Через месяц после выхода оригинальной статьи её авторы и инженеры Hugging Face выпустили LCM-LoRA, где результат дистилляции хранится в виде адаптера LoRA, а не полного набора новых весов. Его обучили для Stable Diffusion v1.5, SSD-1B и SDXL. Адаптер можно подключать к дообученным контрольным точкам и LoRA стилей той же базовой модели без дополнительного обучения. Сэмплирование за несколько шагов сделало возможным инференс в реальном времени для интерактивных инструментов: конвейер с открытым исходным кодом StreamDiffusion запускал LCM-LoRA с контрольной точкой KohakuV2, выполняя преобразование текста в изображение за 4 шага устранения шума и обрабатывая 38 кадров в секунду на одном GPU RTX 4090.
LCM и родственные термины#
- Модели согласованности: Исходная формулировка OpenAI, работающая непосредственно с пикселями; её проверяли на CIFAR-10 и ImageNet 64 x 64. LCM переносят этот подход в латентное пространство и добавляют текстовое условие и наведение.
- Дистилляция диффузии с состязательным обучением: SDXL Turbo от Stability AI, также представленная в ноябре 2023 года, достигает результата за один–четыре шага, добавляя дискриминатор в функцию потерь дистилляции.
- Большие концептуальные модели: Большие концептуальные модели Meta используют ту же аббревиатуру LCM, но относятся к языковым моделям, предсказывающим эмбеддинги целых предложений, и не связаны с генерацией изображений.
- Выпрямленный поток: Обучает более прямым траекториям от шума к данным, благодаря чему для сэмплирования требуется меньше шагов. Этот подход используется в Stable Diffusion 3 и FLUX.










