Лицензия YOLO
Назад к глоссарию Ultralytics

Latent Consistency Models (LCMs)

Модели латентной согласованности (LCM) дистиллируют Stable Diffusion в модель, создающую изображения за один-четыре шага. Рассматриваются дистилляция, LCM-LoRA и ускорение.

Модель согласованности в латентном пространстве (LCM) — это модель преобразования текста в изображение, дистиллированная из латентной диффузионной модели, например Stable Diffusion, чтобы генерировать изображения за один–четыре шага сэмплирования вместо обычных 20–50. Она использует идею модели согласованности — сети, которая напрямую преобразует любую зашумлённую точку на пути устранения шума в его чистую конечную точку, — в сжатом латентном пространстве исходной модели. Текстовый энкодер и декодер изображений используются без изменений, а ученик начинает с весов U-Net учителя. Симянь Ло, Ицинь Тан, Лунбо Хуан, Цзянь Ли и Хан Чжао из Университета Цинхуа представили LCM в октябре 2023 года в статье Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference. По их данным, для обучения модели с разрешением 768 x 768, выполняющей сэмплирование за 2–4 шага, понадобилось всего 32 часа работы GPU A100.

Как работает дистилляция согласованности в латентном пространстве#

Стандартная диффузионная модель генерирует данные, решая обыкновенное дифференциальное уравнение потока вероятностей (ODE) небольшими шагами: от латентного представления, состоящего из чистого шума, до чистого латентного представления, которое декодер автоэнкодера преобразует в пиксели. При дистилляции согласованности в латентном пространстве копию U-Net обучают проходить этот путь целиком за один вызов. На каждом шаге обучения замороженный учитель делает один шаг решателя ODE вдоль траектории, а ученик должен предсказать одно и то же чистое латентное представление для обеих точек этого шага:

Эта процедура повторяется для случайных временных шагов и притягивает каждую точку траектории к одному выходу. Для моделей преобразования текста в изображение нужны два дополнительных изменения. Шаг учителя уже включает безклассификаторное наведение с коэффициентом w, который также становится входом ученика, поэтому для генерации изображений с наведением достаточно одного прямого прохода вместо двух. При расписании с пропуском шагов учитель за раз перескакивает через k временных шагов вместо одного, что ускоряет сходимость. Вариант без учителя, дообучение на согласованность в латентном пространстве, адаптирует существующую LCM к пользовательскому набору данных.

Дистилляция согласованности — это разновидность дистилляции знаний, при которой используется схема «учитель — ученик». Обучение Ultralytics YOLO26 также поддерживает этот подход с помощью аргумента distill_model: обучение yolo26n.pt с distill_model="yolo26s.pt" заставляет нано-модель-ученика повторять карты признаков более крупной модели, повышая показатель mAP ученика на COCO без дополнительных затрат на инференс.

Сэмплирование за четыре шага#

LCM выполняет сэмплирование, чередуя скачки и повторное добавление шума. Модель предсказывает чистое латентное представление из чистого шума, добавляет свежий шум, чтобы вернуть предсказание к меньшему временному шагу, снова делает предсказание и декодирует последнее из них. LCMScheduler в diffusers от Hugging Face выбирает эти временные шаги из тысячешагового расписания обучения Stable Diffusion:

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

Сэмплер DDIM спускается от временного шага 980 с интервалом в 20 шагов и выполняет один вызов U-Net на каждом шаге, тогда как LCM посещает только временные шаги 999, 759, 499 и 259. Каждый дополнительный шаг позволяет модели уточнить детали предыдущего предсказания, поэтому качество растёт от одного шага до четырёх.

LCM-LoRA и применение в реальном времени#

Через месяц после выхода оригинальной статьи её авторы и инженеры Hugging Face выпустили LCM-LoRA, где результат дистилляции хранится в виде адаптера LoRA, а не полного набора новых весов. Его обучили для Stable Diffusion v1.5, SSD-1B и SDXL. Адаптер можно подключать к дообученным контрольным точкам и LoRA стилей той же базовой модели без дополнительного обучения. Сэмплирование за несколько шагов сделало возможным инференс в реальном времени для интерактивных инструментов: конвейер с открытым исходным кодом StreamDiffusion запускал LCM-LoRA с контрольной точкой KohakuV2, выполняя преобразование текста в изображение за 4 шага устранения шума и обрабатывая 38 кадров в секунду на одном GPU RTX 4090.

  • Модели согласованности: Исходная формулировка OpenAI, работающая непосредственно с пикселями; её проверяли на CIFAR-10 и ImageNet 64 x 64. LCM переносят этот подход в латентное пространство и добавляют текстовое условие и наведение.
  • Дистилляция диффузии с состязательным обучением: SDXL Turbo от Stability AI, также представленная в ноябре 2023 года, достигает результата за один–четыре шага, добавляя дискриминатор в функцию потерь дистилляции.
  • Большие концептуальные модели: Большие концептуальные модели Meta используют ту же аббревиатуру LCM, но относятся к языковым моделям, предсказывающим эмбеддинги целых предложений, и не связаны с генерацией изображений.
  • Выпрямленный поток: Обучает более прямым траекториям от шума к данным, благодаря чему для сэмплирования требуется меньше шагов. Этот подход используется в Stable Diffusion 3 и FLUX.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения