Consistency Models
Модели согласованности преобразуют любую зашумлённую точку на траектории диффузии непосредственно в чистые данные, позволяя генерировать изображения за один-два шага. Разбираем их обучение.
Модель согласованности — это модель генеративного ИИ, которая напрямую преобразует любую точку на траектории устранения шума диффузионной модели в её чистую исходную точку. Поэтому она может превратить чистый шум в образец за одно вычисление сети. Диффузионные модели достигают того же результата, устраняя шум за десятки и сотни небольших шагов, что замедляет инференс в реальном времени. Янг Сон, Прафулла Дхаривал, Марк Чен и Илья Суцкевер из OpenAI представили модели согласованности в марте 2023 года в статье Consistency Models. Они сообщили, что показатель расстояния Фреше—Инсепшн (FID) при генерации за один шаг составил 3,55 на CIFAR-10 и 6,20 на ImageNet 64 x 64 — на тот момент это были лучшие результаты генерации за один шаг.
Свойство согласованности#
Сэмплирование диффузионной модели можно описать обыкновенным дифференциальным уравнением потока вероятностей (ODE), которое связывает каждый образец шума ровно с одним образцом данных вдоль детерминированного пути. У каждой точки на этом пути — от слегка зашумлённой до чистого шума — одно и то же начало. Функция согласованности f(x, t) принимает точку x с уровнем шума t и возвращает исходную точку. Самосогласованность означает, что для всех точек одной траектории она возвращает один и тот же результат. При минимальном уровне шума функция должна возвращать вход без изменений. Это граничное условие обеспечивается пропускным соединением в сети: коэффициент при входе на этом уровне равен 1, а при выходе нейронной сети — 0.
Для одномерных гауссовых данных функция согласованности имеет аналитическое выражение, которое наглядно показывает оба свойства в нескольких строках кода на PyTorch:
import torch
torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0 # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80
def consistency_fn(x, t):
"""Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
return mu + (x - mu) * s / (s**2 + t**2) ** 0.5
# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t: ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))
# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")Все четыре точки траектории — 2.6, 3.34, 14.01 и 98.0 — отображаются обратно в 2.6. Один вызов преобразует 100 000 выборок чистого шума в образцы со средним 1.99 и стандартным отклонением 0.50, соответствующими распределению данных. Для изображений такой формулы нет, поэтому сеть учится вычислять f по данным.
Обучение дистилляцией или с нуля#
- Дистилляция согласованности: Предварительно обученная диффузионная модель и решатель ODE перемещают зашумлённый образец на один шаг к меньшему уровню шума, а функция потерь сближает выходы модели в этих двух точках.
- Обучение согласованности: Не требует учителя. Две соседние точки создаются добавлением одной и той же выборки шума к чистому изображению при двух уровнях шума, что позволяет оценить траекторию без решения ODE.
В оригинальной статье выход в точке с меньшим уровнем шума получали с помощью экспоненциального скользящего среднего (EMA) собственных весов модели — медленно обновляемой копии, которая не позволяет целевым значениям меняться на каждом шаге. Ultralytics YOLO26 также поддерживает такое усреднение во время обучения: после каждого шага оптимизатора обновляется EMA-копия модели с коэффициентом затухания, постепенно возрастающим до 0.9999, а проверка и сохранённые контрольные точки last.pt и best.pt используют эту копию. В улучшенном обучении согласованности (iCT), представленном Сонгом и Дхаривалом в октябре 2023 года, коэффициент затухания EMA целевой копии установили на ноль, перцептивную функцию потерь LPIPS заменили на Pseudo-Huber и без предварительно обученной диффузионной модели достигли показателей FID 2,51 на CIFAR-10 и 3,25 на ImageNet 64 x 64 при генерации за один шаг. Непрерывная по времени модель sCM, разработанная Чэном Лу и Яном Соном, масштабировала подход до 1,5 миллиарда параметров в октябре 2024 года и достигла FID 1,88 на ImageNet 512 x 512 при генерации за два шага.
Многошаговое сэмплирование и редактирование без примеров#
Один шаг обеспечивает самую быструю генерацию, а несколько дополнительных шагов повышают качество. При многошаговом сэмплировании переход к чистым данным чередуется с повторным добавлением шума до меньшего уровня, поэтому каждый проход уточняет предыдущую оценку:
Тот же цикл позволяет редактировать изображения без обучения для конкретной задачи. Замена известных пикселей после каждого перехода превращает его в восстановление областей изображения, а ограничение на уменьшенную копию изображения или изображение в оттенках серого — в сверхразрешение или колоризацию. Все три варианта показаны в оригинальной статье.
Применение и смежные методы#
- Модели согласованности в латентном пространстве (LCM): Дистиллируют Stable Diffusion в модель, работающую в латентном пространстве, и обеспечивают генерацию изображений по тексту за один–четыре шага в открытых моделях. Подход представлен в октябре 2023 года.
- Диффузионные политики: Контроллеры роботов, устраняющие шум из последовательностей действий. В 2024 году Аадитья Прасад и его коллеги из Стэнфорда и Принстона дистиллировали их в Consistency Policy. Она ускорила инференс на порядок по сравнению с самой быстрой альтернативой и работала на GPU ноутбука.
- Выпрямленный поток: Выпрямляет сами траектории от шума к данным, поэтому обычному решателю ODE требуется меньше шагов.
- Прогрессивная дистилляция: метод Тима Салиманса и Джонатана Хо 2022 года в каждом раунде дистилляции вдвое сокращает число шагов диффузионной модели, доводя его до 4 после многих раундов. При дистилляции согласованности модель сразу обучается выполнять переход за один шаг.










