Лицензия YOLO
Назад к глоссарию Ultralytics

Consistency Models

Модели согласованности преобразуют любую зашумлённую точку на траектории диффузии непосредственно в чистые данные, позволяя генерировать изображения за один-два шага. Разбираем их обучение.

Модель согласованности — это модель генеративного ИИ, которая напрямую преобразует любую точку на траектории устранения шума диффузионной модели в её чистую исходную точку. Поэтому она может превратить чистый шум в образец за одно вычисление сети. Диффузионные модели достигают того же результата, устраняя шум за десятки и сотни небольших шагов, что замедляет инференс в реальном времени. Янг Сон, Прафулла Дхаривал, Марк Чен и Илья Суцкевер из OpenAI представили модели согласованности в марте 2023 года в статье Consistency Models. Они сообщили, что показатель расстояния Фреше—Инсепшн (FID) при генерации за один шаг составил 3,55 на CIFAR-10 и 6,20 на ImageNet 64 x 64 — на тот момент это были лучшие результаты генерации за один шаг.

Свойство согласованности#

Сэмплирование диффузионной модели можно описать обыкновенным дифференциальным уравнением потока вероятностей (ODE), которое связывает каждый образец шума ровно с одним образцом данных вдоль детерминированного пути. У каждой точки на этом пути — от слегка зашумлённой до чистого шума — одно и то же начало. Функция согласованности f(x, t) принимает точку x с уровнем шума t и возвращает исходную точку. Самосогласованность означает, что для всех точек одной траектории она возвращает один и тот же результат. При минимальном уровне шума функция должна возвращать вход без изменений. Это граничное условие обеспечивается пропускным соединением в сети: коэффициент при входе на этом уровне равен 1, а при выходе нейронной сети — 0.

Для одномерных гауссовых данных функция согласованности имеет аналитическое выражение, которое наглядно показывает оба свойства в нескольких строках кода на PyTorch:

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

Все четыре точки траектории — 2.6, 3.34, 14.01 и 98.0 — отображаются обратно в 2.6. Один вызов преобразует 100 000 выборок чистого шума в образцы со средним 1.99 и стандартным отклонением 0.50, соответствующими распределению данных. Для изображений такой формулы нет, поэтому сеть учится вычислять f по данным.

Обучение дистилляцией или с нуля#

  • Дистилляция согласованности: Предварительно обученная диффузионная модель и решатель ODE перемещают зашумлённый образец на один шаг к меньшему уровню шума, а функция потерь сближает выходы модели в этих двух точках.
  • Обучение согласованности: Не требует учителя. Две соседние точки создаются добавлением одной и той же выборки шума к чистому изображению при двух уровнях шума, что позволяет оценить траекторию без решения ODE.

В оригинальной статье выход в точке с меньшим уровнем шума получали с помощью экспоненциального скользящего среднего (EMA) собственных весов модели — медленно обновляемой копии, которая не позволяет целевым значениям меняться на каждом шаге. Ultralytics YOLO26 также поддерживает такое усреднение во время обучения: после каждого шага оптимизатора обновляется EMA-копия модели с коэффициентом затухания, постепенно возрастающим до 0.9999, а проверка и сохранённые контрольные точки last.pt и best.pt используют эту копию. В улучшенном обучении согласованности (iCT), представленном Сонгом и Дхаривалом в октябре 2023 года, коэффициент затухания EMA целевой копии установили на ноль, перцептивную функцию потерь LPIPS заменили на Pseudo-Huber и без предварительно обученной диффузионной модели достигли показателей FID 2,51 на CIFAR-10 и 3,25 на ImageNet 64 x 64 при генерации за один шаг. Непрерывная по времени модель sCM, разработанная Чэном Лу и Яном Соном, масштабировала подход до 1,5 миллиарда параметров в октябре 2024 года и достигла FID 1,88 на ImageNet 512 x 512 при генерации за два шага.

Многошаговое сэмплирование и редактирование без примеров#

Один шаг обеспечивает самую быструю генерацию, а несколько дополнительных шагов повышают качество. При многошаговом сэмплировании переход к чистым данным чередуется с повторным добавлением шума до меньшего уровня, поэтому каждый проход уточняет предыдущую оценку:

Тот же цикл позволяет редактировать изображения без обучения для конкретной задачи. Замена известных пикселей после каждого перехода превращает его в восстановление областей изображения, а ограничение на уменьшенную копию изображения или изображение в оттенках серого — в сверхразрешение или колоризацию. Все три варианта показаны в оригинальной статье.

  • Модели согласованности в латентном пространстве (LCM): Дистиллируют Stable Diffusion в модель, работающую в латентном пространстве, и обеспечивают генерацию изображений по тексту за один–четыре шага в открытых моделях. Подход представлен в октябре 2023 года.
  • Диффузионные политики: Контроллеры роботов, устраняющие шум из последовательностей действий. В 2024 году Аадитья Прасад и его коллеги из Стэнфорда и Принстона дистиллировали их в Consistency Policy. Она ускорила инференс на порядок по сравнению с самой быстрой альтернативой и работала на GPU ноутбука.
  • Выпрямленный поток: Выпрямляет сами траектории от шума к данным, поэтому обычному решателю ODE требуется меньше шагов.
  • Прогрессивная дистилляция: метод Тима Салиманса и Джонатана Хо 2022 года в каждом раунде дистилляции вдвое сокращает число шагов диффузионной модели, доводя его до 4 после многих раундов. При дистилляции согласованности модель сразу обучается выполнять переход за один шаг.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения