Diffusion Forcing

Diffusion forcing — это метод обучения генераторов последовательностей, при котором каждому токену последовательности, например кадру видео или действию робота, назначается независимо выбранный уровень шума, а причинная модель учится очищать каждый токен с учётом предыдущих, частично зашумлённых токенов. Одна обученная таким образом модель может пошагово разворачивать последовательность, как большая языковая модель (LLM), предсказывающая следующий токен, и одновременно направлять всё будущее к цели, как полносеквенционная диффузионная модель. В июле 2024 года Boyuan Chen, Diego Martí Monsó, Yilun Du, Max Simchowitz, Russ Tedrake и Vincent Sitzmann из MIT представили этот метод в работе Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion, опубликованной на NeurIPS 2024.

Шум как частичная маскировка#

При обучении с принудительной подстановкой правильного ответа авторегрессионная модель предсказывает следующий токен по чистой эталонной истории. Поэтому во время генерации модель впервые сталкивается с собственными несовершенными результатами, а при длительном создании видео ошибки накапливаются и приводят к отклонению от исходного замысла. Полносеквенционная диффузия очищает все кадры одновременно при одном уровне шума, что позволяет применять управление, но требует фиксированной длины последовательности и не может реагировать на новые наблюдения по ходу генерации.

Diffusion forcing рассматривает шум как частичную маскировку: чистый токен полностью виден, чистый шум полностью скрывает токен, а все промежуточные уровни скрывают его частично. Независимые уровни шума для каждого токена учат одну модель работать со всеми сочетаниями сразу, в том числе с чистым прошлым и полностью зашумлённым следующим кадром — это соответствует предсказанию следующего токена, — а также с одинаковым уровнем шума для всех кадров — это соответствует полносеквенционной диффузии. В статье доказывается, что эта целевая функция оптимизирует вариационную нижнюю границу правдоподобия всех подпоследовательностей. В эталонной реализации Causal Diffusion Forcing использовалась рекуррентная нейронная сеть, скрытое состояние которой суммировало зашумлённую историю; позднее авторы выпустили версию на основе Transformer.

Расписания выборки#

Поскольку любое сочетание уровней шума соответствует распределению обучающих данных, генерация может следовать двумерному расписанию по проходам очистки и кадрам. В зигзагообразном расписании из статьи очистка каждого кадра начинается немного позже, чем очистка предыдущего:

import torch

torch.manual_seed(0)
frames, levels = 5, 4  # a 5-frame clip; noise levels run from 0 (clean) to 4 (pure noise)

# Training: every frame gets its own random noise level, so any mix of clean and noisy frames is seen
print("Training noise levels:", torch.randint(0, levels + 1, (frames,)).tolist())

# Sampling with a zig-zag schedule: each row is one denoising pass over all frames, and frame i
# starts denoising i passes after frame 0, so the near future is always cleaner than the far future
for step in range(levels + frames):
    row = [min(max(levels - step + i, 0), levels) for i in range(frames)]
    print(f"pass {step}: {row}")

На обучающей линии для одного клипа показаны такие уровни, как [4, 4, 3, 0, 3] — это сочетание, на котором не обучаются ни с принудительной подстановкой правильного ответа, ни с полносеквенционной диффузией. В расписании строка 0 соответствует чистому шуму, а к проходу 4 первый кадр становится чистым, тогда как пятый остаётся полностью зашумлённым; клип завершается после 8 проходов. В статье такая схема используется для планирования, поскольку ближайшее будущее считается более предсказуемым, чем отдалённое.

Для длительного разворачивания последовательности используется ещё один приём. Если подавать в модель для каждого нового кадра слегка зашумлённые копии уже сгенерированных кадров, а не чистые копии, она становится устойчивее к собственным небольшим ошибкам. На наборе данных навигации DMLab модель, обученная на клипах из 36 кадров, разворачивала последовательность до 2000 кадров без расхождения, тогда как базовые модели расходились.

Управление, планирование и робототехника#

Методы управления для полных последовательностей тоже применимы: награда или цель может направлять зашумлённые будущие кадры во время выборки. В статье описано руководство методом Монте-Карло: он строит несколько возможных вариантов будущего и усредняет градиенты управления. Этот метод улучшил результаты в задачах планирования лабиринтов, применяемых в исследованиях обучения с подкреплением. В робототехнике авторы использовали обучение по демонстрациям, чтобы научить настоящую роботизированную руку менять местами два фрукта, используя третью ячейку. Для этой задачи нужна память, поскольку фрукты изначально находятся в случайных ячейках. Diffusion forcing справлялся в 80% случаев, тогда как Diffusion Policy без памяти не справлялась. При визуальных помехах и даже полностью закрытой камере модель всё равно достигала успеха в 76% случаев против 48% у базовой диффузионной модели, предсказывающей следующий кадр и принимающей искажённые кадры за эталонные. Та же модель также справлялась с прогнозированием временных рядов.

Diffusion forcing в моделях видео#

Diffusion Forcing Transformer (DFoT) группы MIT, описанный в работе History-Guided Video Diffusion в феврале 2025 года, использует любое количество предыдущих кадров и применяет историю как сигнал управления. Выпущенная в апреле 2025 года модель SkyReels-V2 от Skywork AI дообучает предварительно обученную полносеквенционную видеомодель в модель diffusion forcing, в которой уровни шума от кадра к кадру никогда не снижаются, поэтому видео можно продлевать по частям. Видеомоделям мира, предсказывающим развитие сцены под воздействием действий ИИ-агента, нужна такая же стабильная причинная генерация последовательностей. Согласованность объектов в длительной последовательности можно измерить с помощью отслеживания объектов: Ultralytics YOLO26 в режиме отслеживания присваивает каждому обнаруженному объекту ID, сохраняющийся между кадрами. Если машина сохраняет один ID отслеживания на протяжении сгенерированного клипа, значит, её идентичность не изменилась.

Diffusion forcing и смежные понятия#

• Диффузионные языковые модели: за несколько шагов параллельно раскрывают дискретные текстовые токены, используя на каждом шаге общий коэффициент маскирования.
• Диффузионные политики: очищают последовательность действий робота, задавая одинаковый уровень шума для каждого действия и используя чистые наблюдения как условие.
• Диффузия для генерации видео по тексту: большинство систем создают клипы фиксированной длины с помощью полносеквенционной диффузии, а варианты diffusion forcing продлевают клипы за пределы этой длины по одной части за раз.