Diffusion Forcing

La difusión forzada es un método de entrenamiento para generadores de secuencias en el que cada token de una secuencia, como un fotograma de vídeo o una acción robótica, recibe su propio nivel de ruido muestreado de forma independiente, y un modelo causal aprende a eliminar el ruido de cada token a partir de un historial de elementos parcialmente ruidosos. Un único modelo entrenado así puede generar una secuencia paso a paso, como un modelo de lenguaje grande (LLM) que predice el siguiente token, y también dirigir todo el futuro hacia un objetivo, como un modelo de difusión de secuencia completa. Boyuan Chen, Diego Martí Monsó, Yilun Du, Max Simchowitz, Russ Tedrake y Vincent Sitzmann, del MIT, la presentaron en julio de 2024 en Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion, que se publicó en NeurIPS 2024.

El ruido como enmascaramiento parcial#

El forzado del profesor entrena un modelo autorregresivo para predecir el siguiente token a partir de un historial limpio de datos de referencia, de modo que, durante la generación, el modelo se encuentra por primera vez con sus propias salidas imperfectas y las secuencias largas de generación de vídeo se desvían a medida que se acumulan los errores. La difusión de secuencia completa elimina el ruido de todos los fotogramas a la vez con un único nivel de ruido, lo que permite aplicar guía, pero fija la longitud de la secuencia y no puede reaccionar a nuevas observaciones a mitad del proceso.

La difusión forzada trata el ruido como un enmascaramiento parcial: un token limpio es totalmente visible, el ruido puro lo oculta por completo y los niveles intermedios lo ocultan parcialmente. Entrenar con niveles de ruido independientes por token enseña a un mismo modelo todas las combinaciones, incluida la de un pasado limpio con el siguiente fotograma completamente ruidoso, que equivale a predecir el siguiente token, y la de ruido igual en cada fotograma, que equivale a la difusión de secuencia completa. El artículo demuestra que este objetivo optimiza un límite inferior variacional de la verosimilitud de todas las subsecuencias. La implementación de referencia, Causal Diffusion Forcing, utilizó una red neuronal recurrente cuyo estado oculto resume el historial ruidoso; más adelante, los autores publicaron una versión Transformer.

Esquemas de muestreo#

Como cualquier combinación de niveles de ruido forma parte de la distribución, la generación puede seguir un esquema bidimensional de pasadas de eliminación del ruido y fotogramas. El esquema en zigzag del artículo empieza a eliminar el ruido de cada fotograma un poco después que el del fotograma anterior:

import torch

torch.manual_seed(0)
frames, levels = 5, 4  # a 5-frame clip; noise levels run from 0 (clean) to 4 (pure noise)

# Training: every frame gets its own random noise level, so any mix of clean and noisy frames is seen
print("Training noise levels:", torch.randint(0, levels + 1, (frames,)).tolist())

# Sampling with a zig-zag schedule: each row is one denoising pass over all frames, and frame i
# starts denoising i passes after frame 0, so the near future is always cleaner than the far future
for step in range(levels + frames):
    row = [min(max(levels - step + i, 0), levels) for i in range(frames)]
    print(f"pass {step}: {row}")

La línea de entrenamiento dibuja niveles como [4, 4, 3, 0, 3] para un clip, una combinación que no aparece en el entrenamiento con guía del profesor ni en la difusión de secuencia completa. En el esquema, la fila 0 es ruido puro y, en la pasada 4, el primer fotograma está limpio mientras que el quinto sigue completamente ruidoso; el clip termina tras 8 pasadas. El artículo utiliza este esquema para la planificación porque considera que el futuro inmediato es más seguro que el futuro lejano.

Las generaciones largas utilizan un segundo truco. Condicionar cada fotograma nuevo con copias ligeramente ruidosas de los fotogramas ya generados, en lugar de copias limpias, hace que el modelo tolere sus propios errores pequeños. En el conjunto de datos de navegación DMLab, un modelo entrenado con clips de 36 fotogramas generó secuencias de 2.000 fotogramas sin divergir, mientras que los modelos de referencia sí divergieron.

Guía, planificación y robótica#

La guía de secuencia completa también se aplica aquí: una recompensa o un objetivo puede dirigir los fotogramas futuros ruidosos durante el muestreo. La guía Monte Carlo del artículo genera varios futuros posibles y promedia sus gradientes de guía, lo que mejoró los resultados en tareas de planificación de laberintos utilizadas en la investigación sobre aprendizaje por refuerzo. En robótica, los autores utilizaron aprendizaje por imitación para entrenar un brazo robótico real a intercambiar dos frutas utilizando un tercer espacio, una tarea que requiere memoria porque las frutas empiezan en espacios aleatorios. La difusión forzada tuvo éxito en el 80 % de los casos, mientras que Diffusion Policy, que no tiene memoria, falló; con distracciones visuales e incluso con la cámara totalmente tapada, alcanzó el 76 %, frente al 48 % de un modelo de difusión de fotograma siguiente que trataba los fotogramas alterados como valores reales. El mismo modelo también gestionó la predicción de series temporales.

Difusión forzada en modelos de vídeo#

El Diffusion Forcing Transformer (DFoT) del grupo del MIT, presentado en History-Guided Video Diffusion en febrero de 2025, se condiciona con cualquier número de fotogramas anteriores y utiliza ese historial como señal de guía. SkyReels-V2 de Skywork AI, publicado en abril de 2025, ajusta un modelo de vídeo preentrenado de secuencia completa para convertirlo en un modelo de difusión forzada cuyos niveles de ruido nunca disminuyen de un fotograma al siguiente, de modo que los vídeos se pueden ampliar fragmento a fragmento. Los modelos de mundo de vídeo, que predicen cómo evoluciona una escena según las acciones de un agente de IA, necesitan el mismo tipo de generación causal estable. La coherencia de los objetos a lo largo de una generación larga se puede medir con el seguimiento de objetos: Ultralytics YOLO26 en modo de seguimiento asigna un ID a cada objeto detectado y lo mantiene entre fotogramas, por lo que un coche que conserva el mismo ID de seguimiento durante un clip generado mantiene su identidad.

Difusión forzada frente a conceptos relacionados#

• Modelos de difusión para lenguaje: desocultan en paralelo tokens de texto discretos durante varios pasos, con una única proporción de enmascaramiento compartida en cada paso.
• Políticas de difusión: eliminan el ruido de un bloque de acciones robóticas con el mismo nivel de ruido para cada acción, condicionadas por observaciones limpias.
• Difusión de texto a vídeo: la mayoría de los sistemas generan un clip de longitud fija mediante difusión de secuencia completa, y las variantes de difusión forzada amplían los clips más allá de esa longitud, un fragmento cada vez.