Diffusion Forcing

La diffusion forcée est une méthode d’entraînement pour les générateurs de séquences dans laquelle chaque jeton d’une séquence, comme une image vidéo ou une action robotique, reçoit son propre niveau de bruit échantillonné indépendamment. Un modèle causal apprend à débruiter chaque jeton en fonction d’un historique partiellement bruité. Un seul modèle entraîné de cette manière peut générer une séquence étape par étape, comme un grand modèle de langage (LLM) qui prédit le jeton suivant, et orienter également tout le futur vers un objectif, comme un modèle de diffusion sur séquence complète. En juillet 2024, Boyuan Chen, Diego Martí Monsó, Yilun Du, Max Simchowitz, Russ Tedrake et Vincent Sitzmann, du MIT, l’ont présentée dans Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion, article paru à NeurIPS 2024.

Le bruit comme masquage partiel#

L’apprentissage forcé entraîne un modèle autorégressif à prédire le jeton suivant à partir d’un historique propre et conforme à la vérité terrain. Au moment de la génération, le modèle rencontre donc pour la première fois ses propres sorties imparfaites, et les longues séquences de génération vidéo dérivent à mesure que les erreurs s’accumulent. La diffusion sur séquence complète débruite toutes les images ensemble avec un seul niveau de bruit ; elle permet le guidage, mais impose une longueur de séquence fixe et ne peut pas réagir à de nouvelles observations en cours de génération.

La diffusion forcée traite le bruit comme un masquage partiel : un jeton propre est entièrement visible, le bruit pur le masque complètement, et les niveaux intermédiaires le masquent partiellement. L’entraînement avec des niveaux de bruit indépendants pour chaque jeton apprend simultanément au modèle toutes les combinaisons, notamment un passé propre suivi d’une image suivante entièrement bruitée, ce qui correspond à la prédiction du jeton suivant, ainsi qu’un bruit égal sur toutes les images, ce qui correspond à la diffusion sur séquence complète. L’article démontre que cet objectif optimise une borne inférieure variationnelle de la vraisemblance de toutes les sous-séquences. Son implémentation de référence, Causal Diffusion Forcing, utilisait un réseau de neurones récurrent dont l’état caché résume l’historique bruité ; les auteurs ont ensuite publié une version Transformer.

Calendriers d’échantillonnage#

Comme toute combinaison de niveaux de bruit appartient à la distribution d’entraînement, la génération peut suivre un calendrier bidimensionnel couvrant les passes de débruitage et les images. Le calendrier en zigzag de l’article commence le débruitage de chaque image un peu plus tard que celui de l’image précédente :

import torch

torch.manual_seed(0)
frames, levels = 5, 4  # a 5-frame clip; noise levels run from 0 (clean) to 4 (pure noise)

# Training: every frame gets its own random noise level, so any mix of clean and noisy frames is seen
print("Training noise levels:", torch.randint(0, levels + 1, (frames,)).tolist())

# Sampling with a zig-zag schedule: each row is one denoising pass over all frames, and frame i
# starts denoising i passes after frame 0, so the near future is always cleaner than the far future
for step in range(levels + frames):
    row = [min(max(levels - step + i, 0), levels) for i in range(frames)]
    print(f"pass {step}: {row}")

La ligne d’entraînement affiche des niveaux tels que [4, 4, 3, 0, 3] pour un clip, une combinaison sur laquelle ni l’apprentissage forcé ni la diffusion sur séquence complète ne sont entraînés. Dans le calendrier, la ligne 0 correspond au bruit pur ; à la passe 4, la première image est propre tandis que la cinquième est encore entièrement bruitée. Le clip est terminé après 8 passes. L’article utilise cette configuration pour la planification, car elle considère le futur immédiat comme plus certain que le futur lointain.

Les longues générations utilisent une deuxième astuce. Conditionner chaque nouvelle image sur des copies légèrement bruitées des images déjà générées, plutôt que sur des copies propres, rend le modèle tolérant à ses propres petites erreurs. Sur le jeu de données de navigation DMLab, un modèle entraîné sur des clips de 36 images a généré une séquence de 2 000 images sans diverger, contrairement aux modèles de référence.

Guidage, planification et robotique#

Le guidage sur séquence complète reste possible : une récompense ou un objectif peut orienter les images futures bruitées pendant l’échantillonnage. Le guidage Monte-Carlo de l’article génère plusieurs futurs possibles et fait la moyenne de leurs gradients de guidage ; cette méthode a amélioré les résultats dans des tâches de planification de labyrinthe utilisées en recherche sur l’apprentissage par renforcement. En robotique, les auteurs ont utilisé l’apprentissage par imitation pour entraîner un bras robotique réel à échanger deux fruits en utilisant un troisième emplacement, une tâche qui nécessite de la mémoire puisque les fruits commencent dans des emplacements aléatoires. La diffusion forcée a réussi dans 80 % des cas, contre un échec de la politique de diffusion sans mémoire ; même avec des distractions visuelles et une caméra entièrement obstruée, elle a atteint 76 %, contre 48 % pour une méthode de référence de diffusion de l’image suivante qui traitait les images altérées comme vérité terrain. Le même modèle a aussi géré la prévision de séries temporelles.

Diffusion forcée dans les modèles vidéo#

Le Transformer à diffusion forcée (DFoT) du groupe du MIT, présenté dans History-Guided Video Diffusion en février 2025, peut être conditionné par un nombre quelconque d’images passées et utilise cet historique comme signal de guidage. SkyReels-V2 de Skywork AI, publié en avril 2025, règle finement un modèle vidéo préentraîné sur séquence complète pour en faire un modèle à diffusion forcée dont les niveaux de bruit ne diminuent jamais d’une image à la suivante ; les vidéos peuvent ainsi être prolongées segment par segment. Les modèles du monde vidéo, qui prédisent l’évolution d’une scène en fonction des actions d’un agent IA, ont besoin du même type de génération causale stable. Le suivi d’objets permet de mesurer la cohérence des objets sur une longue séquence : Ultralytics YOLO26 en mode suivi attribue à chaque objet détecté un ID qui persiste d’une image à l’autre ; une voiture qui garde le même ID de suivi dans tout un clip généré conserve ainsi son identité.

Diffusion forcée et notions connexes#

• Modèles de langage à diffusion : démasquent en parallèle des jetons de texte discrets en plusieurs étapes, avec un même taux de masquage pour chaque étape.
• Politiques de diffusion : débruitent un segment d’actions robotiques en appliquant le même niveau de bruit à chaque action, avec des observations propres comme condition.
• Diffusion de texte en vidéo : la plupart des systèmes génèrent un clip de longueur fixe par diffusion sur séquence complète ; les variantes à diffusion forcée prolongent les clips au-delà de cette longueur, un segment à la fois.