Diffusion Forcing

Diffusion Forcing ist ein Trainingsverfahren für Sequenzgeneratoren. Dabei erhält jedes Token einer Sequenz – etwa ein Videoframe oder eine Roboteraktion – eine unabhängig gezogene Rauschstufe. Ein kausales Modell lernt, jedes Token anhand eines Verlaufs teilweise verrauschter Tokens zu entrauschen. Ein so trainiertes Modell kann eine Sequenz Schritt für Schritt wie ein großes Sprachmodell (LLM) ausrollen, das sein nächstes Token vorhersagt, und zugleich die gesamte Zukunft wie ein Diffusionsmodell für vollständige Sequenzen auf ein Ziel ausrichten. Boyuan Chen, Diego Martí Monsó, Yilun Du, Max Simchowitz, Russ Tedrake und Vincent Sitzmann vom MIT stellten das Verfahren im Juli 2024 in Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion vor. Das Paper erschien auf der NeurIPS 2024.

Rauschen als teilweise Maskierung#

Teacher Forcing trainiert ein autoregressives Modell darauf, das nächste Token anhand eines unverrauschten, korrekten Verlaufs vorherzusagen. Bei der Generierung sieht das Modell daher zum ersten Mal seine eigenen unvollkommenen Ausgaben, und lange Video-Generierungen weichen durch sich anhäufende Fehler zunehmend ab. Diffusion für vollständige Sequenzen entrauscht alle Frames gemeinsam mit einer einzigen Rauschstufe. Das ermöglicht Guidance, legt aber die Sequenzlänge fest und erlaubt keine Reaktion auf neue Beobachtungen während der Generierung.

Diffusion Forcing behandelt Rauschen als teilweise Maskierung: Ein unverrauschtes Token ist vollständig sichtbar, reines Rauschen verbirgt es vollständig, und jede Zwischenstufe verbirgt es teilweise. Das Training mit unabhängigen Rauschstufen pro Token lehrt ein Modell alle Kombinationen gleichzeitig. Dazu gehören eine unverrauschte Vergangenheit mit einem vollständig verrauschten nächsten Frame – also die Vorhersage des nächsten Tokens – und gleiches Rauschen auf allen Frames, also Diffusion für vollständige Sequenzen. Das Paper beweist, dass dieses Ziel eine variationelle untere Schranke für die Likelihood aller Teilsequenzen optimiert. Die Referenzimplementierung Causal Diffusion Forcing nutzte ein rekurrentes neuronales Netz, dessen verborgener Zustand den verrauschten Verlauf zusammenfasst. Später veröffentlichten die Autorinnen und Autoren eine Transformer-Version.

Abtastpläne#

Da jede Mischung von Rauschstufen zur Verteilung gehört, können bei der Generierung zweidimensionale Pläne über Entrauschungsdurchläufe und Frames verwendet werden. Beim Zickzack-Plan des Papers beginnt das Entrauschen jedes Frames etwas später als beim vorhergehenden Frame:

import torch

torch.manual_seed(0)
frames, levels = 5, 4  # a 5-frame clip; noise levels run from 0 (clean) to 4 (pure noise)

# Training: every frame gets its own random noise level, so any mix of clean and noisy frames is seen
print("Training noise levels:", torch.randint(0, levels + 1, (frames,)).tolist())

# Sampling with a zig-zag schedule: each row is one denoising pass over all frames, and frame i
# starts denoising i passes after frame 0, so the near future is always cleaner than the far future
for step in range(levels + frames):
    row = [min(max(levels - step + i, 0), levels) for i in range(frames)]
    print(f"pass {step}: {row}")

Die Trainingszeile zeigt Stufen wie [4, 4, 3, 0, 3] für einen Clip – eine Mischung, mit der weder Teacher Forcing noch Diffusion für vollständige Sequenzen trainiert. Im Plan steht Zeile 0 für reines Rauschen. Nach Durchlauf 4 ist der erste Frame unverrauscht, während der fünfte noch vollständig verrauscht ist. Nach 8 Durchläufen ist der Clip fertig. Das Paper verwendet diese Form für die Planung, weil die unmittelbare Zukunft als sicherer gilt als die weiter entfernte.

Für lange Ausrollungen kommt ein zweiter Trick zum Einsatz. Wird jeder neue Frame anhand leicht verrauschter statt unverrauschter Kopien der bereits generierten Frames konditioniert, kann das Modell mit seinen eigenen kleinen Fehlern besser umgehen. Auf dem DMLab-Navigationsdatensatz rollte ein mit 36-Frame-Clips trainiertes Modell 2.000 Frames aus, ohne abzudriften. Die Basislinien drifteten hingegen ab.

Guidance, Planung und Robotik#

Guidance für vollständige Sequenzen lässt sich übertragen: Eine Belohnung oder ein Ziel kann während der Abtastung die verrauschten Zukunftsframes lenken. Die Monte-Carlo-Guidance des Papers zieht mehrere mögliche Zukünfte und mittelt ihre Guidance-Gradienten. Das verbesserte Ergebnisse bei Labyrinth-Planungsaufgaben aus der Forschung zum bestärkenden Lernen. In der Robotik nutzten die Autorinnen und Autoren Imitationslernen, um einen echten Roboterarm darauf zu trainieren, zwei Früchte über einen dritten Ablageplatz zu tauschen. Diese Aufgabe erfordert Gedächtnis, weil die Früchte anfangs an zufälligen Plätzen liegen. Diffusion Forcing war in 80 % der Fälle erfolgreich, während die gedächtnislose Diffusion Policy versagte. Bei visuellen Ablenkungen und sogar vollständig verdeckter Kamera erreichte das Verfahren weiterhin 76 %, gegenüber 48 % bei einer Diffusionsbasislinie für den nächsten Frame, die die verfälschten Frames als korrekte Eingaben behandelte. Dasselbe Modell bewältigte auch die Prognose von Zeitreihen.

Diffusion Forcing in Videomodellen#

Der Diffusion Forcing Transformer (DFoT) der MIT-Gruppe aus dem Paper History-Guided Video Diffusion vom Februar 2025 nutzt beliebig viele vorherige Frames als Konditionierung und Guidance-Signal. Skywork AIs SkyReels-V2, veröffentlicht im April 2025, stimmt ein vortrainiertes Videomodell für vollständige Sequenzen zu einem Diffusion-Forcing-Modell fein ab. Dessen Rauschstufen nehmen von einem Frame zum nächsten nie ab, sodass sich Videos Stück für Stück verlängern lassen. Videobasierte Weltmodelle, die vorhersagen, wie sich eine Szene unter den Aktionen eines KI-Agenten entwickelt, benötigen dieselbe Art stabiler kausaler Ausrollung. Ob bei einer langen Ausrollung die Objekte konsistent bleiben, lässt sich mit Objektverfolgung messen: Ultralytics YOLO26 weist im Track-Modus jedem erkannten Objekt eine ID zu, die über mehrere Frames hinweg bestehen bleibt. Behält ein Auto in einem generierten Clip dieselbe Track-ID, bleibt seine Identität erhalten.

Diffusion Forcing und verwandte Begriffe#

• Diffusions-Sprachmodelle: Entfernen in mehreren Schritten parallel die Maskierung diskreter Text-Tokens, wobei pro Schritt dasselbe Maskierungsverhältnis gilt.
• Diffusions-Policies: Entrauschen einen Block von Roboteraktionen mit derselben Rauschstufe für jede Aktion und werden anhand unverrauschter Beobachtungen konditioniert.
• Diffusion für Text-zu-Video: Die meisten Systeme erzeugen mit Diffusion für vollständige Sequenzen einen Clip fester Länge. Varianten mit Diffusion Forcing verlängern Clips über diese Länge hinaus, einen Abschnitt nach dem anderen.