Diffusion Forcing

Diffusion forcing è un metodo di addestramento per generatori di sequenze in cui ogni token di una sequenza, come un fotogramma video o un'azione robotica, riceve un livello di rumore campionato in modo indipendente; un modello causale impara a rimuovere il rumore da ciascun token in base alla cronologia di token parzialmente rumorosi. Un singolo modello addestrato in questo modo può generare una sequenza passo dopo passo, come un modello linguistico di grandi dimensioni (LLM) che prevede il token successivo, e anche guidare l'intero futuro verso un obiettivo, come un modello di diffusione sull'intera sequenza. Nel luglio 2024, Boyuan Chen, Diego Martí Monsó, Yilun Du, Max Simchowitz, Russ Tedrake e Vincent Sitzmann del MIT l'hanno presentato in Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion, pubblicato a NeurIPS 2024.

Il rumore come mascheramento parziale#

Il teacher forcing addestra un modello autoregressivo a prevedere il token successivo a partire da una cronologia pulita di riferimento, quindi in fase di generazione il modello incontra per la prima volta i propri output imperfetti e le sequenze prolungate di generazione video si discostano progressivamente man mano che gli errori si accumulano. La diffusione sull'intera sequenza rimuove il rumore da tutti i fotogrammi contemporaneamente usando un unico livello di rumore; ciò consente la guida, ma fissa la lunghezza della sequenza e non permette di reagire a nuove osservazioni a generazione in corso.

Diffusion forcing tratta il rumore come un mascheramento parziale: un token pulito è completamente visibile, il rumore puro lo nasconde del tutto e ogni livello intermedio ne nasconde una parte. L'addestramento con livelli di rumore indipendenti per token insegna a un unico modello tutte le combinazioni, compreso un passato pulito seguito da un fotogramma successivo completamente rumoroso, cioè la previsione del token successivo, e un livello di rumore uguale su tutti i fotogrammi, cioè la diffusione sull'intera sequenza. Il paper dimostra che questo obiettivo ottimizza un limite inferiore variazionale della verosimiglianza di tutte le sottosequenze. L'implementazione di riferimento, Causal Diffusion Forcing, usava una rete neurale ricorrente il cui stato nascosto riassume la cronologia rumorosa; in seguito gli autori hanno pubblicato una versione Transformer.

Programmi di campionamento#

Poiché qualsiasi combinazione di livelli di rumore appartiene alla distribuzione dei dati, la generazione può seguire un programma bidimensionale attraverso i passaggi di denoising e i fotogrammi. Il programma a zig-zag del paper avvia il denoising di ogni fotogramma un po' più tardi rispetto a quello precedente:

import torch

torch.manual_seed(0)
frames, levels = 5, 4  # a 5-frame clip; noise levels run from 0 (clean) to 4 (pure noise)

# Training: every frame gets its own random noise level, so any mix of clean and noisy frames is seen
print("Training noise levels:", torch.randint(0, levels + 1, (frames,)).tolist())

# Sampling with a zig-zag schedule: each row is one denoising pass over all frames, and frame i
# starts denoising i passes after frame 0, so the near future is always cleaner than the far future
for step in range(levels + frames):
    row = [min(max(levels - step + i, 0), levels) for i in range(frames)]
    print(f"pass {step}: {row}")

La riga di addestramento rappresenta livelli come [4, 4, 3, 0, 3] per un clip: una combinazione su cui non vengono addestrati né il teacher forcing né la diffusione sull'intera sequenza. Nel programma, la riga 0 corrisponde al rumore puro e, al passaggio 4, il primo fotogramma è pulito mentre il quinto è ancora completamente rumoroso; il clip viene completato dopo 8 passaggi. Il paper usa questa configurazione per la pianificazione perché considera il futuro immediato più certo di quello lontano.

Le generazioni prolungate usano un secondo accorgimento. Condizionare ogni nuovo fotogramma su copie leggermente rumorose dei fotogrammi già generati, invece che su copie pulite, rende il modello tollerante ai propri piccoli errori. Sul dataset di navigazione DMLab, un modello addestrato su clip di 36 fotogrammi ha generato sequenze di 2.000 fotogrammi senza divergere, mentre i modelli di riferimento divergevano.

Guida, pianificazione e robotica#

La guida sull'intera sequenza è ancora applicabile: durante il campionamento, una ricompensa o un obiettivo può orientare i futuri fotogrammi rumorosi. La Monte Carlo Guidance del paper campiona diversi futuri possibili e calcola la media dei relativi gradienti di guida, migliorando i risultati nei task di pianificazione in labirinti usati nella ricerca sull'apprendimento per rinforzo. Per la robotica, gli autori hanno usato l'apprendimento per imitazione per addestrare un braccio robotico reale a scambiare due frutti usando una terza posizione, un task che richiede memoria perché i frutti iniziano in posizioni casuali. Diffusion forcing ha avuto successo nell'80% dei casi, mentre la Diffusion Policy priva di memoria ha fallito; anche con distrazioni visive e con la telecamera completamente coperta ha raggiunto il 76%, contro il 48% di un modello di diffusione del fotogramma successivo che trattava i fotogrammi alterati come dati reali. Lo stesso modello ha gestito anche la previsione di serie temporali.

Diffusion forcing nei modelli video#

Il Diffusion Forcing Transformer (DFoT) del gruppo del MIT, presentato nel lavoro History-Guided Video Diffusion del febbraio 2025, accetta un numero qualsiasi di fotogrammi precedenti e usa la cronologia come segnale di guida. SkyReels-V2 di Skywork AI, pubblicato nell'aprile 2025, sottopone a fine-tuning un modello video preaddestrato a diffusione sull'intera sequenza, trasformandolo in un modello diffusion forcing i cui livelli di rumore non diminuiscono mai da un fotogramma al successivo, così i video possono essere estesi un blocco alla volta. I modelli del mondo video, che prevedono l'evoluzione di una scena in base alle azioni di un agente IA, richiedono lo stesso tipo di generazione causale stabile. La coerenza degli oggetti nelle generazioni prolungate si può misurare con il tracciamento degli oggetti: Ultralytics YOLO26 in modalità di tracking assegna a ogni oggetto rilevato un ID che persiste tra i fotogrammi; un'auto che mantiene lo stesso ID di tracking in un clip generato conserva quindi la propria identità.

Diffusion forcing e concetti correlati#

• Modelli linguistici di diffusione: rimuovono in parallelo, in più passaggi, le maschere dai token di testo discreti, usando un unico rapporto di mascheramento per ogni passaggio.
• Policy di diffusione: rimuovono il rumore da un blocco di azioni robotiche usando lo stesso livello di rumore per ogni azione e condizionandole su osservazioni pulite.
• Diffusione da testo a video: la maggior parte dei sistemi genera clip di lunghezza fissa con la diffusione sull'intera sequenza; le varianti diffusion forcing li estendono oltre tale lunghezza, un blocco alla volta.