Consistency Models
I modelli di consistenza mappano direttamente ai dati puliti qualsiasi punto rumoroso di una traiettoria di diffusione, generando immagini in uno o due passaggi. Scopri come vengono addestrati.
Un modello di consistenza è un modello di AI generativa che mappa qualsiasi punto della traiettoria di rimozione del rumore di un modello di diffusione direttamente al punto iniziale privo di rumore di quella traiettoria, così da poter trasformare il rumore puro in un campione con una sola valutazione della rete. I modelli di diffusione ottengono lo stesso risultato rimuovendo il rumore in decine o centinaia di piccoli passaggi, il che li rende lenti per l'inferenza in tempo reale. Nel marzo 2023, Yang Song, Prafulla Dhariwal, Mark Chen e Ilya Sutskever di OpenAI hanno introdotto i modelli di consistenza nell'articolo Modelli di consistenza, riportando i migliori punteggi ottenuti con un solo passaggio fino ad allora secondo la distanza di Fréchet-Inception (FID): 3.55 su CIFAR-10 e 6.20 su ImageNet 64 x 64.
La proprietà di consistenza#
Il campionamento per diffusione si può esprimere come un'equazione differenziale ordinaria del flusso di probabilità (ODE), che collega ogni campione di rumore a un unico campione di dati lungo un percorso deterministico. Tutti i punti del percorso, da quelli leggermente rumorosi al solo rumore, condividono la stessa origine. Una funzione di consistenza f(x, t) prende un punto x al livello di rumore t e restituisce l'origine; la coerenza interna significa che restituisce lo stesso output per tutti i punti di una traiettoria. Al livello di rumore minimo, la funzione deve restituire invariato il proprio input: una condizione al contorno incorporata nella rete con una connessione residuale, il cui peso sull'input è 1 a quel livello e il cui peso sull'output della rete neurale è 0.
Per dati gaussiani unidimensionali, la funzione di consistenza ha una forma chiusa che mostra entrambe le proprietà in poche righe di PyTorch:
import torch
torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0 # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80
def consistency_fn(x, t):
"""Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
return mu + (x - mu) * s / (s**2 + t**2) ** 0.5
# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t: ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))
# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")I quattro punti della traiettoria, a 2.6, 3.34, 14.01 e 98.0, vengono tutti ricondotti a 2.6; una singola chiamata trasforma 100.000 campioni di solo rumore in campioni con media 1.99 e deviazione standard 0.50, in linea con la distribuzione dei dati. Per le immagini non esiste una formula simile, quindi la rete apprende f dai dati.
Addestramento tramite distillazione o da zero#
- Distillazione della consistenza: Un modello di diffusione preaddestrato e un risolutore ODE spostano un campione rumoroso di un passo verso un livello di rumore inferiore, mentre la funzione di loss avvicina gli output del modello nei due punti.
- Addestramento della consistenza: Non richiede un insegnante. Crea due punti adiacenti aggiungendo lo stesso campione di rumore a un'immagine pulita a due livelli di rumore; così approssima la traiettoria senza risolvere l'ODE.
Nell'articolo originale, l'output nel punto meno rumoroso proveniva da una media mobile esponenziale (EMA) dei pesi del modello, una copia aggiornata lentamente che evita che il target cambi a ogni passo. Ultralytics YOLO26 mantiene la stessa media durante l'addestramento: aggiorna una copia EMA del modello dopo ogni passo dell'ottimizzatore, con un decadimento che aumenta progressivamente fino a 0.9999; anche la convalida e i checkpoint last.pt e best.pt salvati usano questa copia. Nell'ottobre 2023, l'addestramento di consistenza migliorato (iCT) di Song e Dhariwal ha azzerato il decadimento EMA di quella copia target, sostituito la loss percettiva LPIPS con una loss Pseudo-Huber e ottenuto FID a un passo pari a 2.51 su CIFAR-10 e 3.25 su ImageNet 64 x 64 senza un modello di diffusione preaddestrato. Nell'ottobre 2024, sCM di Cheng Lu e Yang Song, a tempo continuo, ha esteso l'approccio a 1,5 miliardi di parametri, ottenendo un FID a due passi di 1.88 su ImageNet 512 x 512.
Campionamento a più passi e modifica zero-shot#
Un solo passo produce il campione più rapidamente; alcuni passi in più ne migliorano la qualità. Il campionamento a più passi alterna un salto verso i dati puliti e una nuova aggiunta di rumore a un livello inferiore, così ogni passaggio perfeziona la stima precedente:
Lo stesso ciclo permette di modificare le immagini senza addestramento specifico per il compito. Sostituire i pixel noti dopo ogni salto lo trasforma in inpainting di immagini; vincolare una versione ridotta o in scala di grigi lo trasforma invece in super-risoluzione o colorizzazione. L'articolo originale dimostrava tutte e tre le applicazioni.
Usi e metodi correlati#
- Modelli di consistenza latente (LCM): Distillano Stable Diffusion in un modello che opera nel suo spazio latente, portando la generazione da testo a immagine in uno-quattro passi nei modelli aperti nell'ottobre 2023.
- Politiche di diffusione: Controller per robot che eseguono il denoising di sequenze di azioni. Nel 2024, Aaditya Prasad e colleghi di Stanford e Princeton le hanno distillate in una Consistency Policy, che ha accelerato l'inferenza di un ordine di grandezza rispetto all'alternativa più veloce e funzionava su una GPU di laptop.
- Flusso rettificato: Raddrizza i percorsi stessi dal rumore ai dati, così un normale risolutore ODE richiede pochi passi.
- Distillazione progressiva: il metodo del 2022 di Tim Salimans e Jonathan Ho dimezza il numero di passaggi di un modello di diffusione a ogni ciclo di distillazione, arrivando a 4 passaggi dopo numerosi cicli; la distillazione per consistenza, invece, addestra direttamente un salto di un solo passaggio.










