Licenza YOLO
Torna al glossario di Ultralytics

Consistency Models

I modelli di consistenza mappano direttamente ai dati puliti qualsiasi punto rumoroso di una traiettoria di diffusione, generando immagini in uno o due passaggi. Scopri come vengono addestrati.

Un modello di consistenza è un modello di AI generativa che mappa qualsiasi punto della traiettoria di rimozione del rumore di un modello di diffusione direttamente al punto iniziale privo di rumore di quella traiettoria, così da poter trasformare il rumore puro in un campione con una sola valutazione della rete. I modelli di diffusione ottengono lo stesso risultato rimuovendo il rumore in decine o centinaia di piccoli passaggi, il che li rende lenti per l'inferenza in tempo reale. Nel marzo 2023, Yang Song, Prafulla Dhariwal, Mark Chen e Ilya Sutskever di OpenAI hanno introdotto i modelli di consistenza nell'articolo Modelli di consistenza, riportando i migliori punteggi ottenuti con un solo passaggio fino ad allora secondo la distanza di Fréchet-Inception (FID): 3.55 su CIFAR-10 e 6.20 su ImageNet 64 x 64.

La proprietà di consistenza#

Il campionamento per diffusione si può esprimere come un'equazione differenziale ordinaria del flusso di probabilità (ODE), che collega ogni campione di rumore a un unico campione di dati lungo un percorso deterministico. Tutti i punti del percorso, da quelli leggermente rumorosi al solo rumore, condividono la stessa origine. Una funzione di consistenza f(x, t) prende un punto x al livello di rumore t e restituisce l'origine; la coerenza interna significa che restituisce lo stesso output per tutti i punti di una traiettoria. Al livello di rumore minimo, la funzione deve restituire invariato il proprio input: una condizione al contorno incorporata nella rete con una connessione residuale, il cui peso sull'input è 1 a quel livello e il cui peso sull'output della rete neurale è 0.

Per dati gaussiani unidimensionali, la funzione di consistenza ha una forma chiusa che mostra entrambe le proprietà in poche righe di PyTorch:

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

I quattro punti della traiettoria, a 2.6, 3.34, 14.01 e 98.0, vengono tutti ricondotti a 2.6; una singola chiamata trasforma 100.000 campioni di solo rumore in campioni con media 1.99 e deviazione standard 0.50, in linea con la distribuzione dei dati. Per le immagini non esiste una formula simile, quindi la rete apprende f dai dati.

Addestramento tramite distillazione o da zero#

  • Distillazione della consistenza: Un modello di diffusione preaddestrato e un risolutore ODE spostano un campione rumoroso di un passo verso un livello di rumore inferiore, mentre la funzione di loss avvicina gli output del modello nei due punti.
  • Addestramento della consistenza: Non richiede un insegnante. Crea due punti adiacenti aggiungendo lo stesso campione di rumore a un'immagine pulita a due livelli di rumore; così approssima la traiettoria senza risolvere l'ODE.

Nell'articolo originale, l'output nel punto meno rumoroso proveniva da una media mobile esponenziale (EMA) dei pesi del modello, una copia aggiornata lentamente che evita che il target cambi a ogni passo. Ultralytics YOLO26 mantiene la stessa media durante l'addestramento: aggiorna una copia EMA del modello dopo ogni passo dell'ottimizzatore, con un decadimento che aumenta progressivamente fino a 0.9999; anche la convalida e i checkpoint last.pt e best.pt salvati usano questa copia. Nell'ottobre 2023, l'addestramento di consistenza migliorato (iCT) di Song e Dhariwal ha azzerato il decadimento EMA di quella copia target, sostituito la loss percettiva LPIPS con una loss Pseudo-Huber e ottenuto FID a un passo pari a 2.51 su CIFAR-10 e 3.25 su ImageNet 64 x 64 senza un modello di diffusione preaddestrato. Nell'ottobre 2024, sCM di Cheng Lu e Yang Song, a tempo continuo, ha esteso l'approccio a 1,5 miliardi di parametri, ottenendo un FID a due passi di 1.88 su ImageNet 512 x 512.

Campionamento a più passi e modifica zero-shot#

Un solo passo produce il campione più rapidamente; alcuni passi in più ne migliorano la qualità. Il campionamento a più passi alterna un salto verso i dati puliti e una nuova aggiunta di rumore a un livello inferiore, così ogni passaggio perfeziona la stima precedente:

Lo stesso ciclo permette di modificare le immagini senza addestramento specifico per il compito. Sostituire i pixel noti dopo ogni salto lo trasforma in inpainting di immagini; vincolare una versione ridotta o in scala di grigi lo trasforma invece in super-risoluzione o colorizzazione. L'articolo originale dimostrava tutte e tre le applicazioni.

  • Modelli di consistenza latente (LCM): Distillano Stable Diffusion in un modello che opera nel suo spazio latente, portando la generazione da testo a immagine in uno-quattro passi nei modelli aperti nell'ottobre 2023.
  • Politiche di diffusione: Controller per robot che eseguono il denoising di sequenze di azioni. Nel 2024, Aaditya Prasad e colleghi di Stanford e Princeton le hanno distillate in una Consistency Policy, che ha accelerato l'inferenza di un ordine di grandezza rispetto all'alternativa più veloce e funzionava su una GPU di laptop.
  • Flusso rettificato: Raddrizza i percorsi stessi dal rumore ai dati, così un normale risolutore ODE richiede pochi passi.
  • Distillazione progressiva: il metodo del 2022 di Tim Salimans e Jonathan Ho dimezza il numero di passaggi di un modello di diffusione a ogni ciclo di distillazione, arrivando a 4 passaggi dopo numerosi cicli; la distillazione per consistenza, invece, addestra direttamente un salto di un solo passaggio.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning