Licenza YOLO
Torna al glossario di Ultralytics

Latent Consistency Models (LCMs)

I modelli di consistenza latente (LCM) distillano Stable Diffusion in un modello che genera immagini in uno o quattro passaggi. Panoramica su distillazione, LCM-LoRA e velocità.

Un modello di consistenza latente (LCM) è un modello da testo a immagine distillato da un modello di diffusione latente, come Stable Diffusion, per generare un'immagine in uno-quattro passi di campionamento anziché nei consueti 20-50. Applica l'idea del modello di consistenza, una rete che mappa qualsiasi punto rumoroso del percorso di denoising direttamente alla sua destinazione pulita, nello spazio latente compresso del modello originale. Il codificatore testuale e il decodificatore di immagini vengono riutilizzati senza modifiche e lo studente parte dai pesi della U-Net dell'insegnante. Nell'ottobre 2023, Simian Luo, Yiqin Tan, Longbo Huang, Jian Li e Hang Zhao della Tsinghua University hanno presentato gli LCM nell'articolo Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference, riportando che un modello da 768 x 768, con campionamento in 2-4 passi, ha richiesto solo 32 ore-GPU A100 per l'addestramento.

Come funziona la distillazione della consistenza latente#

Un modello di diffusione standard genera dati risolvendo un'equazione differenziale ordinaria di flusso di probabilità (ODE) un piccolo passo alla volta, da una rappresentazione latente di solo rumore a una rappresentazione latente pulita, che il decodificatore dell'autocodificatore trasforma in pixel. La distillazione della consistenza latente addestra una copia studente della U-Net a completare l'intero percorso con una sola chiamata. A ogni passo di addestramento, l'insegnante congelato compie un passo del risolutore ODE lungo la traiettoria e lo studente deve prevedere la stessa rappresentazione latente pulita a entrambe le estremità di quel passo:

Ripetendo l'operazione a intervalli temporali casuali, ogni punto della traiettoria viene spinto verso lo stesso output. Due modifiche rendono il metodo efficace per i modelli da testo a immagine. Il passo dell'insegnante include già la guida senza classificatore a una scala w, che diventa un input dello studente: le immagini guidate richiedono così un solo passaggio in avanti anziché due. Una pianificazione con salti fa avanzare l'insegnante di k intervalli temporali alla volta anziché uno, accelerando la convergenza. Una variante senza insegnante, il perfezionamento della consistenza latente, adatta un LCM esistente a un dataset personalizzato.

La distillazione della consistenza è una forma di distillazione della conoscenza, il paradigma insegnante-studente supportato anche dall'addestramento di Ultralytics YOLO26 tramite l'argomento distill_model: addestrare yolo26n.pt con distill_model="yolo26s.pt" permette allo studente nano di riprodurre le mappe delle caratteristiche del modello più grande, aumentando la mAP dello studente su COCO senza costi aggiuntivi in fase di inferenza.

Campionamento in quattro passi#

Un LCM campiona alternando salti e nuova aggiunta di rumore. Prevede la rappresentazione latente pulita a partire dal solo rumore, aggiunge rumore fresco per riportare la previsione a un intervallo temporale più basso, formula di nuovo una previsione e decodifica l'ultima. Il LCMScheduler in Hugging Face diffusers seleziona questi intervalli temporali dalla pianificazione di addestramento a 1.000 passi di Stable Diffusion:

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

Il campionatore DDIM parte dall'intervallo temporale 980 e scende a passi di 20, con una chiamata alla U-Net per ogni passo; l'LCM visita invece solo gli intervalli 999, 759, 499 e 259. Ogni passo aggiuntivo permette al modello di correggere i dettagli della previsione precedente, quindi la qualità migliora passando da uno a quattro passi.

LCM-LoRA e usi in tempo reale#

Un mese dopo la pubblicazione dell'articolo originale, gli autori e gli ingegneri di Hugging Face hanno rilasciato LCM-LoRA, che memorizza la distillazione come adattatore LoRA anziché come un insieme completo di nuovi pesi. L'hanno addestrato per Stable Diffusion v1.5, SSD-1B e SDXL; funziona con checkpoint perfezionati e LoRA di stile dello stesso modello di base senza ulteriore addestramento. Il campionamento in pochi passi ha reso possibile l'inferenza in tempo reale per strumenti interattivi: la pipeline open source StreamDiffusion ha eseguito LCM-LoRA con un checkpoint KohakuV2 a 4 passi di denoising e 38 fotogrammi al secondo per la generazione da testo a immagine, su una sola GPU RTX 4090.

  • Modelli di consistenza: La formulazione originale di OpenAI, che opera direttamente sui pixel ed è stata valutata su CIFAR-10 e ImageNet 64 x 64. Gli LCM la portano in uno spazio latente e aggiungono il condizionamento testuale e la guida.
  • Distillazione avversaria della diffusione: SDXL Turbo di Stability AI, anch'esso del novembre 2023, raggiunge uno-quattro passi aggiungendo un discriminatore alla loss di distillazione.
  • Modelli di concetti di grandi dimensioni: I modelli di concetti di grandi dimensioni di Meta condividono l'abbreviazione LCM, ma sono modelli linguistici che prevedono embedding di intere frasi e non hanno alcun legame con la generazione di immagini.
  • Flusso rettificato: Addestra percorsi più rettilinei dal rumore ai dati, così che il campionatore richieda meno passi; è l'approccio alla base di Stable Diffusion 3 e FLUX.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning