Licenza YOLO
Torna al glossario di Ultralytics

Visual Autoregressive Modeling (VAR)

La modellazione autoregressiva visiva (VAR) genera immagini dal grossolano al fine, prevedendo in parallelo la mappa di token di ogni risoluzione successiva. Panoramica del tokenizer e della scalabilità.

La modellazione autoregressiva visiva (VAR) è un metodo di IA generativa per le immagini che predice un'immagine come una serie di mappe di token a risoluzione crescente, da un singolo token 1 x 1 fino alla griglia completa, invece di predire i token uno alla volta in ordine di lettura. A ogni passaggio genera in parallelo tutti i token della scala successiva, condizionandoli a tutte le scale più grossolane, perciò un'immagine 256 x 256 richiede 10 passaggi. Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng e Liwei Wang dell'Università di Pechino e di ByteDance hanno presentato VAR nell'aprile 2024 in Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction, che ha vinto il premio NeurIPS 2024 per il miglior articolo. Nella generazione di ImageNet 256 x 256 condizionata alla classe, ha migliorato la distanza di Fréchet Inception (FID) di una baseline autoregressiva, portandola da 18.65 a 1.73, e il suo Inception Score da 80.4 a 350.2, con un'inferenza circa 20 volte più veloce.

Perché predire la scala successiva#

I primi generatori di immagini autoregressivi, come il transformer di VQGAN e Parti di Google, trasformano un'immagine in una griglia di token discreti, la appiattiscono riga per riga e predicono un token alla volta, come fa un modello GPT quando scrive un testo. Quest'ordine si adatta male alle immagini. Un token può vedere solo quelli sopra e alla sua sinistra, anche se le regioni dell'immagine dipendono l'una dall'altra in ogni direzione, e una griglia 16 x 16 richiede 256 passaggi sequenziali. Predire la scala successiva mantiene l'obiettivo di addestramento del transformer e il suo ordine causale, ma cambia l'unità di predizione: da un singolo token a un'intera risoluzione. I token all'interno di una scala si vedono tra loro e ogni scala vede l'immagine completa a tutte le risoluzioni più grossolane.

Il tokenizer multiscala#

Il tokenizer di VAR è un'autoencoder la cui rappresentazione latente viene compressa con la quantizzazione vettoriale multiscala. Il suo encoder trasforma un'immagine 256 x 256 in una mappa di caratteristiche 16 x 16, che viene quantizzata a 10 scale, da 1 x 1 a 16 x 16, usando un unico codebook condiviso di 4,096 elementi. Ogni scala quantizza solo ciò che le scale più grossolane non hanno spiegato, cioè il residuo: le mappe grossolane contengono i colori e la disposizione generale, mentre quelle successive aggiungono dettagli più fini. Lo stesso schema residuo viene applicato qui sotto a una foto sottocampionata con un codebook casuale:

import torch
import torch.nn.functional as F
from skimage import data

torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255  # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area")  # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1  # one shared codebook of 4,096 entries; residuals can be negative

# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16):  # VAR's ten token-map sizes for 256 x 256 images
    small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
    tokens = torch.cdist(small, codebook).argmin(dim=1)  # side x side discrete token map
    quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
    upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
    reconstruction, residual = reconstruction + upsampled, residual - upsampled
    print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")

L'errore di ricostruzione scende da 0.06267 dopo il singolo token 1 x 1 a 0.00212 dopo la mappa 16 x 16, usando 680 token distribuiti sulle dieci scale. VAR addestra congiuntamente encoder, decoder e codebook. I modelli di rilevamento si basano sullo stesso tipo di piramide per il riconoscimento: Ultralytics YOLO26 predice gli oggetti dai livelli della piramide di caratteristiche con stride 8, 16 e 32, perciò un'immagine di 640 pixel produce mappe 80 x 80, 40 x 40 e 20 x 20: gli oggetti grandi vengono individuati sulla mappa grossolana e quelli piccoli su quella fine.

Come VAR genera un'immagine#

Un transformer in stile GPT genera le mappe di token in sequenza, con una maschera di attenzione causale a blocchi che consente a ogni token di prestare attenzione alla propria scala e a tutte le scale più grossolane:

Gli autori hanno addestrato modelli con un massimo di 2 miliardi di parametri e hanno rilevato leggi di scala in forma di legge di potenza, simili a quelle dei modelli linguistici di grandi dimensioni, con coefficienti di correlazione lineare vicini a -0.998 tra dimensione del modello e perdita sul test. Lo stesso modello esegue l'inpainting delle immagini, l'outpainting e la modifica condizionata alla classe in modalità zero-shot, senza ulteriore addestramento: basta fissare ai valori reali i token all'esterno della regione da modificare e campionare il resto.

  • Infinity: Il successore di ByteDance per la generazione di immagini da testo, pubblicato nel dicembre 2024, sostituisce il codebook da 4.096 voci con token bitwise provenienti da un tokenizer con un vocabolario di fatto illimitato. Genera un'immagine da 1024 x 1024 in 0,8 secondi, 2,6 volte più velocemente di Stable Diffusion 3 Medium, e porta il punteggio GenEval da 0,62 di SD3 Medium a 0,73.
  • Transformer di diffusione (DiT): denoisano rappresentazioni latenti continue in molti passaggi. L'articolo su VAR dichiara prestazioni superiori a DiT per qualità dell'immagine, velocità di inferenza, efficienza dei dati e scalabilità.
  • Modelli di diffusione: raffinano a ogni passaggio tutti i pixel o le rappresentazioni latenti dell'immagine, partendo da rumore gaussiano.
  • Transformer generativi mascherati: MaskGIT di Google predice in parallelo tutti i token mascherati di una griglia a singola risoluzione e mantiene quelli più sicuri per circa 8-12 iterazioni.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning