Visual Autoregressive Modeling (VAR)
La modellazione autoregressiva visiva (VAR) genera immagini dal grossolano al fine, prevedendo in parallelo la mappa di token di ogni risoluzione successiva. Panoramica del tokenizer e della scalabilità.
La modellazione autoregressiva visiva (VAR) è un metodo di IA generativa per le immagini che predice un'immagine come una serie di mappe di token a risoluzione crescente, da un singolo token 1 x 1 fino alla griglia completa, invece di predire i token uno alla volta in ordine di lettura. A ogni passaggio genera in parallelo tutti i token della scala successiva, condizionandoli a tutte le scale più grossolane, perciò un'immagine 256 x 256 richiede 10 passaggi. Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng e Liwei Wang dell'Università di Pechino e di ByteDance hanno presentato VAR nell'aprile 2024 in Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction, che ha vinto il premio NeurIPS 2024 per il miglior articolo. Nella generazione di ImageNet 256 x 256 condizionata alla classe, ha migliorato la distanza di Fréchet Inception (FID) di una baseline autoregressiva, portandola da 18.65 a 1.73, e il suo Inception Score da 80.4 a 350.2, con un'inferenza circa 20 volte più veloce.
Perché predire la scala successiva#
I primi generatori di immagini autoregressivi, come il transformer di VQGAN e Parti di Google, trasformano un'immagine in una griglia di token discreti, la appiattiscono riga per riga e predicono un token alla volta, come fa un modello GPT quando scrive un testo. Quest'ordine si adatta male alle immagini. Un token può vedere solo quelli sopra e alla sua sinistra, anche se le regioni dell'immagine dipendono l'una dall'altra in ogni direzione, e una griglia 16 x 16 richiede 256 passaggi sequenziali. Predire la scala successiva mantiene l'obiettivo di addestramento del transformer e il suo ordine causale, ma cambia l'unità di predizione: da un singolo token a un'intera risoluzione. I token all'interno di una scala si vedono tra loro e ogni scala vede l'immagine completa a tutte le risoluzioni più grossolane.
Il tokenizer multiscala#
Il tokenizer di VAR è un'autoencoder la cui rappresentazione latente viene compressa con la quantizzazione vettoriale multiscala. Il suo encoder trasforma un'immagine 256 x 256 in una mappa di caratteristiche 16 x 16, che viene quantizzata a 10 scale, da 1 x 1 a 16 x 16, usando un unico codebook condiviso di 4,096 elementi. Ogni scala quantizza solo ciò che le scale più grossolane non hanno spiegato, cioè il residuo: le mappe grossolane contengono i colori e la disposizione generale, mentre quelle successive aggiungono dettagli più fini. Lo stesso schema residuo viene applicato qui sotto a una foto sottocampionata con un codebook casuale:
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")L'errore di ricostruzione scende da 0.06267 dopo il singolo token 1 x 1 a 0.00212 dopo la mappa 16 x 16, usando 680 token distribuiti sulle dieci scale. VAR addestra congiuntamente encoder, decoder e codebook. I modelli di rilevamento si basano sullo stesso tipo di piramide per il riconoscimento: Ultralytics YOLO26 predice gli oggetti dai livelli della piramide di caratteristiche con stride 8, 16 e 32, perciò un'immagine di 640 pixel produce mappe 80 x 80, 40 x 40 e 20 x 20: gli oggetti grandi vengono individuati sulla mappa grossolana e quelli piccoli su quella fine.
Come VAR genera un'immagine#
Un transformer in stile GPT genera le mappe di token in sequenza, con una maschera di attenzione causale a blocchi che consente a ogni token di prestare attenzione alla propria scala e a tutte le scale più grossolane:
Gli autori hanno addestrato modelli con un massimo di 2 miliardi di parametri e hanno rilevato leggi di scala in forma di legge di potenza, simili a quelle dei modelli linguistici di grandi dimensioni, con coefficienti di correlazione lineare vicini a -0.998 tra dimensione del modello e perdita sul test. Lo stesso modello esegue l'inpainting delle immagini, l'outpainting e la modifica condizionata alla classe in modalità zero-shot, senza ulteriore addestramento: basta fissare ai valori reali i token all'esterno della regione da modificare e campionare il resto.
Successori di VAR e termini correlati#
- Infinity: Il successore di ByteDance per la generazione di immagini da testo, pubblicato nel dicembre 2024, sostituisce il codebook da 4.096 voci con token bitwise provenienti da un tokenizer con un vocabolario di fatto illimitato. Genera un'immagine da 1024 x 1024 in 0,8 secondi, 2,6 volte più velocemente di Stable Diffusion 3 Medium, e porta il punteggio GenEval da 0,62 di SD3 Medium a 0,73.
- Transformer di diffusione (DiT): denoisano rappresentazioni latenti continue in molti passaggi. L'articolo su VAR dichiara prestazioni superiori a DiT per qualità dell'immagine, velocità di inferenza, efficienza dei dati e scalabilità.
- Modelli di diffusione: raffinano a ogni passaggio tutti i pixel o le rappresentazioni latenti dell'immagine, partendo da rumore gaussiano.
- Transformer generativi mascherati: MaskGIT di Google predice in parallelo tutti i token mascherati di una griglia a singola risoluzione e mantiene quelli più sicuri per circa 8-12 iterazioni.










