Visual Autoregressive Modeling (VAR)
El modelado autorregresivo visual (VAR) genera imágenes de lo grueso a lo fino y predice en paralelo cada siguiente mapa de tokens de resolución. Explica el tokenizador y el escalado.
El modelado autorregresivo visual (VAR) es un método de IA generativa para imágenes que predice una imagen como una serie de mapas de tokens de resolución creciente, desde un único token de 1 x 1 hasta la cuadrícula completa, en lugar de predecir los tokens uno a uno siguiendo el orden de lectura. En cada paso genera en paralelo todos los tokens de la siguiente escala, condicionados por todas las escalas más gruesas, de modo que una imagen de 256 x 256 requiere 10 pasos. Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng y Liwei Wang, de la Universidad de Pekín y ByteDance, presentaron VAR en abril de 2024 en Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction, que ganó el premio al mejor artículo de NeurIPS 2024. En la generación de imágenes ImageNet de 256 x 256 condicionada por clases, mejoró la distancia de Fréchet-Inception (FID) de una línea base autorregresiva de 18.65 a 1.73 y su Inception Score de 80.4 a 350.2, con una inferencia aproximadamente 20 veces más rápida.
Por qué predecir la siguiente escala#
Los primeros generadores de imágenes autorregresivos, como el transformer de VQGAN y Parti de Google, convierten una imagen en una cuadrícula de tokens discretos, los aplanan fila a fila y predicen un token cada vez, igual que un modelo GPT escribe texto. Ese orden no se adapta bien a las imágenes. Un token solo puede ver los tokens que tiene encima y a su izquierda, aunque las regiones de una imagen dependen unas de otras en todas las direcciones, y una cuadrícula de 16 x 16 requiere 256 pasos secuenciales. Predecir la siguiente escala mantiene el objetivo de entrenamiento del transformer y su orden causal, pero cambia la unidad de predicción: de un token a una resolución completa; los tokens de una escala pueden verse entre sí, y cada escala ve la imagen completa en todas las resoluciones más gruesas.
El tokenizador multiescala#
El tokenizador de VAR es un autoencoder cuya representación latente se comprime mediante cuantización vectorial multiescala. Su codificador convierte una imagen de 256 x 256 en un mapa de características de 16 x 16, que se cuantiza en 10 escalas, desde 1 x 1 hasta 16 x 16, con un único libro de códigos compartido de 4.096 entradas. Cada escala cuantiza solo lo que las escalas más gruesas no han podido explicar: el residuo; así, los mapas gruesos contienen el color y la composición generales, y los mapas posteriores añaden detalles más finos. El mismo esquema residual se aplica a continuación a una fotografía reducida con un libro de códigos aleatorio:
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")El error de reconstrucción baja de 0.06267 tras el único token de 1 x 1 a 0.00212 tras el mapa de 16 x 16, con 680 tokens repartidos entre las diez escalas. VAR entrena conjuntamente su codificador, decodificador y libro de códigos. Los modelos de detección se basan en el mismo tipo de pirámide para reconocer objetos: Ultralytics YOLO26 predice objetos a partir de niveles de pirámide de características con pasos de 8, 16 y 32, por lo que una imagen de 640 píxeles produce mapas de 80 x 80, 40 x 40 y 20 x 20; los objetos grandes se detectan en el mapa grueso y los pequeños, en el fino.
Cómo genera VAR una imagen#
Un transformer al estilo GPT genera los mapas de tokens en orden, con una máscara de atención causal por bloques que permite que cada token preste atención a su propia escala y a todas las escalas más gruesas:
Los autores entrenaron modelos de hasta 2.000 millones de parámetros y encontraron leyes de escalado de tipo potencial, similares a las de los modelos de lenguaje grandes, con coeficientes de correlación lineal cercanos a -0.998 entre el tamaño del modelo y la pérdida de prueba. El mismo modelo realiza relleno de imágenes, expansión de imágenes y edición condicionada por clases en cero disparos, sin entrenamiento adicional, fijando los tokens fuera de la región editada a sus valores reales y muestreando el resto.
Sucesores de VAR y términos relacionados#
- Infinity: El modelo de generación de texto a imagen de ByteDance, publicado en diciembre de 2024, sustituye el libro de códigos de 4.096 entradas por tokens binarios de un tokenizador con un vocabulario prácticamente ilimitado. Genera una imagen de 1024 x 1024 en 0,8 segundos, 2,6 veces más rápido que Stable Diffusion 3 Medium, y elevó la puntuación GenEval de 0,62 de SD3 Medium a 0,73.
- Transformers de difusión (DiT): Eliminan el ruido de representaciones latentes continuas a lo largo de muchos pasos. El artículo de VAR afirma que supera a DiT en calidad de imagen, velocidad de inferencia, eficiencia de datos y escalabilidad.
- Modelos de difusión: Refinan cada píxel o representación latente de la imagen en cada paso, partiendo de ruido gaussiano.
- Transformers generativos enmascarados: MaskGIT de Google predice en paralelo todos los tokens enmascarados de una cuadrícula de una sola resolución y conserva los que tienen más confianza durante unas 8 a 12 iteraciones.










