Licencia YOLO
Volver al glosario de Ultralytics

Visual Autoregressive Modeling (VAR)

El modelado autorregresivo visual (VAR) genera imágenes de lo grueso a lo fino y predice en paralelo cada siguiente mapa de tokens de resolución. Explica el tokenizador y el escalado.

El modelado autorregresivo visual (VAR) es un método de IA generativa para imágenes que predice una imagen como una serie de mapas de tokens de resolución creciente, desde un único token de 1 x 1 hasta la cuadrícula completa, en lugar de predecir los tokens uno a uno siguiendo el orden de lectura. En cada paso genera en paralelo todos los tokens de la siguiente escala, condicionados por todas las escalas más gruesas, de modo que una imagen de 256 x 256 requiere 10 pasos. Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng y Liwei Wang, de la Universidad de Pekín y ByteDance, presentaron VAR en abril de 2024 en Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction, que ganó el premio al mejor artículo de NeurIPS 2024. En la generación de imágenes ImageNet de 256 x 256 condicionada por clases, mejoró la distancia de Fréchet-Inception (FID) de una línea base autorregresiva de 18.65 a 1.73 y su Inception Score de 80.4 a 350.2, con una inferencia aproximadamente 20 veces más rápida.

Por qué predecir la siguiente escala#

Los primeros generadores de imágenes autorregresivos, como el transformer de VQGAN y Parti de Google, convierten una imagen en una cuadrícula de tokens discretos, los aplanan fila a fila y predicen un token cada vez, igual que un modelo GPT escribe texto. Ese orden no se adapta bien a las imágenes. Un token solo puede ver los tokens que tiene encima y a su izquierda, aunque las regiones de una imagen dependen unas de otras en todas las direcciones, y una cuadrícula de 16 x 16 requiere 256 pasos secuenciales. Predecir la siguiente escala mantiene el objetivo de entrenamiento del transformer y su orden causal, pero cambia la unidad de predicción: de un token a una resolución completa; los tokens de una escala pueden verse entre sí, y cada escala ve la imagen completa en todas las resoluciones más gruesas.

El tokenizador multiescala#

El tokenizador de VAR es un autoencoder cuya representación latente se comprime mediante cuantización vectorial multiescala. Su codificador convierte una imagen de 256 x 256 en un mapa de características de 16 x 16, que se cuantiza en 10 escalas, desde 1 x 1 hasta 16 x 16, con un único libro de códigos compartido de 4.096 entradas. Cada escala cuantiza solo lo que las escalas más gruesas no han podido explicar: el residuo; así, los mapas gruesos contienen el color y la composición generales, y los mapas posteriores añaden detalles más finos. El mismo esquema residual se aplica a continuación a una fotografía reducida con un libro de códigos aleatorio:

import torch
import torch.nn.functional as F
from skimage import data

torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255  # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area")  # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1  # one shared codebook of 4,096 entries; residuals can be negative

# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16):  # VAR's ten token-map sizes for 256 x 256 images
    small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
    tokens = torch.cdist(small, codebook).argmin(dim=1)  # side x side discrete token map
    quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
    upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
    reconstruction, residual = reconstruction + upsampled, residual - upsampled
    print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")

El error de reconstrucción baja de 0.06267 tras el único token de 1 x 1 a 0.00212 tras el mapa de 16 x 16, con 680 tokens repartidos entre las diez escalas. VAR entrena conjuntamente su codificador, decodificador y libro de códigos. Los modelos de detección se basan en el mismo tipo de pirámide para reconocer objetos: Ultralytics YOLO26 predice objetos a partir de niveles de pirámide de características con pasos de 8, 16 y 32, por lo que una imagen de 640 píxeles produce mapas de 80 x 80, 40 x 40 y 20 x 20; los objetos grandes se detectan en el mapa grueso y los pequeños, en el fino.

Cómo genera VAR una imagen#

Un transformer al estilo GPT genera los mapas de tokens en orden, con una máscara de atención causal por bloques que permite que cada token preste atención a su propia escala y a todas las escalas más gruesas:

Los autores entrenaron modelos de hasta 2.000 millones de parámetros y encontraron leyes de escalado de tipo potencial, similares a las de los modelos de lenguaje grandes, con coeficientes de correlación lineal cercanos a -0.998 entre el tamaño del modelo y la pérdida de prueba. El mismo modelo realiza relleno de imágenes, expansión de imágenes y edición condicionada por clases en cero disparos, sin entrenamiento adicional, fijando los tokens fuera de la región editada a sus valores reales y muestreando el resto.

  • Infinity: El modelo de generación de texto a imagen de ByteDance, publicado en diciembre de 2024, sustituye el libro de códigos de 4.096 entradas por tokens binarios de un tokenizador con un vocabulario prácticamente ilimitado. Genera una imagen de 1024 x 1024 en 0,8 segundos, 2,6 veces más rápido que Stable Diffusion 3 Medium, y elevó la puntuación GenEval de 0,62 de SD3 Medium a 0,73.
  • Transformers de difusión (DiT): Eliminan el ruido de representaciones latentes continuas a lo largo de muchos pasos. El artículo de VAR afirma que supera a DiT en calidad de imagen, velocidad de inferencia, eficiencia de datos y escalabilidad.
  • Modelos de difusión: Refinan cada píxel o representación latente de la imagen en cada paso, partiendo de ruido gaussiano.
  • Transformers generativos enmascarados: MaskGIT de Google predice en paralelo todos los tokens enmascarados de una cuadrícula de una sola resolución y conserva los que tienen más confianza durante unas 8 a 12 iteraciones.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático