Visual Autoregressive Modeling (VAR)

El Modelado Autorregresivo Visual (VAR) es un paradigma avanzado de visión por ordenador que adapta las estrategias de aprendizaje autorregresivo popularizadas por los Grandes Modelos de Lenguaje (LLM) a tareas de generación de imágenes. Los métodos autorregresivos visuales tradicionales codifican una imagen en una secuencia 1D y la predicen token a token en un orden de barrido rasterizado, lo cual resulta costoso computacionalmente e ignora la estructura 2D natural de los datos visuales. Por el contrario, VAR introduce un enfoque de "predicción a la siguiente escala" de grueso a fino. Genera imágenes prediciendo progresivamente mapas de características o escalas de mayor resolución, en lugar de predecir tokens individuales fila por fila. Esta metodología preserva la integridad estructural al tiempo que mejora significativamente tanto la calidad de la imagen como la velocidad de inferencia.

Link to this sectionCómo funciona el Modelado Autorregresivo Visual#

En esencia, VAR sustituye la predicción tradicional del siguiente token por la predicción de la siguiente escala. Primero, se comprime una imagen en mapas de tokens discretos a multiescala utilizando una arquitectura similar a un Codificador Automático Variacional Cuantizado por Vectores (VQ-VAE). Durante la fase de generación, un modelo Transformer predice estos mapas de tokens de forma secuencial, empezando desde la resolución más pequeña (como una rejilla de 1x1) hasta la resolución objetivo (como una rejilla de 16x16 o 32x32). Dado que procesa estructuras espaciales simultáneamente en cada escala, VAR preserva con éxito las correlaciones bidireccionales inherentes a las imágenes 2D.

Este enfoque novedoso permite a los modelos VAR establecer leyes de escala predecibles comparables a arquitecturas basadas en texto como OpenAI GPT-4. A medida que los investigadores aumentan los parámetros del modelo, el rendimiento mejora de forma constante. Según el artículo de NeurIPS 2024 sobre Modelado Autorregresivo Visual, VAR supera con éxito a las arquitecturas competidoras en el exigente benchmark de ImageNet. Logra mejores métricas tanto en Frechet Inception Distance (FID) como en puntuaciones de inception, ejecutándose mucho más rápido.

Link to this sectionVAR frente a los Modelos de Difusión#

Es importante diferenciar VAR de la IA Generativa basada en difusión. Los modelos de difusión aprenden a generar imágenes eliminando iterativamente el ruido continuo de un lienzo inicial. VAR, sin embargo, opera con tokens discretos. En lugar de eliminar el ruido, construye la imagen autorregresivamente resolución a resolución. Aunque el Diffusion Transformer (DiT) ha sido un estándar líder para la síntesis visual, el enfoque basado en tokens de VAR se beneficia directamente de la investigación de optimización aplicada a los modelos Transformer, lo que le permite superar a DiT tanto en escalabilidad como en eficiencia de datos.

Link to this sectionAplicaciones en el mundo real#

Al combinar las capacidades de razonamiento de los LLM con una visión de alta fidelidad, el Modelado Autorregresivo Visual permite varias capacidades prácticas:

• Edición e in-painting de imágenes Zero-Shot: VAR admite la manipulación zero-shot de forma nativa. Al enmascarar ciertas escalas o regiones, los desarrolladores pueden editar o extender imágenes sin problemas sin necesidad de reentrenar o ajustar la arquitectura base.
• Generación de activos escalable para el comercio minorista: La velocidad de inferencia extrema de VAR permite la síntesis de imágenes de alta calidad en tiempo real, lo que posibilita la generación dinámica de fondos de productos y activos de marketing personalizados a gran escala.

Link to this sectionImplementación de flujos de trabajo autorregresivos#

Aunque los modelos VAR se centran en generar contenido, pueden combinarse con potentes modelos de percepción como Ultralytics YOLO26 para crear flujos de trabajo multimodales integrales. Por ejemplo, puedes utilizar YOLO26 para una detección de objetos precisa para aislar sujetos, y luego pasar esas regiones específicas a un modelo autorregresivo para mejorarlas o cambiarles el estilo.

A continuación se muestra un fragmento conceptual de PyTorch que demuestra cómo un bucle autorregresivo multiescala predice iterativamente la siguiente escala de un mapa de tokens, simulando la lógica subyacente de VAR utilizando módulos Transformer de PyTorch estándar:

import torch
import torch.nn as nn


# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
    def __init__(self):
        super().__init__()
        # Simulated transformer to predict next resolution token map
        self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

    def forward(self, initial_scale_token):
        current_tokens = initial_scale_token
        # Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
        for scale in [1, 2, 4]:
            # Model predicts the structural layout for the higher resolution
            next_scale_tokens = self.transformer(current_tokens)
            # Expand and update tokens for the next iteration
            current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
        return current_tokens


model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256)  # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")

Para los investigadores que buscan construir flujos de trabajo de visión de extremo a extremo (desde la curación de datasets hasta la evaluación de arquitecturas complejas), la Plataforma Ultralytics ofrece herramientas robustas para auto-anotación, seguimiento y despliegue en la nube. Ya sea optimizando un Modelo de Lenguaje de Visión (VLM) o experimentando con la predicción a la siguiente escala, los ecosistemas unificados de inteligencia visual aceleran la innovación en casos de uso del mundo real.