Visual Autoregressive Modeling (VAR)

La modélisation autorégressive visuelle (VAR) est un paradigme avancé de vision par ordinateur qui adapte à la génération d'images les stratégies d'apprentissage autorégressif popularisées par les grands modèles de langage (LLMs). Les méthodes autorégressives visuelles traditionnelles encodent une image sous forme de séquence 1D et la prédisent jeton par jeton dans un ordre de balayage raster, ce qui coûte cher en calcul et ignore la structure 2D naturelle des données visuelles. À l'inverse, VAR introduit une approche de « prédiction de l'échelle suivante », du plus grossier au plus fin. Elle génère des images en prédisant progressivement des cartes de caractéristiques ou des échelles de résolution supérieure, plutôt qu'en prédisant des jetons individuels ligne par ligne. Cette méthode préserve l'intégrité structurelle tout en améliorant considérablement la qualité des images et la vitesse d'inférence.

Fonctionnement de la modélisation autorégressive visuelle#

Au cœur de VAR, la prédiction de l'échelle suivante remplace la prédiction traditionnelle du jeton suivant. Une image est d'abord compressée en cartes de jetons discrets à plusieurs échelles à l'aide d'une architecture similaire à un autoencodeur variationnel à quantification vectorielle (VQ-VAE). Lors de la génération, un modèle Transformer prédit ces cartes de jetons de façon séquentielle, en commençant par la résolution la plus faible (par exemple, une grille 1x1) jusqu'à la résolution cible (comme une grille 16x16 ou 32x32). Comme VAR traite simultanément les structures spatiales à chaque échelle, le modèle préserve efficacement les corrélations bidirectionnelles inhérentes aux images 2D.

Cette nouvelle approche permet aux modèles VAR d'établir des lois de mise à l'échelle prévisibles, comparables à celles des architectures textuelles comme OpenAI GPT-4. À mesure que les chercheurs augmentent le nombre de paramètres des modèles, leurs performances s'améliorent de manière constante. Selon l'article NeurIPS 2024 sur la modélisation autorégressive visuelle, VAR surpasse les architectures concurrentes sur l'exigeant benchmark ImageNet. Il obtient de meilleurs résultats à la fois en distance de Fréchet-Inception (FID) et en score Inception, tout en s'exécutant beaucoup plus rapidement.

VAR et modèles de diffusion#

Il est important de distinguer VAR de l'IA générative fondée sur la diffusion. Les modèles de diffusion apprennent à générer des images en éliminant itérativement le bruit continu d'un canevas de départ. VAR, en revanche, opère sur des jetons discrets. Au lieu de débruiter, le modèle construit l'image de manière autorégressive, résolution après résolution. Même si le Transformer de diffusion (DiT) a été une référence majeure pour la synthèse visuelle, l'approche de VAR fondée sur les jetons bénéficie directement des travaux d'optimisation consacrés aux modèles Transformer, ce qui lui permet de surpasser DiT en matière d'évolutivité et d'efficacité des données.

Applications concrètes#

En associant les capacités de raisonnement des LLM à une vision haute fidélité, la modélisation autorégressive visuelle ouvre plusieurs possibilités pratiques :

• Édition et retouche d'images zero-shot : VAR prend en charge nativement la manipulation zero-shot. En masquant certaines échelles ou régions, les développeurs peuvent modifier ou étendre des images de manière transparente sans réentraîner ni affiner l'architecture de base.
• Génération de ressources évolutive pour le commerce de détail : La vitesse d'inférence extrême de VAR permet une synthèse d'images de haute qualité en temps réel, et donc la génération dynamique d'arrière-plans de produits et de ressources marketing personnalisées à grande échelle.

Mettre en œuvre des flux de travail autorégressifs#

Les modèles VAR se concentrent sur la génération de contenu, mais ils peuvent être associés à des modèles de perception puissants comme Ultralytics YOLO26 pour créer des pipelines multimodaux complets. Par exemple, tu peux utiliser YOLO26 pour effectuer une détection d'objets précise et isoler des sujets, puis transmettre ces régions spécifiques à un modèle autorégressif pour les améliorer ou modifier leur style.

L'extrait PyTorch conceptuel ci-dessous montre comment une boucle autorégressive multi-échelle prédit de manière itérative l'échelle suivante d'une carte de jetons, simulant la logique sous-jacente de VAR à l'aide des modules Transformer de PyTorch standard :

import torch
import torch.nn as nn


# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
    def __init__(self):
        super().__init__()
        # Simulated transformer to predict next resolution token map
        self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

    def forward(self, initial_scale_token):
        current_tokens = initial_scale_token
        # Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
        for scale in [1, 2, 4]:
            # Model predicts the structural layout for the higher resolution
            next_scale_tokens = self.transformer(current_tokens)
            # Expand and update tokens for the next iteration
            current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
        return current_tokens


model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256)  # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")

Pour les chercheurs qui souhaitent créer des pipelines de vision de bout en bout — de la sélection des jeux de données à l'évaluation d'architectures complexes —, la plateforme Ultralytics propose des outils robustes d'annotation automatique, de suivi et de déploiement dans le cloud. Qu'il s'agisse d'optimiser un modèle vision-langage (VLM) ou d'expérimenter avec la prédiction de l'échelle suivante, les écosystèmes unifiés d'intelligence visuelle accélèrent l'innovation dans des cas d'usage réels.