Visual Autoregressive Modeling (VAR)

La modélisation visuelle autorégressive (VAR) est un paradigme avancé de vision par ordinateur qui adapte les stratégies d'apprentissage autorégressif popularisées par les grands modèles de langage (LLM) aux tâches de génération d'images. Les méthodes visuelles autorégressives traditionnelles encodent une image en une séquence 1D et la prédisent jeton par jeton dans un ordre de balayage tramé, ce qui est coûteux en calcul et ignore la structure 2D naturelle des données visuelles. En revanche, VAR introduit une approche de « prédiction à l'échelle suivante » allant du grossier au fin. Elle génère des images en prédisant progressivement des cartes de caractéristiques ou des échelles de résolution plus élevée, plutôt que de prédire des jetons individuels ligne par ligne. Cette méthodologie préserve l'intégrité structurelle tout en améliorant considérablement à la fois la qualité de l'image et la vitesse d'inférence.

Link to this sectionComment fonctionne la modélisation visuelle autorégressive#

Au fond, VAR remplace la prédiction classique du jeton suivant par la prédiction de l'échelle suivante. Une image est d'abord compressée en cartes de jetons discrètes multi-échelles en utilisant une architecture similaire à un Autoencodeur variationnel à quantification vectorielle (VQ-VAE). Pendant la phase de génération, un modèle Transformer prédit ces cartes de jetons séquentiellement, en commençant par la plus petite résolution (comme une grille 1x1) jusqu'à la résolution cible (telle qu'une grille 16x16 ou 32x32). Parce qu'elle traite les structures spatiales simultanément à chaque échelle, VAR préserve avec succès les corrélations bidirectionnelles inhérentes aux images 2D.

Cette nouvelle approche permet aux modèles VAR d'établir des lois d'échelle prévisibles comparables aux architectures textuelles comme OpenAI GPT-4. À mesure que les chercheurs augmentent les paramètres du modèle, les performances s'améliorent de manière cohérente. Selon le papier de NeurIPS 2024 sur la modélisation visuelle autorégressive, VAR surpasse avec succès les architectures concurrentes sur le benchmark exigeant ImageNet. Il obtient de meilleures mesures à la fois en distance de Fréchet Inception (FID) et en scores d'inception tout en s'exécutant beaucoup plus rapidement.

Link to this sectionVAR vs. Modèles de diffusion#

Il est important de différencier VAR de l'IA générative basée sur la diffusion. Les modèles de diffusion apprennent à générer des images en supprimant de manière itérative le bruit continu d'une toile de départ. VAR, cependant, opère sur des jetons discrets. Au lieu de supprimer le bruit, il construit l'image autorégressivement, résolution par résolution. Bien que le Diffusion Transformer (DiT) ait été une norme de premier plan pour la synthèse visuelle, l'approche basée sur les jetons de VAR bénéficie directement de la recherche en optimisation consacrée aux modèles Transformer, lui permettant de surpasser DiT à la fois en évolutivité et en efficacité des données.

Link to this sectionApplications concrètes#

En fusionnant les capacités de raisonnement des LLM avec une vision haute fidélité, la modélisation visuelle autorégressive débloque plusieurs capacités pratiques :

• Édition et remplissage d'images Zero-Shot : VAR prend en charge nativement la manipulation zero-shot. En masquant certaines échelles ou régions, tu peux éditer ou étendre des images de manière transparente sans réentraîner ou affiner l'architecture de base.
• Génération d'actifs évolutive pour la vente au détail : La vitesse d'inférence extrême de VAR permet une synthèse d'images en temps réel et de haute qualité, facilitant la génération d'arrière-plans de produits dynamiques et d'outils marketing personnalisés à grande échelle.

Link to this sectionImplémentation de flux de travail autorégressifs#

Bien que les modèles VAR se concentrent sur la génération de contenu, ils peuvent être associés à des modèles de perception puissants comme Ultralytics YOLO26 pour créer des pipelines multimodaux complets. Par exemple, tu peux utiliser YOLO26 pour une détection d'objet précise afin d'isoler des sujets, puis transmettre ces régions spécifiques à un modèle autorégressif pour amélioration ou restylage.

Tu trouveras ci-dessous un extrait conceptuel PyTorch démontrant comment une boucle autorégressive multi-échelle prédit de manière itérative l'échelle suivante d'une carte de jetons, simulant la logique sous-jacente de VAR à l'aide de modules Transformer PyTorch standard :

import torch
import torch.nn as nn


# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
    def __init__(self):
        super().__init__()
        # Simulated transformer to predict next resolution token map
        self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

    def forward(self, initial_scale_token):
        current_tokens = initial_scale_token
        # Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
        for scale in [1, 2, 4]:
            # Model predicts the structural layout for the higher resolution
            next_scale_tokens = self.transformer(current_tokens)
            # Expand and update tokens for the next iteration
            current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
        return current_tokens


model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256)  # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")

Pour les chercheurs souhaitant créer des pipelines de vision de bout en bout — de la curation de jeux de données à l'évaluation d'architectures complexes — la plateforme Ultralytics propose des outils robustes pour l'annotation automatique, le suivi et le déploiement dans le cloud. Que tu optimises un modèle vision-langage (VLM) ou que tu expérimentes avec la prédiction à l'échelle suivante, les écosystèmes d'intelligence visuelle unifiés accélèrent l'innovation sur des cas d'utilisation réels.