Visual Autoregressive Modeling (VAR)

Visual Autoregressive Modeling (VAR) is an advanced computer vision paradigm that adapts the autoregressive learning strategies popularized by Large Language Models (LLMs) to image generation tasks. Traditional visual autoregressive methods encode an image into a 1D sequence and predict it token-by-token in a raster-scan order, which is computationally expensive and ignores the natural 2D structure of visual data. In contrast, VAR introduces a coarse-to-fine "next-scale prediction" approach. It generates images by progressively predicting higher-resolution feature maps or scales, rather than predicting individual tokens row-by-row. This methodology preserves structural integrity while significantly improving both image quality and inference speed.

Link to this sectionVisual Autoregressive Modeling の仕組み#

VARの核心は、従来の次トークン予測を次スケール予測に置き換える点にあります。VQ-VAE (Vector Quantized Variational AutoEncoder) に似たアーキテクチャを使用して、画像をまずマルチスケールの離散トークンマップに圧縮します。生成フェーズでは、Transformerモデルが最小の解像度（1x1グリッドなど）からターゲットの解像度（16x16や32x32グリッドなど）に向かって、これらのトークンマップを順次予測します。各スケールで空間構造を同時に処理するため、VARは2次元画像固有の双方向の相関関係を効果的に保持できます。

This novel approach allows VAR models to establish predictable scaling laws comparable to text-based architectures like OpenAI GPT-4. As researchers scale up model parameters, performance improves consistently. According to the NeurIPS 2024 paper on Visual Autoregressive Modeling, VAR successfully surpasses competing architectures across the demanding ImageNet benchmark. It achieves better metrics in both Frechet Inception Distance (FID) and inception scores while executing much faster.

Link to this sectionVAR と拡散モデルの比較#

VAR を拡散モデルベースの 生成AI と区別することは重要です。拡散モデル は、開始時のキャンバスから連続的なノイズを繰り返し除去することで画像を生成することを学習します。しかし、VAR は離散トークン上で動作します。ノイズ除去の代わりに、解像度ごとに自己回帰的に画像を構築します。Diffusion Transformer (DiT) は視覚合成の主要な標準となってきましたが、VAR のトークンベースのアプローチは Transformer モデルに注ぎ込まれた最適化研究の恩恵を直接受けており、スケーラビリティとデータ効率の両面で DiT を上回ることができます。

Link to this section実社会での応用#

LLM の推論能力と高忠実度なビジョンを融合させることで、Visual Autoregressive Modeling はいくつかの実用的な機能を実現します。

• ゼロショット画像編集およびインペインティング: VAR はゼロショット操作をネイティブにサポートします。特定のスケールや領域をマスクすることで、開発者はベースアーキテクチャを再トレーニングしたり微調整したりすることなく、シームレスに画像を編集したり拡張したりできます。
• Scalable Asset Generation for Retail: VARの極めて高速な推論速度により、リアルタイムかつ高品質な画像合成が可能となり、動的な製品背景生成やパーソナライズされたマーケティングアセットの大規模な作成を実現します。

Link to this section自己回帰ワークフローの実装#

VAR モデルはコンテンツ生成に重点を置いていますが、Ultralytics YOLO26 のような強力な認識モデルと組み合わせることで、包括的なマルチモーダルパイプラインを作成できます。例えば、YOLO26 を使用して正確な 物体検出 で対象を分離し、その特定の領域を自己回帰モデルに渡して強調や再スタイル化を行うことができます。

以下は、マルチスケールの自己回帰ループがどのようにトークンマップの次のスケールを繰り返し予測するかを示す、概念的な PyTorch スニペットであり、標準的な PyTorch Transformer モジュール を使用して VAR の基礎となるロジックをシミュレートしています。

import torch
import torch.nn as nn


# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
    def __init__(self):
        super().__init__()
        # Simulated transformer to predict next resolution token map
        self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

    def forward(self, initial_scale_token):
        current_tokens = initial_scale_token
        # Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
        for scale in [1, 2, 4]:
            # Model predicts the structural layout for the higher resolution
            next_scale_tokens = self.transformer(current_tokens)
            # Expand and update tokens for the next iteration
            current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
        return current_tokens


model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256)  # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")

データセットのキュレーションから複雑なアーキテクチャの評価まで、エンドツーエンドのビジョンパイプラインを構築しようとしている研究者にとって、Ultralytics Platform は自動アノテーション、トラッキング、クラウドデプロイメントのための強力なツールを提供します。Vision Language Model (VLM) を最適化する場合でも、次スケール予測を実験する場合でも、統合された視覚的インテリジェンスエコシステムは、実際のユースケース全体でイノベーションを加速させます。