Visual Autoregressive Modeling (VAR)

Visual Autoregressive Modeling (VAR) は、Large Language Models (LLMs) で一般化した自己回帰学習戦略を画像生成タスクに適応させた、高度なコンピュータビジョンパラダイムです。従来の視覚的自己回帰手法では、画像を1次元シーケンスにエンコードし、ラスタースキャン順序でトークンごとに予測しますが、これは計算コストが高く、視覚データの持つ自然な2次元構造を無視してしまいます。これに対し、VAR は粗い解像度から細かい解像度へと進む「次スケール予測」アプローチを導入しています。個々のトークンを1行ずつ予測するのではなく、より高解像度なフィーチャマップやスケールを段階的に予測することで画像を生成します。この手法により、構造の整合性を維持しながら、画質と推論速度の両方を大幅に向上させることができます。

Visual Autoregressive Modeling の仕組み#

その核心において、VAR は従来の次トークン予測を次スケール予測に置き換えます。Vector Quantized Variational AutoEncoder (VQ-VAE) に似たアーキテクチャを使用して、まずは画像がマルチスケールの離散トークンマップに圧縮されます。生成フェーズでは、最小の解像度（1x1 グリッドなど）から目標の解像度（16x16 や 32x32 グリッドなど）に向かって、トランスフォーマーモデルがこれらのトークンマップを順番に予測します。各スケールで空間構造を同時に処理するため、VAR は 2次元画像に固有の双方向相関を正常に維持します。

この斬新なアプローチにより、VAR モデルは OpenAI GPT-4 のようなテキストベースのアーキテクチャに匹敵する、予測可能なスケーリング則を確立できるようになります。研究者がモデルパラメータをスケールアップするにつれて、パフォーマンスは一貫して向上します。Visual Autoregressive Modeling に関する NeurIPS 2024 の論文によると、VAR は要求の厳しいImageNet ベンチマーク全体で競合アーキテクチャを上回る成果を上げています。Frechet Inception Distance (FID) と inception スコアの両方でより優れた指標を達成しつつ、はるかに高速に実行されます。

VAR と拡散モデルの比較#

VAR を拡散ベースの生成AIと区別することは重要です。拡散モデルは、開始キャンバスから連続的なノイズを反復的に除去することで画像を生成することを学習します。しかし、VAR は離散トークン上で動作します。ノイズ除去を行うのではなく、解像度ごとに自己回帰的に画像を構築します。Diffusion Transformer (DiT) は視覚合成の主要な標準となってきましたが、VAR のトークンベースのアプローチはトランスフォーマーモデルに注ぎ込まれた最適化研究の恩恵を直接受けるため、スケーラビリティとデータ効率の両方で DiT を上回ることができます。

実社会での応用#

LLM の推論能力と高忠実度なビジョンを融合させることで、Visual Autoregressive Modeling はいくつかの実用的な機能を実現します。

• ゼロショットの画像編集とインペインティング: VAR はゼロショット操作をネイティブでサポートしています。特定のスケールや領域をマスクすることにより、開発者はベースアーキテクチャの再トレーニングやファインチューニングを行うことなく、シームレスに画像を編集したり拡張したりできます。
• リテール向けの拡張可能なアセット生成: VAR の極端な推論速度により、リアルタイムで高品質な画像合成が可能になり、動的な製品背景の生成やパーソナライズされたマーケティングアセットの大規模な作成が可能になります。

自己回帰ワークフローの実装#

VAR モデルはコンテンツの生成に焦点を当てていますが、Ultralytics YOLO26 のような強力なパーセプションモデルとペアにして、包括的なマルチモーダルパイプラインを作成できます。たとえば、YOLO26 を使用して正確な物体検出を行い、被写体を切り離した上で、それらの特定の領域を自己回帰モデルに渡して強化や再スタイリングを行うことができます。

以下は、マルチスケール自己回帰ループがトークンマップの次のスケールを反復的に予測し、標準的なPyTorch Transformer モジュールを使用して VAR の基礎ロジックをシミュレートする方法を示す、概念的なPyTorch スニペットです。

import torch
import torch.nn as nn


# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
    def __init__(self):
        super().__init__()
        # Simulated transformer to predict next resolution token map
        self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

    def forward(self, initial_scale_token):
        current_tokens = initial_scale_token
        # Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
        for scale in [1, 2, 4]:
            # Model predicts the structural layout for the higher resolution
            next_scale_tokens = self.transformer(current_tokens)
            # Expand and update tokens for the next iteration
            current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
        return current_tokens


model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256)  # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")

データセットのキュレーションから複雑なアーキテクチャの評価に至るまで、エンドツーエンドのビジョンパイプライン構築を目指す研究者にとって、Ultralytics Platform は自動アノテーション、トラッキング、クラウドデプロイのための堅牢なツールを提供します。Vision Language Model (VLM) の最適化であれ、次スケール予測の実験であれ、統合されたビジュアルインテリジェンスエコシステムは、現実世界のユースケースにわたるイノベーションを加速させます。