Visual Autoregressive Modeling (VAR)
視覚的自己回帰モデリング(VAR)は、粗い解像度から細かい解像度へ画像を生成し、次の解像度のトークンマップをそれぞれ並列に予測します。トークナイザーとスケーリングについて解説します。
視覚的自己回帰モデリング(VAR)は、画像を一度に1トークンずつ読み取り順に予測するのではなく、単一の1 x 1トークンから完全なグリッドまで、解像度が段階的に上がるトークンマップの列として予測する生成AI手法です。各ステップでは、より粗いすべてのスケールを条件として、次のスケールのトークンをすべて並列に生成するため、256 x 256画像を10ステップで生成できます。北京大学とByteDanceのKeyu Tian氏、Yi Jiang氏、Zehuan Yuan氏、Bingyue Peng氏、Liwei Wang氏は、2024年4月にVARを発表した論文Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Predictionで、NeurIPS 2024の最優秀論文賞を受賞しました。クラス条件付きImageNet 256 x 256画像生成では、自己回帰ベースラインのFréchet Inception Distance(FID)を18.65から1.73に改善し、Inception Scoreを80.4から350.2に向上させながら、推論を約20倍高速化しました。
次のスケールを予測する理由#
VQGANのTransformerやGoogleのPartiなど、以前の自己回帰画像生成モデルは、画像を離散的なトークンのグリッドに変換して行ごとに平坦化し、GPTモデルがテキストを書くのと同じように、トークンを一度に1つずつ予測します。この順序は画像には適していません。各トークンが参照できるのは上と左のトークンだけですが、画像領域はあらゆる方向で互いに依存し、16 x 16のグリッドでは逐次的なステップが256回必要です。次のスケールを予測する方法では、Transformerの学習目標と因果的な順序を保ちつつ、予測単位を1トークンから解像度全体へと変えます。スケール内のトークンは互いを参照でき、各スケールはすべての粗い解像度における完全な画像を参照します。
マルチスケールトークナイザー#
VARのトークナイザーは、潜在表現をマルチスケールベクトル量子化で圧縮するオートエンコーダーです。エンコーダーは256 x 256画像を16 x 16の特徴マップに変換し、1 x 1から16 x 16までの10スケールで量子化します。このとき、4,096エントリーの共有コードブックを1つ使用します。各スケールでは、粗いスケールで説明されなかった残差だけを量子化するため、粗いマップは全体的な色やレイアウトを表し、後続のマップがより細かいディテールを加えます。同じ残差方式を、ランダムなコードブックを使ってダウンサンプリングした写真に適用した例を以下に示します。
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")再構成誤差は、単一の1 x 1トークンでは0.06267ですが、16 x 16マップでは0.00212に下がります。10スケール全体で使用するトークン数は680です。VARはエンコーダー、デコーダー、コードブックを共同で学習します。認識用の検出モデルも、同じ種類のピラミッドを基盤として構築されています。Ultralytics YOLO26はストライド8、16、32の特徴ピラミッドレベルから物体を予測するため、640ピクセルの画像から80 x 80、40 x 40、20 x 20のマップが生成され、大きな物体は粗いマップ、小さな物体は細かいマップで検出されます。
VARによる画像生成の仕組み#
GPT形式のTransformerは、ブロック単位の因果的なアテンションマスクを使ってトークンマップを順に生成します。このマスクにより、各トークンは自分のスケールと、すべての粗いスケールを参照できます。
著者らは最大20億パラメーターのモデルを学習し、大規模言語モデルと同様のべき乗則のスケーリング則を確認しました。モデルサイズとテスト損失の線形相関係数は約-0.998でした。同じモデルは追加学習なしで、編集領域の外側のトークンを正解値に固定し、残りをサンプリングすることで、画像インペインティング、アウトペインティング、クラス条件付き編集をゼロショットで実行できます。
VARの後継手法と関連用語#
- Infinity:ByteDanceが2024年12月に公開したテキストから画像生成の後継モデルです。4,096エントリーのコードブックを、事実上無制限の語彙を持つトークナイザーのビット単位トークンに置き換えます。1024 x 1024画像を0.8秒で生成し、Stable Diffusion 3 Mediumより2.6倍高速です。GenEvalスコアも、SD3 Mediumの0.62から0.73に向上しました。
- 拡散Transformer(DiT): 多数のステップにわたって連続潜在表現をノイズ除去します。VARの論文では、画像品質、推論速度、データ効率、スケーラビリティのすべてでDiTを上回ったと報告されています。
- 拡散モデル: ガウスノイズから始め、各ステップで画像のすべてのピクセルまたは潜在表現を洗練します。
- マスク付き生成Transformer: GoogleのMaskGITは、単一解像度のグリッドにあるマスク付きトークンをすべて並列に予測し、約8~12回の反復で最も確信度の高いトークンを残します。










