Visual Autoregressive Modeling (VAR)
Visuelle autoregressive Modellierung (VAR) erzeugt Bilder von grob nach fein, indem sie parallel die Tokenkarten der jeweils nächsten Auflösung vorhersagt. Behandelt werden Tokenizer und Skalierung.
Visual Autoregressive Modeling (VAR) ist ein Verfahren der generativen KI für Bilder. Dabei wird ein Bild als Folge von Tokenkarten mit zunehmender Auflösung vorhergesagt – von einem einzelnen 1 x 1-Token bis zum vollständigen Raster –, anstatt die Tokens einzeln in Leserichtung vorherzusagen. Bei jedem Schritt werden alle Tokens der nächsten Skala parallel generiert, abhängig von sämtlichen gröberen Skalen. Ein Bild mit 256 x 256 Pixeln benötigt daher 10 Schritte. Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng und Liwei Wang von der Peking-Universität und ByteDance stellten VAR im April 2024 in Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction vor. Die Arbeit gewann den Preis für den besten Beitrag bei NeurIPS 2024. Bei der klassenbedingten Erzeugung von Bildern mit 256 x 256 Pixeln aus ImageNet verbesserte das Verfahren die Fréchet-Inception-Distanz (FID) einer autoregressiven Baseline von 18.65 auf 1.73 und ihren Inception Score von 80.4 auf 350.2 – bei ungefähr 20-mal schnellerer Inferenz.
Warum die nächste Skala vorhersagen?#
Frühere autoregressive Bildgeneratoren, etwa der Transformer in VQGAN und Googles Parti, wandeln ein Bild in ein Raster diskreter Tokens um, ordnen es zeilenweise an und sagen jeweils ein Token voraus – ähnlich wie ein GPT-Modell Text schreibt. Diese Reihenfolge eignet sich schlecht für Bilder. Ein Token kann nur die Tokens oberhalb und links davon berücksichtigen, obwohl Bildbereiche in alle Richtungen voneinander abhängen. Außerdem erfordert ein Raster mit 16 x 16 Feldern 256 aufeinanderfolgende Schritte. Die Vorhersage der nächsten Skala behält das Trainingsziel des Transformers und dessen kausale Reihenfolge bei, ändert aber die Vorhersageeinheit von einem einzelnen Token zu einer vollständigen Auflösung: Tokens innerhalb einer Skala berücksichtigen einander, und jede Skala berücksichtigt das vollständige Bild auf allen gröberen Auflösungen.
Der Tokenizer mit mehreren Skalen#
Der Tokenizer von VAR ist ein Autoencoder, dessen latente Repräsentation mithilfe einer Vektorquantisierung mit mehreren Skalen komprimiert wird. Sein Encoder wandelt ein Bild mit 256 x 256 Pixeln in eine Merkmalskarte mit 16 x 16 Feldern um. Diese wird auf 10 Skalen von 1 x 1 bis 16 x 16 quantisiert, wobei ein gemeinsames Codebuch mit 4,096 Einträgen verwendet wird. Jede Skala quantisiert nur, was die gröberen Skalen nicht erklären konnten – den Rest. Daher enthalten die groben Karten die Gesamtfarbe und den Bildaufbau, während die späteren Karten feinere Details ergänzen. Dasselbe Restverfahren kommt unten bei einem herunterskalierten Foto mit einem zufälligen Codebuch zum Einsatz:
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")Der Rekonstruktionsfehler sinkt vom Wert 0.06267 nach dem einzelnen 1 x 1-Token auf 0.00212 nach der 16 x 16-Karte. Über die zehn Skalen hinweg werden 680 Tokens verwendet. VAR trainiert Encoder, Decoder und Codebuch gemeinsam. Erkennungsmodelle verwenden für die Objekterkennung dieselbe Art von Pyramide: Ultralytics YOLO26 sagt Objekte auf Ebenen einer Merkmalspyramide mit Schrittweiten von 8, 16 und 32 vorher. Ein Bild mit 640 Pixeln ergibt damit Karten mit 80 x 80, 40 x 40 und 20 x 20 Feldern. Große Objekte werden auf der groben Karte und kleine auf der feinen Karte erkannt.
So erzeugt VAR ein Bild#
Ein Transformer nach dem GPT-Prinzip erzeugt die Tokenkarten der Reihe nach. Eine blockweise kausale Attention-Maske ermöglicht es jedem Token, die eigene Skala und alle gröberen Skalen zu berücksichtigen:
Die Autoren trainierten Modelle mit bis zu 2 Milliarden Parametern und stellten Potenzgesetze für die Skalierung fest, ähnlich denen großer Sprachmodelle. Die linearen Korrelationskoeffizienten zwischen Modellgröße und Testverlust lagen bei ungefähr -0.998. Dasselbe Modell führt Bildinpainting, Outpainting und klassenbedingte Bearbeitungen ohne zusätzliche Beispiele durch. Dazu bleiben die Tokens außerhalb des bearbeiteten Bereichs auf ihren tatsächlichen Werten fixiert, während die übrigen abgetastet werden.
Nachfolger von VAR und verwandte Begriffe#
- Infinity: Der im Dezember 2024 von ByteDance veröffentlichte Nachfolger für Text-zu-Bild ersetzt das Codebuch mit 4.096 Einträgen durch bitweise Tokens eines Tokenizers mit praktisch unbegrenztem Wortschatz. Er erzeugt ein Bild mit 1024 x 1024 Pixeln in 0,8 Sekunden, also 2,6-mal schneller als Stable Diffusion 3 Medium, und erhöhte den GenEval-Wert von 0,62 bei SD3 Medium auf 0,73.
- Diffusionstransformer (DiT): Entrauschen kontinuierliche latente Repräsentationen über viele Schritte. Laut der VAR-Arbeit übertrifft VAR DiT bei Bildqualität, Inferenzgeschwindigkeit, Dateneffizienz und Skalierbarkeit.
- Diffusionsmodelle: Verfeinern bei jedem Schritt jedes Pixel oder jede latente Repräsentation des Bildes, ausgehend von gaußschem Rauschen.
- Maskierte generative Transformer: Googles MaskGIT sagt alle maskierten Tokens eines Rasters mit einer einzigen Auflösung parallel voraus und behält über etwa 8 bis 12 Durchläufe hinweg die zuverlässigsten bei.










