YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Visual Autoregressive Modeling (VAR)

Visuelle autoregressive Modellierung (VAR) erzeugt Bilder von grob nach fein, indem sie parallel die Tokenkarten der jeweils nächsten Auflösung vorhersagt. Behandelt werden Tokenizer und Skalierung.

Visual Autoregressive Modeling (VAR) ist ein Verfahren der generativen KI für Bilder. Dabei wird ein Bild als Folge von Tokenkarten mit zunehmender Auflösung vorhergesagt – von einem einzelnen 1 x 1-Token bis zum vollständigen Raster –, anstatt die Tokens einzeln in Leserichtung vorherzusagen. Bei jedem Schritt werden alle Tokens der nächsten Skala parallel generiert, abhängig von sämtlichen gröberen Skalen. Ein Bild mit 256 x 256 Pixeln benötigt daher 10 Schritte. Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng und Liwei Wang von der Peking-Universität und ByteDance stellten VAR im April 2024 in Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction vor. Die Arbeit gewann den Preis für den besten Beitrag bei NeurIPS 2024. Bei der klassenbedingten Erzeugung von Bildern mit 256 x 256 Pixeln aus ImageNet verbesserte das Verfahren die Fréchet-Inception-Distanz (FID) einer autoregressiven Baseline von 18.65 auf 1.73 und ihren Inception Score von 80.4 auf 350.2 – bei ungefähr 20-mal schnellerer Inferenz.

Warum die nächste Skala vorhersagen?#

Frühere autoregressive Bildgeneratoren, etwa der Transformer in VQGAN und Googles Parti, wandeln ein Bild in ein Raster diskreter Tokens um, ordnen es zeilenweise an und sagen jeweils ein Token voraus – ähnlich wie ein GPT-Modell Text schreibt. Diese Reihenfolge eignet sich schlecht für Bilder. Ein Token kann nur die Tokens oberhalb und links davon berücksichtigen, obwohl Bildbereiche in alle Richtungen voneinander abhängen. Außerdem erfordert ein Raster mit 16 x 16 Feldern 256 aufeinanderfolgende Schritte. Die Vorhersage der nächsten Skala behält das Trainingsziel des Transformers und dessen kausale Reihenfolge bei, ändert aber die Vorhersageeinheit von einem einzelnen Token zu einer vollständigen Auflösung: Tokens innerhalb einer Skala berücksichtigen einander, und jede Skala berücksichtigt das vollständige Bild auf allen gröberen Auflösungen.

Der Tokenizer mit mehreren Skalen#

Der Tokenizer von VAR ist ein Autoencoder, dessen latente Repräsentation mithilfe einer Vektorquantisierung mit mehreren Skalen komprimiert wird. Sein Encoder wandelt ein Bild mit 256 x 256 Pixeln in eine Merkmalskarte mit 16 x 16 Feldern um. Diese wird auf 10 Skalen von 1 x 1 bis 16 x 16 quantisiert, wobei ein gemeinsames Codebuch mit 4,096 Einträgen verwendet wird. Jede Skala quantisiert nur, was die gröberen Skalen nicht erklären konnten – den Rest. Daher enthalten die groben Karten die Gesamtfarbe und den Bildaufbau, während die späteren Karten feinere Details ergänzen. Dasselbe Restverfahren kommt unten bei einem herunterskalierten Foto mit einem zufälligen Codebuch zum Einsatz:

import torch
import torch.nn.functional as F
from skimage import data

torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255  # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area")  # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1  # one shared codebook of 4,096 entries; residuals can be negative

# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16):  # VAR's ten token-map sizes for 256 x 256 images
    small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
    tokens = torch.cdist(small, codebook).argmin(dim=1)  # side x side discrete token map
    quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
    upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
    reconstruction, residual = reconstruction + upsampled, residual - upsampled
    print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")

Der Rekonstruktionsfehler sinkt vom Wert 0.06267 nach dem einzelnen 1 x 1-Token auf 0.00212 nach der 16 x 16-Karte. Über die zehn Skalen hinweg werden 680 Tokens verwendet. VAR trainiert Encoder, Decoder und Codebuch gemeinsam. Erkennungsmodelle verwenden für die Objekterkennung dieselbe Art von Pyramide: Ultralytics YOLO26 sagt Objekte auf Ebenen einer Merkmalspyramide mit Schrittweiten von 8, 16 und 32 vorher. Ein Bild mit 640 Pixeln ergibt damit Karten mit 80 x 80, 40 x 40 und 20 x 20 Feldern. Große Objekte werden auf der groben Karte und kleine auf der feinen Karte erkannt.

So erzeugt VAR ein Bild#

Ein Transformer nach dem GPT-Prinzip erzeugt die Tokenkarten der Reihe nach. Eine blockweise kausale Attention-Maske ermöglicht es jedem Token, die eigene Skala und alle gröberen Skalen zu berücksichtigen:

Die Autoren trainierten Modelle mit bis zu 2 Milliarden Parametern und stellten Potenzgesetze für die Skalierung fest, ähnlich denen großer Sprachmodelle. Die linearen Korrelationskoeffizienten zwischen Modellgröße und Testverlust lagen bei ungefähr -0.998. Dasselbe Modell führt Bildinpainting, Outpainting und klassenbedingte Bearbeitungen ohne zusätzliche Beispiele durch. Dazu bleiben die Tokens außerhalb des bearbeiteten Bereichs auf ihren tatsächlichen Werten fixiert, während die übrigen abgetastet werden.

  • Infinity: Der im Dezember 2024 von ByteDance veröffentlichte Nachfolger für Text-zu-Bild ersetzt das Codebuch mit 4.096 Einträgen durch bitweise Tokens eines Tokenizers mit praktisch unbegrenztem Wortschatz. Er erzeugt ein Bild mit 1024 x 1024 Pixeln in 0,8 Sekunden, also 2,6-mal schneller als Stable Diffusion 3 Medium, und erhöhte den GenEval-Wert von 0,62 bei SD3 Medium auf 0,73.
  • Diffusionstransformer (DiT): Entrauschen kontinuierliche latente Repräsentationen über viele Schritte. Laut der VAR-Arbeit übertrifft VAR DiT bei Bildqualität, Inferenzgeschwindigkeit, Dateneffizienz und Skalierbarkeit.
  • Diffusionsmodelle: Verfeinern bei jedem Schritt jedes Pixel oder jede latente Repräsentation des Bildes, ausgehend von gaußschem Rauschen.
  • Maskierte generative Transformer: Googles MaskGIT sagt alle maskierten Tokens eines Rasters mit einer einzigen Auflösung parallel voraus und behält über etwa 8 bis 12 Durchläufe hinweg die zuverlässigsten bei.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens