Visual Autoregressive Modeling (VAR)
Görsel otoregresif modelleme (VAR), her sonraki çözünürlükteki belirteç haritasını paralel olarak tahmin ederek görüntüleri kabadan inceye üretir. Belirteçleyiciyi ve ölçeklendirmeyi ele alır.
Görsel otoregresif modelleme (VAR), görüntüler için bir üretken yapay zekâ yöntemidir. Görüntüyü, okuma sırasına göre tek tek tahmin etmek yerine, tek bir 1 x 1 belirteçten tam ızgaraya kadar artan çözünürlükteki belirteç haritaları dizisi olarak tahmin eder. Her adım, tüm daha kaba ölçeklere koşullu olarak sonraki ölçeğin bütün belirteçlerini paralel biçimde üretir; bu nedenle 256 x 256 boyutunda bir görüntü 10 adımda oluşturulur. Peking Üniversitesi ve ByteDance'ten Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng ve Liwei Wang, VAR'ı Nisan 2024'te Görsel Otoregresif Modelleme: Sonraki Ölçek Tahminiyle Ölçeklenebilir Görüntü Üretimi başlıklı çalışmayla tanıttı; çalışma NeurIPS 2024 En İyi Makale Ödülü'nü kazandı. Sınıf koşullu ImageNet 256 x 256 görüntü üretiminde, otoregresif bir temel modelin Fréchet Inception Uzaklığı (FID) 18.65'ten 1.73'e, Inception Skoru ise 80.4'ten 350.2'ye yükselirken yaklaşık 20 kat daha hızlı çıkarım sağladı.
Neden Sonraki Ölçeği Tahmin Etmeli?#
VQGAN'daki transformer ve Google'ın Parti'si gibi daha önceki otoregresif görüntü üreticileri, görüntüyü ayrık belirteçlerden oluşan bir ızgaraya dönüştürür, satır satır düzleştirir ve bir GPT modelinin metin yazması gibi her seferinde bir belirteç tahmin eder. Bu sıralama görüntülere pek uymaz. Bir belirteç yalnızca üstündeki ve solundaki belirteçleri görebilir; oysa görüntü bölgeleri her yönde birbirine bağlıdır ve 16 x 16'lık bir ızgara 256 ardışık adım gerektirir. Sonraki ölçeği tahmin etmek, transformer modelinin eğitim hedefini ve nedensel sıralamasını korur, ancak tahmin birimini tek belirteçten tek bir çözünürlüğün tamamına dönüştürür: aynı ölçekteki belirteçler birbirini görür ve her ölçek, daha kaba tüm çözünürlüklerdeki görüntünün tamamını görür.
Çok Ölçekli Belirteçleyici#
VAR'ın belirteçleyicisi, gizil temsili çok ölçekli vektör nicelemesi ile sıkıştırılmış bir otomatik kodlayıcıdır. Kodlayıcısı, 256 x 256 boyutundaki bir görüntüyü 16 x 16'lık bir özellik haritasına dönüştürür ve bu harita, 1 x 1'den 16 x 16'ya uzanan 10 ölçekte, 4.096 girişli tek bir ortak kod kitabıyla niceleme işleminden geçirilir. Her ölçek yalnızca daha kaba ölçeklerin açıklayamadığı kısmı, yani artığı nicelediğinden, kaba haritalar genel renkleri ve düzeni taşırken sonraki haritalar daha ince ayrıntılar ekler. Aynı artık şeması, aşağıda rastgele kod kitabıyla küçültülmüş bir fotoğrafa da uygulanır:
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")Yeniden oluşturma hatası, tek 1 x 1 belirteçten sonra 0.06267'den, 10 ölçekte toplam 680 belirteç kullanılarak 16 x 16 haritadan sonra 0.00212'ye düşer. VAR, kodlayıcısını, kod çözücüsünü ve kod kitabını birlikte eğitir. Nesne tanıma için algılama modelleri de aynı tür piramit üzerine kurulur: Ultralytics YOLO26, nesneleri 8, 16 ve 32 adım aralıklarındaki özellik piramidi seviyelerinden tahmin eder. Böylece 640 piksel boyutundaki bir görüntü 80 x 80, 40 x 40 ve 20 x 20 haritalar üretir; büyük nesneler kaba haritada, küçüklerse ince haritada bulunur.
VAR Bir Görüntüyü Nasıl Üretir?#
GPT tarzı bir transformer, belirteç haritalarını sırayla üretir; blok tabanlı nedensel dikkat maskesi, her belirtecin kendi ölçeğine ve daha kaba tüm ölçeklere dikkat vermesini sağlar:
Yazarlar 2 milyar parametreye kadar modeller eğitti ve büyük dil modellerininkine benzer güç yasası ölçekleme yasaları buldu; model boyutu ile test kaybı arasındaki doğrusal korelasyon katsayıları -0.998'e yakındı. Aynı model, ek eğitim gerektirmeden, düzenlenen bölgenin dışındaki belirteçleri gerçek değerlerine sabitleyip geri kalanını örnekleyerek görüntü içi tamamlama, görüntü dışına genişletme ve sınıf koşullu düzenlemeyi sıfır örnekle gerçekleştirir.
VAR'ın Ardılları ve İlgili Terimler#
- Infinity: ByteDance'in Aralık 2024'te yayımladığı metinden görüntüye halefi, 4.096 girişli kod kitabını, fiilen sınırsız söz dağarcığına sahip bir belirteçleyiciden alınan bit düzeyindeki belirteçlerle değiştirir. 1024 x 1024 boyutunda bir görüntüyü 0,8 saniyede üretir; bu, Stable Diffusion 3 Medium'dan 2,6 kat daha hızlıdır. GenEval puanını da SD3 Medium'un 0,62 değerinden 0,73'e yükseltmiştir.
- Difüzyon transformer'ları (DiT): Sürekli gizil temsillerde birçok adım boyunca gürültüyü giderir. VAR makalesi, görüntü kalitesi, çıkarım hızı, veri verimliliği ve ölçeklenebilirlik açısından DiT'yi geride bıraktığını bildirir.
- Difüzyon modelleri: Gauss gürültüsünden başlayarak görüntünün her pikselini veya gizil temsilini her adımda iyileştirir.
- Maskeli üretken transformer'lar: Google'ın MaskGIT'i, tek çözünürlüklü bir ızgaradaki maskelenmiş tüm belirteçleri paralel olarak tahmin eder ve yaklaşık 8 ila 12 yineleme boyunca güveni en yüksek olanları korur.










