YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Visual Autoregressive Modeling (VAR)

Görsel otoregresif modelleme (VAR), her sonraki çözünürlükteki belirteç haritasını paralel olarak tahmin ederek görüntüleri kabadan inceye üretir. Belirteçleyiciyi ve ölçeklendirmeyi ele alır.

Görsel otoregresif modelleme (VAR), görüntüler için bir üretken yapay zekâ yöntemidir. Görüntüyü, okuma sırasına göre tek tek tahmin etmek yerine, tek bir 1 x 1 belirteçten tam ızgaraya kadar artan çözünürlükteki belirteç haritaları dizisi olarak tahmin eder. Her adım, tüm daha kaba ölçeklere koşullu olarak sonraki ölçeğin bütün belirteçlerini paralel biçimde üretir; bu nedenle 256 x 256 boyutunda bir görüntü 10 adımda oluşturulur. Peking Üniversitesi ve ByteDance'ten Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng ve Liwei Wang, VAR'ı Nisan 2024'te Görsel Otoregresif Modelleme: Sonraki Ölçek Tahminiyle Ölçeklenebilir Görüntü Üretimi başlıklı çalışmayla tanıttı; çalışma NeurIPS 2024 En İyi Makale Ödülü'nü kazandı. Sınıf koşullu ImageNet 256 x 256 görüntü üretiminde, otoregresif bir temel modelin Fréchet Inception Uzaklığı (FID) 18.65'ten 1.73'e, Inception Skoru ise 80.4'ten 350.2'ye yükselirken yaklaşık 20 kat daha hızlı çıkarım sağladı.

Neden Sonraki Ölçeği Tahmin Etmeli?#

VQGAN'daki transformer ve Google'ın Parti'si gibi daha önceki otoregresif görüntü üreticileri, görüntüyü ayrık belirteçlerden oluşan bir ızgaraya dönüştürür, satır satır düzleştirir ve bir GPT modelinin metin yazması gibi her seferinde bir belirteç tahmin eder. Bu sıralama görüntülere pek uymaz. Bir belirteç yalnızca üstündeki ve solundaki belirteçleri görebilir; oysa görüntü bölgeleri her yönde birbirine bağlıdır ve 16 x 16'lık bir ızgara 256 ardışık adım gerektirir. Sonraki ölçeği tahmin etmek, transformer modelinin eğitim hedefini ve nedensel sıralamasını korur, ancak tahmin birimini tek belirteçten tek bir çözünürlüğün tamamına dönüştürür: aynı ölçekteki belirteçler birbirini görür ve her ölçek, daha kaba tüm çözünürlüklerdeki görüntünün tamamını görür.

Çok Ölçekli Belirteçleyici#

VAR'ın belirteçleyicisi, gizil temsili çok ölçekli vektör nicelemesi ile sıkıştırılmış bir otomatik kodlayıcıdır. Kodlayıcısı, 256 x 256 boyutundaki bir görüntüyü 16 x 16'lık bir özellik haritasına dönüştürür ve bu harita, 1 x 1'den 16 x 16'ya uzanan 10 ölçekte, 4.096 girişli tek bir ortak kod kitabıyla niceleme işleminden geçirilir. Her ölçek yalnızca daha kaba ölçeklerin açıklayamadığı kısmı, yani artığı nicelediğinden, kaba haritalar genel renkleri ve düzeni taşırken sonraki haritalar daha ince ayrıntılar ekler. Aynı artık şeması, aşağıda rastgele kod kitabıyla küçültülmüş bir fotoğrafa da uygulanır:

import torch
import torch.nn.functional as F
from skimage import data

torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255  # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area")  # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1  # one shared codebook of 4,096 entries; residuals can be negative

# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16):  # VAR's ten token-map sizes for 256 x 256 images
    small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
    tokens = torch.cdist(small, codebook).argmin(dim=1)  # side x side discrete token map
    quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
    upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
    reconstruction, residual = reconstruction + upsampled, residual - upsampled
    print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")

Yeniden oluşturma hatası, tek 1 x 1 belirteçten sonra 0.06267'den, 10 ölçekte toplam 680 belirteç kullanılarak 16 x 16 haritadan sonra 0.00212'ye düşer. VAR, kodlayıcısını, kod çözücüsünü ve kod kitabını birlikte eğitir. Nesne tanıma için algılama modelleri de aynı tür piramit üzerine kurulur: Ultralytics YOLO26, nesneleri 8, 16 ve 32 adım aralıklarındaki özellik piramidi seviyelerinden tahmin eder. Böylece 640 piksel boyutundaki bir görüntü 80 x 80, 40 x 40 ve 20 x 20 haritalar üretir; büyük nesneler kaba haritada, küçüklerse ince haritada bulunur.

VAR Bir Görüntüyü Nasıl Üretir?#

GPT tarzı bir transformer, belirteç haritalarını sırayla üretir; blok tabanlı nedensel dikkat maskesi, her belirtecin kendi ölçeğine ve daha kaba tüm ölçeklere dikkat vermesini sağlar:

Yazarlar 2 milyar parametreye kadar modeller eğitti ve büyük dil modellerininkine benzer güç yasası ölçekleme yasaları buldu; model boyutu ile test kaybı arasındaki doğrusal korelasyon katsayıları -0.998'e yakındı. Aynı model, ek eğitim gerektirmeden, düzenlenen bölgenin dışındaki belirteçleri gerçek değerlerine sabitleyip geri kalanını örnekleyerek görüntü içi tamamlama, görüntü dışına genişletme ve sınıf koşullu düzenlemeyi sıfır örnekle gerçekleştirir.

  • Infinity: ByteDance'in Aralık 2024'te yayımladığı metinden görüntüye halefi, 4.096 girişli kod kitabını, fiilen sınırsız söz dağarcığına sahip bir belirteçleyiciden alınan bit düzeyindeki belirteçlerle değiştirir. 1024 x 1024 boyutunda bir görüntüyü 0,8 saniyede üretir; bu, Stable Diffusion 3 Medium'dan 2,6 kat daha hızlıdır. GenEval puanını da SD3 Medium'un 0,62 değerinden 0,73'e yükseltmiştir.
  • Difüzyon transformer'ları (DiT): Sürekli gizil temsillerde birçok adım boyunca gürültüyü giderir. VAR makalesi, görüntü kalitesi, çıkarım hızı, veri verimliliği ve ölçeklenebilirlik açısından DiT'yi geride bıraktığını bildirir.
  • Difüzyon modelleri: Gauss gürültüsünden başlayarak görüntünün her pikselini veya gizil temsilini her adımda iyileştirir.
  • Maskeli üretken transformer'lar: Google'ın MaskGIT'i, tek çözünürlüklü bir ızgaradaki maskelenmiş tüm belirteçleri paralel olarak tahmin eder ve yaklaşık 8 ila 12 yineleme boyunca güveni en yüksek olanları korur.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla