YOLO'yu lisansla
Ultralytics Sözlüğüne dön

VBench

VBench, yapay zekâ tarafından üretilen videoları özne tutarlılığından isteme bağlılığa kadar 16 boyutta puanlar. Her birinin neyi ölçtüğünü ve sonuçların nasıl yorumlanacağını incele.

VBench, metin-videoya üretimi için oluşturulmuş bir kıyaslama paketidir ve üretilen klipleri görsel kalite ile isteme bağlılığın 16 ayrı boyutunda puanlar. Nanyang Teknoloji Üniversitesi S-Lab ve Shanghai AI Laboratory araştırmacıları, Kasım 2023'te VBench: Video Üretim Modelleri için Kapsamlı Kıyaslama Paketi adlı makalede bu paketi tanıttı; makale CVPR 2024'te öne çıkan makale olarak seçildi. Herkese açık liderlik tablosu, özgün makaledeki LaVie, ModelScope, VideoCrafter ve CogVideo modellerinden sonraki difüzyon Transformer sistemlerine kadar video üretimi modellerini karşılaştırmak için yaygın bir başvuru noktası hâline geldi.

VBench'ten önce değerlendirmeler, Fréchet Başlangıç Mesafesi (FID)'nin videodaki karşılığı olan Fréchet Video Mesafesi gibi tekil dağılım metriklerine dayanıyordu. Bu metrikler gerçek ve üretilmiş kliplerin özellik istatistiklerini karşılaştırır; dolayısıyla tek bir sayı hareketi, kimliği ve istemi izlemeyi aynı anda temsil etmek zorundadır. VBench, geliştiricilerin bir modelin hangi yönlerde yetersiz kaldığını tam olarak görebilmesi için kaliteyi parçalara ayırır. Yazarları ayrıca her boyut için, farklı modellerin videolarını ikili olarak karşılaştıran insan tercihleri açıklamaları topladı ve her otomatik puanlamanın modelleri izleyiciler gibi sıraladığını doğruladı.

16 Boyut#

VBench değerlendirme boyutları iki gruba ayrılır:

  • Video kalitesi, istemi dikkate almadan klibi kendi özelliklerine göre değerlendirir: özne tutarlılığı, arka plan tutarlılığı, zamansal titreşim, hareket akıcılığı ve zaman içindeki kaliteyi ölçen dinamiklik derecesi; ayrıca her kare için estetik kalite ve görüntü kalitesi.
  • Video-istem tutarlılığı, klibi istemle karşılaştırır: içeriğe yönelik nesne sınıfı, birden çok nesne, insan eylemi, renk, uzamsal ilişki ve sahne; tarza yönelik görünüş stili ve zamansal stil; ayrıca genel tutarlılık.

Hareket derecesi, tutarlılık ölçütlerini dengeler. Neredeyse hareketsiz bir klip, özne tutarlılığı ve zamansal titreme ölçütlerinde neredeyse kendiliğinden iyi puan alır; bu nedenle VBench gerçekte ne kadar hareket olduğunu da ölçer. Bu boyutları birlikte değerlendirmek, modelin hareketli fotoğraflar üreterek kazanmasını önler.

Her Boyut Nasıl Puanlanır#

Her boyutun, genellikle örneklenen karelere uygulanan önceden eğitilmiş bir görme modeli olan kendi değerlendiricisi vardır. Özne tutarlılığı, kareler arasındaki DINO özelliklerini; yani öz gözetimli bir görüş Transformer'ını karşılaştırır. Arka plan tutarlılığında da CLIP görüntü özellikleri için aynı yöntem kullanılır. Zamansal titreşim, yalnızca RAFT optik akışı kullanılarak seçilen, neredeyse durağan kliplerde ölçülen ardışık kareler arasındaki ortalama mutlak piksel farkıdır; RAFT, dinamiklik derecesi için de hareketi tahmin eder. Hareket akıcılığı, doğal hareket komşu karelerden tahmin edilebildiğinden, bir kare enterpolasyonu modeli olan AMT'nin atlanan kareleri ne kadar iyi yeniden oluşturduğunu denetler. Estetik kalite LAION estetik tahminleyicisini, görüntü kalitesi ise bulanıklık, gürültü ve aşırı pozlamayı saptamak için MUSIQ modelini kullanır.

İçerik boyutları, kareler üzerinde başka modeller çalıştırır. Nesne sınıfı, birden çok nesne, renk ve uzamsal ilişki; istenen nesnelerin doğru renklerde ve düzenlemede göründüğünü doğrulamak için GRiT nesne algılama ve yoğun açıklama modelini kullanır. İnsan eylemi UMT eylem tanıma modelini kullanır; sahne, istemi Tag2Text'in oluşturduğu görüntü açıklamalarıyla karşılaştırır; görünüş stili, kareleri CLIP kullanarak stil açıklamasıyla karşılaştırır; zamansal stil ve genel tutarlılık ise ViCLIP'ten alınan video ve metin gömmelerini karşılaştırır.

Her boyut, o boyutu sınamak için yazılmış yaklaşık 100 istemden oluşan kendi istem paketinden yararlanır. Hayvan, mimari, yiyecek, insan, yaşam tarzı, bitki, manzara ve taşıtlar kategorilerinin her birinde 100 istemin bulunduğu ayrı bir 800 istemlik küme, sonuçların konuya göre ayrıştırılmasını sağlar. Liderlik tablosu her boyutu normalleştirir ve bunları ağırlıklı bir kalite puanında, ağırlıklı bir anlamsal puanda ve toplam puanda birleştirir.

VBench Sonuçlarını Kullanma#

Liderlik tablosundaki puanlar yalnızca modeller standart istem kümesinde aynı örnekleme ayarlarıyla çalıştırıldığında karşılaştırılabilir. VBench, bu kümenin dışındaki özel videoları da puanlayabilir; ancak yalnızca referans istem gerektirmeyen şu altı boyutta: özne tutarlılığı, arka plan tutarlılığı, hareket akıcılığı, dinamik düzey, estetik kalite ve görüntü kalitesi.

Her boyut başka bir model tarafından ölçüldüğünden, her puan o modelin kör noktalarını da taşır. Küçük veya alışılmadık nesneleri kaçıran bir algılayıcı, üretilen videodaki bu nesneleri de eksik sayar; estetik tahminleyici ise eğitildiği verilerin beğeni anlayışını yansıtır. Üreticiler görünüşe odaklanan ilk boyutlarda geliştikçe aynı ekip değerlendirme paketini genişletti. IEEE TPAMI'de yayımlanan VBench++, tarafsızlık, önyargı ve güvenliği kapsayan görüntüden videoya, uzun video ve güvenilirlik değerlendirmeleri ekler; Mart 2025'te yayımlanan VBench-2.0 ise insan benzerliği, kontrol edilebilirlik, yaratıcılık, fizik ve sağduyu başlıkları altında gruplandırılmış 18 "özsel sadakat" boyutunu puanlar.

Üretilen klipler bir görüntü modeline yönelik sentetik eğitim verisine dönüştüğünde, algılayıcı tabanlı kontroller de uygulanabilir. Her üretilen karede tahmin modunda Ultralytics YOLO26 çalıştırmak, görüntüler eğitim kümesine eklenmeden önce istenen nesnelerin gerçekten göründüğünü doğrular; VBench'in GRiT ile nesne sınıfı boyutunda yaptığı kontrol de aynıdır.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla