VBench
VBench, yapay zekâ tarafından üretilen videoları özne tutarlılığından isteme bağlılığa kadar 16 boyutta puanlar. Her birinin neyi ölçtüğünü ve sonuçların nasıl yorumlanacağını incele.
VBench, metin-videoya üretimi için oluşturulmuş bir kıyaslama paketidir ve üretilen klipleri görsel kalite ile isteme bağlılığın 16 ayrı boyutunda puanlar. Nanyang Teknoloji Üniversitesi S-Lab ve Shanghai AI Laboratory araştırmacıları, Kasım 2023'te VBench: Video Üretim Modelleri için Kapsamlı Kıyaslama Paketi adlı makalede bu paketi tanıttı; makale CVPR 2024'te öne çıkan makale olarak seçildi. Herkese açık liderlik tablosu, özgün makaledeki LaVie, ModelScope, VideoCrafter ve CogVideo modellerinden sonraki difüzyon Transformer sistemlerine kadar video üretimi modellerini karşılaştırmak için yaygın bir başvuru noktası hâline geldi.
VBench'ten önce değerlendirmeler, Fréchet Başlangıç Mesafesi (FID)'nin videodaki karşılığı olan Fréchet Video Mesafesi gibi tekil dağılım metriklerine dayanıyordu. Bu metrikler gerçek ve üretilmiş kliplerin özellik istatistiklerini karşılaştırır; dolayısıyla tek bir sayı hareketi, kimliği ve istemi izlemeyi aynı anda temsil etmek zorundadır. VBench, geliştiricilerin bir modelin hangi yönlerde yetersiz kaldığını tam olarak görebilmesi için kaliteyi parçalara ayırır. Yazarları ayrıca her boyut için, farklı modellerin videolarını ikili olarak karşılaştıran insan tercihleri açıklamaları topladı ve her otomatik puanlamanın modelleri izleyiciler gibi sıraladığını doğruladı.
16 Boyut#
VBench değerlendirme boyutları iki gruba ayrılır:
- Video kalitesi, istemi dikkate almadan klibi kendi özelliklerine göre değerlendirir: özne tutarlılığı, arka plan tutarlılığı, zamansal titreşim, hareket akıcılığı ve zaman içindeki kaliteyi ölçen dinamiklik derecesi; ayrıca her kare için estetik kalite ve görüntü kalitesi.
- Video-istem tutarlılığı, klibi istemle karşılaştırır: içeriğe yönelik nesne sınıfı, birden çok nesne, insan eylemi, renk, uzamsal ilişki ve sahne; tarza yönelik görünüş stili ve zamansal stil; ayrıca genel tutarlılık.
Hareket derecesi, tutarlılık ölçütlerini dengeler. Neredeyse hareketsiz bir klip, özne tutarlılığı ve zamansal titreme ölçütlerinde neredeyse kendiliğinden iyi puan alır; bu nedenle VBench gerçekte ne kadar hareket olduğunu da ölçer. Bu boyutları birlikte değerlendirmek, modelin hareketli fotoğraflar üreterek kazanmasını önler.
Her Boyut Nasıl Puanlanır#
Her boyutun, genellikle örneklenen karelere uygulanan önceden eğitilmiş bir görme modeli olan kendi değerlendiricisi vardır. Özne tutarlılığı, kareler arasındaki DINO özelliklerini; yani öz gözetimli bir görüş Transformer'ını karşılaştırır. Arka plan tutarlılığında da CLIP görüntü özellikleri için aynı yöntem kullanılır. Zamansal titreşim, yalnızca RAFT optik akışı kullanılarak seçilen, neredeyse durağan kliplerde ölçülen ardışık kareler arasındaki ortalama mutlak piksel farkıdır; RAFT, dinamiklik derecesi için de hareketi tahmin eder. Hareket akıcılığı, doğal hareket komşu karelerden tahmin edilebildiğinden, bir kare enterpolasyonu modeli olan AMT'nin atlanan kareleri ne kadar iyi yeniden oluşturduğunu denetler. Estetik kalite LAION estetik tahminleyicisini, görüntü kalitesi ise bulanıklık, gürültü ve aşırı pozlamayı saptamak için MUSIQ modelini kullanır.
İçerik boyutları, kareler üzerinde başka modeller çalıştırır. Nesne sınıfı, birden çok nesne, renk ve uzamsal ilişki; istenen nesnelerin doğru renklerde ve düzenlemede göründüğünü doğrulamak için GRiT nesne algılama ve yoğun açıklama modelini kullanır. İnsan eylemi UMT eylem tanıma modelini kullanır; sahne, istemi Tag2Text'in oluşturduğu görüntü açıklamalarıyla karşılaştırır; görünüş stili, kareleri CLIP kullanarak stil açıklamasıyla karşılaştırır; zamansal stil ve genel tutarlılık ise ViCLIP'ten alınan video ve metin gömmelerini karşılaştırır.
Her boyut, o boyutu sınamak için yazılmış yaklaşık 100 istemden oluşan kendi istem paketinden yararlanır. Hayvan, mimari, yiyecek, insan, yaşam tarzı, bitki, manzara ve taşıtlar kategorilerinin her birinde 100 istemin bulunduğu ayrı bir 800 istemlik küme, sonuçların konuya göre ayrıştırılmasını sağlar. Liderlik tablosu her boyutu normalleştirir ve bunları ağırlıklı bir kalite puanında, ağırlıklı bir anlamsal puanda ve toplam puanda birleştirir.
VBench Sonuçlarını Kullanma#
Liderlik tablosundaki puanlar yalnızca modeller standart istem kümesinde aynı örnekleme ayarlarıyla çalıştırıldığında karşılaştırılabilir. VBench, bu kümenin dışındaki özel videoları da puanlayabilir; ancak yalnızca referans istem gerektirmeyen şu altı boyutta: özne tutarlılığı, arka plan tutarlılığı, hareket akıcılığı, dinamik düzey, estetik kalite ve görüntü kalitesi.
Her boyut başka bir model tarafından ölçüldüğünden, her puan o modelin kör noktalarını da taşır. Küçük veya alışılmadık nesneleri kaçıran bir algılayıcı, üretilen videodaki bu nesneleri de eksik sayar; estetik tahminleyici ise eğitildiği verilerin beğeni anlayışını yansıtır. Üreticiler görünüşe odaklanan ilk boyutlarda geliştikçe aynı ekip değerlendirme paketini genişletti. IEEE TPAMI'de yayımlanan VBench++, tarafsızlık, önyargı ve güvenliği kapsayan görüntüden videoya, uzun video ve güvenilirlik değerlendirmeleri ekler; Mart 2025'te yayımlanan VBench-2.0 ise insan benzerliği, kontrol edilebilirlik, yaratıcılık, fizik ve sağduyu başlıkları altında gruplandırılmış 18 "özsel sadakat" boyutunu puanlar.
Üretilen klipler bir görüntü modeline yönelik sentetik eğitim verisine dönüştüğünde, algılayıcı tabanlı kontroller de uygulanabilir. Her üretilen karede tahmin modunda Ultralytics YOLO26 çalıştırmak, görüntüler eğitim kümesine eklenmeden önce istenen nesnelerin gerçekten göründüğünü doğrular; VBench'in GRiT ile nesne sınıfı boyutunda yaptığı kontrol de aynıdır.










