VBench
VBench bewertet KI-generierte Videos anhand von 16 Dimensionen, von der Konsistenz der Motive bis zur Übereinstimmung mit dem Prompt. Was die einzelnen Dimensionen messen und wie du die Ergebnisse interpretierst.
VBench ist eine Benchmark-Sammlung für die Text-zu-Video-Generierung. Sie bewertet generierte Clips anhand von 16 verschiedenen Dimensionen der visuellen Qualität und der Übereinstimmung mit dem Prompt. Forschende des S-Lab der Nanyang Technological University und des Shanghai AI Laboratory stellten sie im November 2023 im Artikel VBench: Comprehensive Benchmark Suite for Video Generative Models vor, der bei CVPR 2024 als Highlight Paper ausgewählt wurde. Die öffentliche Rangliste ist inzwischen ein gängiger Bezugspunkt für den Vergleich von Modellen zur Videogenerierung: von LaVie, ModelScope, VideoCrafter und CogVideo aus dem ursprünglichen Artikel bis zu späteren Diffusion-Transformer-Systemen.
Vor VBench stützte sich die Bewertung vor allem auf einzelne Verteilungsmetriken wie die Fréchet Video Distance, das Video-Gegenstück zur Fréchet Inception Distance (FID). Diese Metriken vergleichen Merkmalsstatistiken echter und generierter Clips. Damit soll eine einzige Zahl zugleich Bewegung, Identität und Befolgung des Prompts abbilden. VBench unterteilt die Qualität in einzelne Bereiche, damit Entwickler genau erkennen, wo ein Modell Schwächen hat. Die Autoren erfassten außerdem für jede Dimension menschliche Präferenzbewertungen, indem sie Videopaare verschiedener Modelle verglichen. So prüften sie, ob jede automatische Bewertung die Modelle so einstuft wie die Betrachtenden.
Die 16 Dimensionen#
Die Bewertungsdimensionen von VBench gliedern sich in zwei Gruppen:
- Videoqualität bewertet den Clip unabhängig vom Prompt: Dazu zählen Motivkonsistenz, Hintergrundkonsistenz, zeitliches Flimmern, gleichmäßige Bewegung und Bewegungsintensität für die Qualität über die Zeit sowie ästhetische Qualität und Bildqualität für jedes einzelne Frame.
- Übereinstimmung des Videos mit den Vorgaben vergleicht den Clip mit seinem Prompt: Inhaltlich werden Objektklasse, mehrere Objekte, menschliche Handlung, Farbe, räumliche Beziehung und Szene geprüft. Für den Stil werden Erscheinungsbild und zeitlicher Stil sowie die allgemeine Konsistenz bewertet.
Der Bewegungsumfang ergänzt die Konsistenzmetriken. Ein fast statischer Clip erzielt bei der Motivkonsistenz und beim zeitlichen Flimmern beinahe automatisch gute Werte. Deshalb misst VBench auch, wie viel Bewegung tatsächlich stattfindet. Werden diese Dimensionen gemeinsam betrachtet, lässt sich verhindern, dass ein Modell mit bewegten Fotos gewinnt.
Bewertung der einzelnen Dimensionen#
Für jede Dimension gibt es ein eigenes Bewertungsmodell, meist ein vortrainiertes Vision-Modell, das auf Stichproben von Frames angewendet wird. Zur Bewertung der Motivkonsistenz werden DINO-Merkmale, also die Merkmale eines selbstüberwacht trainierten Vision Transformers, über die Frames hinweg verglichen. Die Hintergrundkonsistenz wird ebenso anhand von CLIP-Bildmerkmalen bewertet. Das zeitliche Flimmern entspricht dem mittleren absoluten Pixelunterschied zwischen aufeinanderfolgenden Frames. Gemessen wird es nur bei nahezu statischen Clips, die mithilfe des RAFT-optischen Flusses ausgewählt werden. RAFT schätzt auch die Bewegungsintensität. Bei der Bewegungsstetigkeit wird geprüft, wie gut das Frame-Interpolations-Modell AMT ausgelassene Frames rekonstruiert, denn natürliche Bewegungen lassen sich aus den benachbarten Frames vorhersagen. Für die ästhetische Qualität kommt der LAION-Ästhetikprädiktor zum Einsatz. Die Bildqualität wird mit dem MUSIQ-Modell auf Unschärfe, Rauschen und Überbelichtung geprüft.
Bei den inhaltlichen Dimensionen werden weitere Modelle auf die Frames angewendet. Die Objektklasse, mehrere Objekte, Farbe und räumliche Beziehung werden mithilfe des GRiT-Modells für Objekterkennung und dichte Bildbeschreibung geprüft. So wird bestätigt, dass die angeforderten Objekte in den richtigen Farben und Anordnungen vorkommen. Für menschliche Handlungen kommt das UMT-Modell zur Aktionserkennung zum Einsatz. Bei Szenen wird der Prompt mit Bildbeschreibungen von Tag2Text verglichen. Der Erscheinungsstil wird anhand von CLIP mit der Stilbeschreibung abgeglichen. Für den zeitlichen Stil und die allgemeine Konsistenz werden Video- und Text-Embeddings von ViCLIP verglichen.
Jede Dimension stützt sich auf eine Prompt-Sammlung mit etwa 100 eigens dafür verfassten Prompts. Eine separate Sammlung mit 800 Prompts – je 100 aus acht Kategorien (Tiere, Architektur, Essen, Menschen, Lifestyle, Pflanzen, Landschaften und Fahrzeuge) – ermöglicht die Aufschlüsselung der Ergebnisse nach Motivbereichen. Die Rangliste normalisiert jede Dimension und fasst die Werte zu einer gewichteten Qualitätsbewertung, einer gewichteten semantischen Bewertung und einer Gesamtbewertung zusammen.
VBench-Ergebnisse nutzen#
Leaderboard-Ergebnisse sind nur dann vergleichbar, wenn Modelle mit derselben Stichprobeneinstellung auf der standardisierten Prompt-Suite ausgeführt werden. VBench kann auch benutzerdefinierte Videos außerhalb dieser Suite bewerten, allerdings nur anhand der sechs Dimensionen, für die kein Referenz-Prompt erforderlich ist: Konsistenz des Motivs, Konsistenz des Hintergrunds, Bewegungsglätte, Bewegungsdynamik, ästhetische Qualität und Bildqualität.
Da jede Dimension von einem anderen Modell gemessen wird, übernimmt jeder Score die blinden Flecken dieses Modells. Ein Detektor, der kleine oder ungewöhnliche Objekte übersieht, zählt auch in generierten Videos zu wenige davon, und ein Ästhetik-Prädiktor spiegelt den Geschmack der Daten wider, mit denen er trainiert wurde. Als sich Generatoren bei den ursprünglichen, auf das Erscheinungsbild ausgerichteten Dimensionen verbesserten, erweiterte dieselbe Gruppe die Suite. VBench++, veröffentlicht in IEEE TPAMI, ergänzt die Bewertung von Bild-zu-Video, langen Videos und Vertrauenswürdigkeit, einschließlich Fairness, Verzerrungen und Sicherheit, und VBench-2.0, veröffentlicht im März 2025, bewertet 18 Dimensionen der „intrinsischen Aufrichtigkeit“, gruppiert in menschliche Wiedergabetreue, Steuerbarkeit, Kreativität, Physik und Alltagswissen.
Die detektorbasierten Prüfungen lassen sich auch anwenden, wenn generierte Clips zu synthetischen Trainingsdaten für ein Bildverarbeitungsmodell werden. Wenn du Ultralytics YOLO26 im Vorhersagemodus auf jedes generierte Bild anwendest, kannst du bestätigen, dass die angeforderten Objekte tatsächlich vorkommen, bevor das Material in einen Trainingsdatensatz aufgenommen wird – dieselbe Prüfung, die VBench mit seiner Dimension „Objektklasse“ und GRiT durchführt.










