VBench
VBench évalue les vidéos générées par IA selon 16 dimensions, de la cohérence du sujet à la fidélité à l’invite. Ce que mesure chaque dimension et comment interpréter les résultats.
VBench est une suite de benchmarks pour la génération de vidéo à partir de texte, qui évalue les clips générés selon 16 dimensions distinctes de qualité visuelle et de fidélité au prompt. Des chercheurs du S-Lab de la Nanyang Technological University et du Shanghai AI Laboratory l’ont présentée en novembre 2023 dans l’article VBench: Comprehensive Benchmark Suite for Video Generative Models, sélectionné comme article phare à CVPR 2024. Depuis, son classement public est devenu une référence courante pour comparer les modèles de génération vidéo, des modèles LaVie, ModelScope, VideoCrafter et CogVideo de l’article original aux systèmes ultérieurs de Transformer de diffusion.
Avant VBench, l’évaluation s’appuyait sur des métriques de distribution uniques, comme la distance de Fréchet entre vidéos, équivalent vidéo de la distance de Fréchet entre activations d’Inception (FID). Ces métriques comparent les statistiques de caractéristiques des clips réels et générés ; un seul chiffre doit donc représenter à la fois le mouvement, l’identité et le respect du prompt. VBench décompose la qualité en plusieurs aspects afin que les développeurs puissent voir précisément où un modèle présente des lacunes. Ses auteurs ont recueilli des annotations de préférences humaines pour chaque dimension, en comparant des paires de vidéos issues de différents modèles, afin de confirmer que chaque score automatique classe les modèles comme le font les spectateurs.
Les 16 dimensions#
Les dimensions d’évaluation de VBench se répartissent en deux groupes :
- Qualité vidéo : évalue le clip en lui-même, sans tenir compte du prompt : cohérence du sujet, cohérence de l’arrière-plan, scintillement temporel, fluidité du mouvement et degré de dynamisme pour la qualité au fil du temps, ainsi que qualité esthétique et qualité d’image pour chaque image.
- Cohérence de la vidéo avec la condition : compare le clip au prompt. Pour le contenu : classe d’objet, objets multiples, action humaine, couleur, relation spatiale et scène. Pour le style : style d’apparence et style temporel. Elle évalue également la cohérence globale.
Le degré de dynamisme équilibre les métriques de cohérence. Un clip presque statique obtient presque automatiquement de bons résultats en cohérence du sujet et en scintillement temporel. VBench mesure donc aussi l’importance réelle du mouvement. L’examen conjoint de ces dimensions empêche un modèle de gagner en générant des photos animées.
Comment chaque dimension est évaluée#
Chaque dimension possède son propre évaluateur, généralement un modèle de vision préentraîné appliqué à des images échantillonnées. La cohérence du sujet compare entre les images les caractéristiques de DINO, un Transformer de vision auto-supervisé, tandis que la cohérence de l’arrière-plan fait de même avec les caractéristiques d’image de CLIP. Le scintillement temporel correspond à la différence absolue moyenne entre les pixels d’images consécutives ; elle est mesurée uniquement sur des clips quasi statiques sélectionnés à l’aide du flux optique RAFT, qui estime également le mouvement pour le degré de dynamisme. La fluidité du mouvement mesure la capacité d’un modèle d’interpolation d’images, AMT, à reconstruire des images supprimées, puisque le mouvement naturel est prévisible à partir des images voisines. La qualité esthétique utilise le prédicteur esthétique LAION, et la qualité d’image utilise le modèle MUSIQ pour détecter le flou, le bruit et la surexposition.
Les dimensions de contenu font appel à d’autres modèles appliqués aux images. La classe d’objet, les objets multiples, la couleur et la relation spatiale utilisent le modèle GRiT de détection d’objets et de légendage dense pour vérifier que les objets demandés apparaissent avec les bonnes couleurs et dans la bonne disposition. L’action humaine utilise le modèle UMT de reconnaissance d’actions, tandis que la scène compare le prompt aux légendes d’images de Tag2Text. Le style d’apparence compare les images à la description du style avec CLIP, et le style temporel ainsi que la cohérence globale comparent les plongements vidéo et texte de ViCLIP.
Chaque dimension s’appuie sur une série d’environ 100 prompts conçus pour l’évaluer. Une série distincte de 800 prompts, soit 100 dans chacune de huit catégories (animaux, architecture, alimentation, êtres humains, mode de vie, plantes, paysages et véhicules), permet de ventiler les résultats par sujet. Le classement normalise chaque dimension et les combine en un score pondéré de qualité, un score sémantique pondéré et un score total.
Utiliser les résultats de VBench#
Les scores du classement ne sont comparables que si les modèles sont exécutés sur l’ensemble standard de requêtes avec les mêmes paramètres d’échantillonnage. VBench peut aussi évaluer des vidéos personnalisées en dehors de cet ensemble, mais uniquement selon les six dimensions qui ne nécessitent aucune requête de référence : cohérence du sujet, cohérence de l’arrière-plan, fluidité du mouvement, degré de dynamisme, qualité esthétique et qualité de l’image.
Comme chaque dimension est mesurée par un autre modèle, chaque score hérite des angles morts de ce modèle. Un détecteur qui ne repère pas les petits objets ou les objets inhabituels les sous-évalue aussi dans les vidéos générées, et un prédicteur esthétique reflète les goûts des données sur lesquelles il a été entraîné. À mesure que les générateurs se sont améliorés sur les dimensions initiales axées sur l’apparence, la même équipe a étendu l’ensemble. VBench++, publié dans IEEE TPAMI, ajoute l’évaluation de la génération vidéo à partir d’images, des vidéos longues et de la fiabilité, notamment l’évaluation de l’équité, des biais et de la sécurité, et VBench-2.0, publié en mars 2025, évalue 18 dimensions de la « fidélité intrinsèque », regroupées en fidélité humaine, contrôlabilité, créativité, physique et bon sens.
Les vérifications fondées sur un détecteur restent pertinentes lorsque des séquences générées deviennent des données d’entraînement synthétiques pour un modèle de vision. Exécuter Ultralytics YOLO26 en mode prédiction sur chaque image générée confirme que les objets demandés sont bien présents avant que la séquence rejoigne un jeu de données d’entraînement ; c’est la même vérification que celle effectuée par la dimension de classe d’objet de VBench avec GRiT.










