Licence YOLO
Retour au glossaire Ultralytics

VBench

VBench évalue les vidéos générées par IA selon 16 dimensions, de la cohérence du sujet à la fidélité à l’invite. Ce que mesure chaque dimension et comment interpréter les résultats.

VBench est une suite de benchmarks pour la génération de vidéo à partir de texte, qui évalue les clips générés selon 16 dimensions distinctes de qualité visuelle et de fidélité au prompt. Des chercheurs du S-Lab de la Nanyang Technological University et du Shanghai AI Laboratory l’ont présentée en novembre 2023 dans l’article VBench: Comprehensive Benchmark Suite for Video Generative Models, sélectionné comme article phare à CVPR 2024. Depuis, son classement public est devenu une référence courante pour comparer les modèles de génération vidéo, des modèles LaVie, ModelScope, VideoCrafter et CogVideo de l’article original aux systèmes ultérieurs de Transformer de diffusion.

Avant VBench, l’évaluation s’appuyait sur des métriques de distribution uniques, comme la distance de Fréchet entre vidéos, équivalent vidéo de la distance de Fréchet entre activations d’Inception (FID). Ces métriques comparent les statistiques de caractéristiques des clips réels et générés ; un seul chiffre doit donc représenter à la fois le mouvement, l’identité et le respect du prompt. VBench décompose la qualité en plusieurs aspects afin que les développeurs puissent voir précisément où un modèle présente des lacunes. Ses auteurs ont recueilli des annotations de préférences humaines pour chaque dimension, en comparant des paires de vidéos issues de différents modèles, afin de confirmer que chaque score automatique classe les modèles comme le font les spectateurs.

Les 16 dimensions#

Les dimensions d’évaluation de VBench se répartissent en deux groupes :

  • Qualité vidéo : évalue le clip en lui-même, sans tenir compte du prompt : cohérence du sujet, cohérence de l’arrière-plan, scintillement temporel, fluidité du mouvement et degré de dynamisme pour la qualité au fil du temps, ainsi que qualité esthétique et qualité d’image pour chaque image.
  • Cohérence de la vidéo avec la condition : compare le clip au prompt. Pour le contenu : classe d’objet, objets multiples, action humaine, couleur, relation spatiale et scène. Pour le style : style d’apparence et style temporel. Elle évalue également la cohérence globale.

Le degré de dynamisme équilibre les métriques de cohérence. Un clip presque statique obtient presque automatiquement de bons résultats en cohérence du sujet et en scintillement temporel. VBench mesure donc aussi l’importance réelle du mouvement. L’examen conjoint de ces dimensions empêche un modèle de gagner en générant des photos animées.

Comment chaque dimension est évaluée#

Chaque dimension possède son propre évaluateur, généralement un modèle de vision préentraîné appliqué à des images échantillonnées. La cohérence du sujet compare entre les images les caractéristiques de DINO, un Transformer de vision auto-supervisé, tandis que la cohérence de l’arrière-plan fait de même avec les caractéristiques d’image de CLIP. Le scintillement temporel correspond à la différence absolue moyenne entre les pixels d’images consécutives ; elle est mesurée uniquement sur des clips quasi statiques sélectionnés à l’aide du flux optique RAFT, qui estime également le mouvement pour le degré de dynamisme. La fluidité du mouvement mesure la capacité d’un modèle d’interpolation d’images, AMT, à reconstruire des images supprimées, puisque le mouvement naturel est prévisible à partir des images voisines. La qualité esthétique utilise le prédicteur esthétique LAION, et la qualité d’image utilise le modèle MUSIQ pour détecter le flou, le bruit et la surexposition.

Les dimensions de contenu font appel à d’autres modèles appliqués aux images. La classe d’objet, les objets multiples, la couleur et la relation spatiale utilisent le modèle GRiT de détection d’objets et de légendage dense pour vérifier que les objets demandés apparaissent avec les bonnes couleurs et dans la bonne disposition. L’action humaine utilise le modèle UMT de reconnaissance d’actions, tandis que la scène compare le prompt aux légendes d’images de Tag2Text. Le style d’apparence compare les images à la description du style avec CLIP, et le style temporel ainsi que la cohérence globale comparent les plongements vidéo et texte de ViCLIP.

Chaque dimension s’appuie sur une série d’environ 100 prompts conçus pour l’évaluer. Une série distincte de 800 prompts, soit 100 dans chacune de huit catégories (animaux, architecture, alimentation, êtres humains, mode de vie, plantes, paysages et véhicules), permet de ventiler les résultats par sujet. Le classement normalise chaque dimension et les combine en un score pondéré de qualité, un score sémantique pondéré et un score total.

Utiliser les résultats de VBench#

Les scores du classement ne sont comparables que si les modèles sont exécutés sur l’ensemble standard de requêtes avec les mêmes paramètres d’échantillonnage. VBench peut aussi évaluer des vidéos personnalisées en dehors de cet ensemble, mais uniquement selon les six dimensions qui ne nécessitent aucune requête de référence : cohérence du sujet, cohérence de l’arrière-plan, fluidité du mouvement, degré de dynamisme, qualité esthétique et qualité de l’image.

Comme chaque dimension est mesurée par un autre modèle, chaque score hérite des angles morts de ce modèle. Un détecteur qui ne repère pas les petits objets ou les objets inhabituels les sous-évalue aussi dans les vidéos générées, et un prédicteur esthétique reflète les goûts des données sur lesquelles il a été entraîné. À mesure que les générateurs se sont améliorés sur les dimensions initiales axées sur l’apparence, la même équipe a étendu l’ensemble. VBench++, publié dans IEEE TPAMI, ajoute l’évaluation de la génération vidéo à partir d’images, des vidéos longues et de la fiabilité, notamment l’évaluation de l’équité, des biais et de la sécurité, et VBench-2.0, publié en mars 2025, évalue 18 dimensions de la « fidélité intrinsèque », regroupées en fidélité humaine, contrôlabilité, créativité, physique et bon sens.

Les vérifications fondées sur un détecteur restent pertinentes lorsque des séquences générées deviennent des données d’entraînement synthétiques pour un modèle de vision. Exécuter Ultralytics YOLO26 en mode prédiction sur chaque image générée confirme que les objets demandés sont bien présents avant que la séquence rejoigne un jeu de données d’entraînement ; c’est la même vérification que celle effectuée par la dimension de classe d’objet de VBench avec GRiT.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique