VBench

VBench est une suite de benchmarks destinée à évaluer les vidéos générées par l’IA selon plusieurs dimensions de qualité et d’adéquation aux instructions des utilisateurs. Au lieu de demander uniquement si un clip « est réussi », VBench examine si les sujets restent cohérents, si les mouvements sont fluides et si la vidéo représente le contenu demandé. Cet outil est donc utile pour comparer des systèmes de génération vidéo et comprendre pourquoi un clip attrayant peut tout de même échouer dans le cadre d’une tâche pratique.

Ce que mesure VBench#

Évaluer la génération de texte en vidéo nécessite d’examiner à la fois les images individuelles et les changements au fil du temps. Le cadre d’évaluation VBench d’origine définit 16 dimensions couvrant la qualité visuelle et la cohérence avec le prompt d’entrée. Ces dimensions offrent un profil plus instructif qu’un score global unique. (vchitect.github.io)

Trois groupes utiles rendent le concept plus facile à comprendre :

• Qualité visuelle : La qualité de l’image concerne les défauts tels que le flou ou le bruit ; la qualité esthétique concerne l’attrait visuel et la composition. Une image nette n’est pas forcément attrayante.
• Qualité temporelle : La cohérence des sujets et de l’arrière-plan permet d’évaluer si leur apparence reste stable. La fluidité des mouvements examine leur continuité, tandis que le scintillement temporel concerne les variations indésirables d’une image à l’autre.
• Adéquation au prompt : Les vérifications du contenu portent sur les objets, les actions, les couleurs, les scènes et les relations spatiales demandés — par exemple, elles vérifient si un chien court vraiment à côté d’un vélo, plutôt que d’apparaître simplement à proximité.

La cohérence des sujets est liée à la préservation de l’identité : un personnage doit rester reconnaissable lorsqu’il se déplace ou change de point de vue. L’évaluation des mouvements peut faire appel au flux optique, qui estime le mouvement apparent entre les images. Cependant, la fluidité des mouvements ne prouve pas à elle seule qu’une action est physiquement plausible. (vchitect.github.io)

Fonctionnement de l’évaluation#

Une évaluation standard commence par la définition d’un ensemble de prompts. Un modèle de génération produit des vidéos à partir de ces prompts, puis des évaluateurs propres à chaque dimension analysent les résultats. Des conditions de test cohérentes permettent de comparer utilement les modèles, plutôt que des clips choisis de manière sélective. (github.com)

Contrairement à un jeu de données de benchmark, qui fournit des exemples de test, VBench fournit également des procédures d’évaluation. Ses évaluateurs automatisés produisent des mesures censées refléter certains aspects de la perception humaine, mais ces mesures restent des indicateurs indirects — elles ne garantissent pas la satisfaction des spectateurs. (vchitect.github.io)

Pour effectuer des comparaisons pratiques, utilise des prompts, un nombre d’échantillons, une résolution, une durée et des paramètres de génération comparables. Note les graines aléatoires lorsqu’elles sont disponibles, tout en tenant compte des limites décrites dans les recommandations de PyTorch sur la reproductibilité. Examine les dimensions individuellement : de bons scores d’apparence peuvent masquer un faible respect des instructions, et des clips presque statiques peuvent sembler cohérents sans présenter le mouvement demandé. (github.com)

VBench et les concepts associés#

VBench évalue le contenu généré ; ce n’est ni un modèle de génération vidéo ni un système généraliste d’analyse vidéo.

La compréhension vidéo interprète des séquences existantes, tandis que la génération crée de nouvelles séquences. De même, la détection d’objets identifie et localise les objets, mais détecter un vélo ne permet pas de conclure qu’une scène générée dans son ensemble respecte le prompt.

Le mode benchmark d’Ultralytics YOLO mesure la précision des tâches et la vitesse d’inférence pour différents formats d’exportation. Ces mesures de déploiement répondent à des questions différentes de celles traitées par les évaluations de la qualité visuelle et temporelle de VBench. De même, les commandes de benchmark de vLLM évaluent les performances d’exécution des modèles de langage, et non la qualité des vidéos générées. (docs.ultralytics.com)

Un classement des modèles de texte en vidéo résume les résultats du benchmark, tandis qu’une arène basée sur les préférences humaines recueille les jugements des spectateurs. Aucun des deux ne doit remplacer les tests de modèles propres à l’application.

Applications concrètes#

Deux exemples d’applications illustrent l’importance de ces distinctions :

• Production publicitaire : Une équipe créative qui compare des générateurs pour une publicité de chaussures de course peut examiner la cohérence des sujets, la fluidité des mouvements et l’adéquation au prompt. Une chaussure qui change de forme pendant un travelling peut rendre inutilisable un clip pourtant soigné. Les évaluateurs doivent vérifier séparément l’image de marque et les détails du produit, plutôt que de supposer qu’un bon score de benchmark les garantit.
• Séquences vidéo d’entraînement synthétiques : Une équipe qui génère des vidéos d’entrepôt peut utiliser des évaluations de qualité pour écarter les clips présentant des arrière-plans instables ou des mouvements peu plausibles. Cependant, des données synthétiques visuellement convaincantes peuvent tout de même omettre des conditions importantes du monde réel. Leur valeur pour l’entraînement doit être vérifiée au moyen d’une validation sur des données représentatives, et non déduite de VBench seul.

Il s’agit d’usages complémentaires de l’évaluation de la qualité, et non d’affirmations selon lesquelles VBench certifierait l’adéquation à un usage commercial ou l’efficacité des données d’entraînement.

Évaluation pratique et limites#

Le flux de travail documenté du package VBench permet d’évaluer des vidéos personnalisées selon certaines dimensions. Après avoir installé les dépendances requises dans un environnement compatible, cet exemple Bash demande le chemin d’une vidéo générée existante et évalue la cohérence des sujets : (pypi.org)

# Install the evaluation package.
python -m pip install vbench

# Supply an existing generated MP4 file.
read -r -p "Path to generated video: " video_path

# Evaluate one supported custom-input dimension.
vbench evaluate \
    --videos_path "$video_path" \
    --dimension subject_consistency \
    --mode custom_input

Cela produit une évaluation propre à une dimension, et non un score complet de classement. L’évaluation de vidéos personnalisées ne prend en charge qu’un sous-ensemble des dimensions d’origine ; utilise donc le protocole standard pour comparer des résultats de benchmark. (pypi.org)

Enfin, combine les mesures automatisées avec une inspection humaine et des tests propres à l’application. Des séquences attrayantes et cohérentes peuvent tout de même contenir des éléments trompeurs ou présenter d’autres risques. Le cadre de gestion des risques liés à l’IA du NIST fournit des recommandations plus générales pour évaluer ces préoccupations au-delà de la qualité visuelle. (nist.gov)