VBench
VBench puntúa los vídeos generados por IA en 16 dimensiones, desde la coherencia del sujeto hasta la fidelidad al prompt. Qué mide cada dimensión y cómo interpretar los resultados.
VBench es un conjunto de benchmarks para la generación de texto a vídeo que evalúa los clips generados en 16 dimensiones independientes de calidad visual y fidelidad al prompt. Investigadores del S-Lab de la Universidad Tecnológica de Nanyang y del Shanghai AI Laboratory lo presentaron en noviembre de 2023 en el artículo VBench: Comprehensive Benchmark Suite for Video Generative Models, seleccionado como artículo destacado en CVPR 2024. Desde entonces, su tabla de clasificación pública se ha convertido en un punto de referencia habitual para comparar modelos de generación de vídeo, desde LaVie, ModelScope, VideoCrafter y CogVideo, incluidos en el artículo original, hasta sistemas posteriores de transformer de difusión.
Antes de VBench, la evaluación se basaba en métricas únicas de distribución, como la distancia de Fréchet de vídeo, la versión para vídeo de la distancia de Fréchet de Inception (FID). Estas métricas comparan las estadísticas de características de los clips reales y generados, por lo que un único valor debe representar a la vez el movimiento, la identidad y el seguimiento del prompt. VBench desglosa la calidad para que los desarrolladores puedan ver exactamente en qué aspectos falla un modelo; además, sus autores recopilaron anotaciones de preferencias humanas para cada dimensión, comparando pares de vídeos de distintos modelos para confirmar que cada puntuación automática los clasifica como lo harían los espectadores.
Las 16 dimensiones#
Las dimensiones de evaluación de VBench se dividen en dos grupos:
- Calidad del vídeo: Evalúa el clip por sí mismo, sin tener en cuenta el prompt: coherencia del sujeto, coherencia del fondo, parpadeo temporal, suavidad del movimiento y grado de dinamismo para valorar la calidad a lo largo del tiempo; además de calidad estética y calidad de imagen para cada fotograma.
- Coherencia con las condiciones del vídeo: Compara el clip con su prompt: clase de objeto, varios objetos, acción humana, color, relación espacial y escena para el contenido; estilo de apariencia y estilo temporal para el estilo; y coherencia general.
El grado de dinamismo equilibra las métricas de coherencia. Un clip casi estático obtiene una buena puntuación en coherencia del sujeto y parpadeo temporal prácticamente por defecto, por lo que VBench también mide cuánto movimiento se produce realmente. Considerar estas dimensiones en conjunto evita que un modelo gane generando fotografías en movimiento.
Cómo se puntúa cada dimensión#
Cada dimensión tiene su propio evaluador, normalmente un modelo de visión preentrenado aplicado a fotogramas muestreados. La coherencia del sujeto compara entre fotogramas las características de DINO, un transformer de visión autosupervisado, mientras que la coherencia del fondo hace lo mismo con las características de imagen de CLIP. El parpadeo temporal es la diferencia absoluta media de píxeles entre fotogramas consecutivos, medida solo en clips casi estáticos seleccionados con el flujo óptico RAFT, que también estima el movimiento para calcular el grado de dinamismo. La suavidad del movimiento evalúa la capacidad del modelo de interpolación de fotogramas AMT para reconstruir fotogramas eliminados, ya que el movimiento natural se puede predecir a partir de los fotogramas vecinos. La calidad estética utiliza el predictor estético de LAION, y la calidad de imagen emplea el modelo MUSIQ para detectar desenfoque, ruido y sobreexposición.
Las dimensiones de contenido procesan los fotogramas con otros modelos. La clase de objeto, los múltiples objetos, el color y la relación espacial utilizan el modelo GRiT de detección de objetos y descripción detallada para confirmar que los objetos solicitados aparecen con los colores y la disposición correctos. La acción humana se evalúa con el modelo UMT de reconocimiento de acciones, la escena compara el prompt con las descripciones de imágenes de Tag2Text, el estilo de apariencia compara los fotogramas con la descripción del estilo mediante CLIP, y el estilo temporal y la coherencia general comparan los embeddings de vídeo y texto de ViCLIP.
Cada dimensión se evalúa con un conjunto de unos 100 prompts redactados para ponerla a prueba. Un conjunto independiente de 800 prompts, 100 en cada una de ocho categorías (animales, arquitectura, comida, personas, estilo de vida, plantas, paisajes y vehículos), permite desglosar los resultados por tema. La tabla de clasificación normaliza cada dimensión y las combina en una puntuación ponderada de calidad, una puntuación semántica ponderada y una puntuación total.
Uso de los resultados de VBench#
Las puntuaciones de la clasificación solo son comparables si los modelos se ejecutan con el conjunto estándar de prompts y los mismos ajustes de muestreo. VBench también puede puntuar vídeos personalizados ajenos a ese conjunto, pero solo en las seis dimensiones que no necesitan un prompt de referencia: coherencia del sujeto, coherencia del fondo, fluidez del movimiento, grado de dinamismo, calidad estética y calidad de imagen.
Como cada dimensión la mide otro modelo, cada puntuación hereda los puntos ciegos de ese modelo. Si un detector no detecta objetos pequeños o poco habituales, también los contabiliza de menos en el vídeo generado, y un predictor estético refleja los gustos de los datos con los que se ha entrenado. A medida que los generadores mejoraron en las dimensiones originales, centradas en la apariencia, el mismo grupo amplió el conjunto de pruebas. VBench++, publicado en IEEE TPAMI, añade la evaluación de imagen a vídeo, vídeo largo y fiabilidad, que abarca la equidad, los sesgos y la seguridad; VBench-2.0, publicado en marzo de 2025, puntúa 18 dimensiones de «fidelidad intrínseca» agrupadas en fidelidad humana, controlabilidad, creatividad, física y sentido común.
Las comprobaciones basadas en detectores también sirven cuando los clips generados se convierten en datos sintéticos de entrenamiento para un modelo de visión. Ejecutar Ultralytics YOLO26 en modo de predicción sobre cada fotograma generado confirma que los objetos solicitados aparecen realmente antes de que el metraje se incorpore a un conjunto de entrenamiento, la misma comprobación que realiza la dimensión de clase de objeto de VBench con GRiT.










