Licencia YOLO
Volver al glosario de Ultralytics

VBench

VBench puntúa los vídeos generados por IA en 16 dimensiones, desde la coherencia del sujeto hasta la fidelidad al prompt. Qué mide cada dimensión y cómo interpretar los resultados.

VBench es un conjunto de benchmarks para la generación de texto a vídeo que evalúa los clips generados en 16 dimensiones independientes de calidad visual y fidelidad al prompt. Investigadores del S-Lab de la Universidad Tecnológica de Nanyang y del Shanghai AI Laboratory lo presentaron en noviembre de 2023 en el artículo VBench: Comprehensive Benchmark Suite for Video Generative Models, seleccionado como artículo destacado en CVPR 2024. Desde entonces, su tabla de clasificación pública se ha convertido en un punto de referencia habitual para comparar modelos de generación de vídeo, desde LaVie, ModelScope, VideoCrafter y CogVideo, incluidos en el artículo original, hasta sistemas posteriores de transformer de difusión.

Antes de VBench, la evaluación se basaba en métricas únicas de distribución, como la distancia de Fréchet de vídeo, la versión para vídeo de la distancia de Fréchet de Inception (FID). Estas métricas comparan las estadísticas de características de los clips reales y generados, por lo que un único valor debe representar a la vez el movimiento, la identidad y el seguimiento del prompt. VBench desglosa la calidad para que los desarrolladores puedan ver exactamente en qué aspectos falla un modelo; además, sus autores recopilaron anotaciones de preferencias humanas para cada dimensión, comparando pares de vídeos de distintos modelos para confirmar que cada puntuación automática los clasifica como lo harían los espectadores.

Las 16 dimensiones#

Las dimensiones de evaluación de VBench se dividen en dos grupos:

  • Calidad del vídeo: Evalúa el clip por sí mismo, sin tener en cuenta el prompt: coherencia del sujeto, coherencia del fondo, parpadeo temporal, suavidad del movimiento y grado de dinamismo para valorar la calidad a lo largo del tiempo; además de calidad estética y calidad de imagen para cada fotograma.
  • Coherencia con las condiciones del vídeo: Compara el clip con su prompt: clase de objeto, varios objetos, acción humana, color, relación espacial y escena para el contenido; estilo de apariencia y estilo temporal para el estilo; y coherencia general.

El grado de dinamismo equilibra las métricas de coherencia. Un clip casi estático obtiene una buena puntuación en coherencia del sujeto y parpadeo temporal prácticamente por defecto, por lo que VBench también mide cuánto movimiento se produce realmente. Considerar estas dimensiones en conjunto evita que un modelo gane generando fotografías en movimiento.

Cómo se puntúa cada dimensión#

Cada dimensión tiene su propio evaluador, normalmente un modelo de visión preentrenado aplicado a fotogramas muestreados. La coherencia del sujeto compara entre fotogramas las características de DINO, un transformer de visión autosupervisado, mientras que la coherencia del fondo hace lo mismo con las características de imagen de CLIP. El parpadeo temporal es la diferencia absoluta media de píxeles entre fotogramas consecutivos, medida solo en clips casi estáticos seleccionados con el flujo óptico RAFT, que también estima el movimiento para calcular el grado de dinamismo. La suavidad del movimiento evalúa la capacidad del modelo de interpolación de fotogramas AMT para reconstruir fotogramas eliminados, ya que el movimiento natural se puede predecir a partir de los fotogramas vecinos. La calidad estética utiliza el predictor estético de LAION, y la calidad de imagen emplea el modelo MUSIQ para detectar desenfoque, ruido y sobreexposición.

Las dimensiones de contenido procesan los fotogramas con otros modelos. La clase de objeto, los múltiples objetos, el color y la relación espacial utilizan el modelo GRiT de detección de objetos y descripción detallada para confirmar que los objetos solicitados aparecen con los colores y la disposición correctos. La acción humana se evalúa con el modelo UMT de reconocimiento de acciones, la escena compara el prompt con las descripciones de imágenes de Tag2Text, el estilo de apariencia compara los fotogramas con la descripción del estilo mediante CLIP, y el estilo temporal y la coherencia general comparan los embeddings de vídeo y texto de ViCLIP.

Cada dimensión se evalúa con un conjunto de unos 100 prompts redactados para ponerla a prueba. Un conjunto independiente de 800 prompts, 100 en cada una de ocho categorías (animales, arquitectura, comida, personas, estilo de vida, plantas, paisajes y vehículos), permite desglosar los resultados por tema. La tabla de clasificación normaliza cada dimensión y las combina en una puntuación ponderada de calidad, una puntuación semántica ponderada y una puntuación total.

Uso de los resultados de VBench#

Las puntuaciones de la clasificación solo son comparables si los modelos se ejecutan con el conjunto estándar de prompts y los mismos ajustes de muestreo. VBench también puede puntuar vídeos personalizados ajenos a ese conjunto, pero solo en las seis dimensiones que no necesitan un prompt de referencia: coherencia del sujeto, coherencia del fondo, fluidez del movimiento, grado de dinamismo, calidad estética y calidad de imagen.

Como cada dimensión la mide otro modelo, cada puntuación hereda los puntos ciegos de ese modelo. Si un detector no detecta objetos pequeños o poco habituales, también los contabiliza de menos en el vídeo generado, y un predictor estético refleja los gustos de los datos con los que se ha entrenado. A medida que los generadores mejoraron en las dimensiones originales, centradas en la apariencia, el mismo grupo amplió el conjunto de pruebas. VBench++, publicado en IEEE TPAMI, añade la evaluación de imagen a vídeo, vídeo largo y fiabilidad, que abarca la equidad, los sesgos y la seguridad; VBench-2.0, publicado en marzo de 2025, puntúa 18 dimensiones de «fidelidad intrínseca» agrupadas en fidelidad humana, controlabilidad, creatividad, física y sentido común.

Las comprobaciones basadas en detectores también sirven cuando los clips generados se convierten en datos sintéticos de entrenamiento para un modelo de visión. Ejecutar Ultralytics YOLO26 en modo de predicción sobre cada fotograma generado confirma que los objetos solicitados aparecen realmente antes de que el metraje se incorpore a un conjunto de entrenamiento, la misma comprobación que realiza la dimensión de clase de objeto de VBench con GRiT.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático