Licenciar o YOLO
Voltar ao glossário da Ultralytics

VBench

O VBench avalia vídeos gerados por IA em 16 dimensões, da consistência do sujeito à fidelidade ao prompt. Veja o que cada dimensão mede e como interpretar os resultados.

VBench é um conjunto de benchmarks para a geração de texto para vídeo que avalia clipes gerados em 16 dimensões distintas de qualidade visual e fidelidade ao prompt. Investigadores do S-Lab da Universidade Tecnológica de Nanyang e do Laboratório de IA de Xangai apresentaram-no em novembro de 2023 no artigo VBench: Comprehensive Benchmark Suite for Video Generative Models, selecionado como artigo de destaque no CVPR 2024. Desde então, o seu quadro de classificação público tornou-se uma referência comum para comparar modelos de geração de vídeo, desde os modelos LaVie, ModelScope, VideoCrafter e CogVideo do artigo original até aos sistemas posteriores de transformer de difusão.

Antes do VBench, a avaliação baseava-se em métricas de distribuição única, como a Fréchet Video Distance, a contraparte para vídeo da distância de Fréchet Inception (FID). Essas métricas comparam estatísticas de características de clipes reais e gerados; por isso, um único número tem de representar simultaneamente o movimento, a identidade e o seguimento do prompt. O VBench divide a qualidade em partes para que os programadores possam ver exatamente onde um modelo fica aquém, e os autores recolheram anotações de preferência humana para cada dimensão, comparando pares de vídeos de modelos diferentes para confirmar que cada pontuação automática ordena os modelos da mesma forma que os espectadores.

As 16 dimensões#

As dimensões de avaliação do VBench dividem-se em dois grupos:

  • Qualidade do vídeo avalia o clipe por si só, sem considerar o prompt: consistência do objeto, consistência do fundo, cintilação temporal, suavidade do movimento e grau de dinamismo para avaliar a qualidade ao longo do tempo; e qualidade estética e qualidade de imagem para cada fotograma.
  • Consistência entre vídeo e condição compara o clipe com o prompt: classe de objeto, vários objetos, ação humana, cor, relação espacial e cena, quanto ao conteúdo; estilo de aparência e estilo temporal, quanto ao estilo; e consistência geral.

O grau de dinamismo equilibra as métricas de consistência. Um clip quase estático obtém uma boa pontuação em consistência do sujeito e cintilação temporal quase por definição; por isso, o VBench também mede a quantidade de movimento que realmente ocorre. Analisar estas dimensões em conjunto impede que um modelo vença gerando fotografias em movimento.

Como é avaliada cada dimensão#

Cada dimensão tem o seu próprio avaliador, geralmente um modelo de visão pré-treinado aplicado a fotogramas amostrados. A consistência do objeto compara características do DINO, um transformer de visão auto-supervisionado, entre fotogramas, e a consistência do fundo faz o mesmo com características de imagem do CLIP. A cintilação temporal é a diferença média absoluta entre píxeis de fotogramas consecutivos, medida apenas em clipes quase estáticos selecionados com o fluxo ótico RAFT, que também estima o movimento para o grau de dinamismo. A suavidade do movimento avalia a qualidade com que um modelo de interpolação de fotogramas, o AMT, reconstrói fotogramas removidos, uma vez que o movimento natural é previsível a partir dos fotogramas vizinhos. A qualidade estética usa o preditor estético LAION, e a qualidade de imagem usa o modelo MUSIQ para detetar desfocagem, ruído e sobre-exposição.

As dimensões de conteúdo executam outros modelos nos fotogramas. A classe de objeto, os vários objetos, a cor e a relação espacial usam o modelo GRiT de deteção de objetos e legendagem densa para confirmar que os objetos solicitados aparecem com as cores e a disposição corretas. A ação humana usa o modelo UMT de reconhecimento de ações, a cena compara o prompt com legendas de imagens do Tag2Text, o estilo de aparência compara os fotogramas com a descrição de estilo usando CLIP, e o estilo temporal e a consistência geral comparam embeddings de vídeo e texto do ViCLIP.

Cada dimensão utiliza um conjunto de cerca de 100 prompts escritos para a testar. Um conjunto separado de 800 prompts, 100 em cada uma de oito categorias (animais, arquitetura, comida, pessoas, estilo de vida, plantas, cenários e veículos), permite discriminar os resultados por tema. O quadro de classificação normaliza cada dimensão e combina-as numa pontuação ponderada de qualidade, numa pontuação semântica ponderada e numa pontuação total.

Utilizar os resultados do VBench#

As pontuações da tabela de classificação só são comparáveis quando os modelos são executados no conjunto padrão de prompts com as mesmas configurações de amostragem. O VBench também pode pontuar vídeos personalizados fora desse conjunto, mas apenas nas seis dimensões que não precisam de um prompt de referência: consistência do tema, consistência do fundo, suavidade do movimento, grau de dinamismo, qualidade estética e qualidade da imagem.

Como cada dimensão é medida por outro modelo, cada pontuação herda os pontos cegos desse modelo. Um detector que não identifica objetos pequenos ou incomuns também os contabiliza a menos em vídeos gerados, e um preditor estético reflete as preferências dos dados com que foi treinado. À medida que os geradores melhoraram nas dimensões originais, focadas na aparência, o mesmo grupo ampliou o conjunto. O VBench++, publicado na IEEE TPAMI, acrescenta avaliação de imagem para vídeo, vídeos longos e confiabilidade, cobrindo equidade, viés e segurança, e o VBench-2.0, lançado em março de 2025, pontua 18 dimensões de «fidelidade intrínseca» agrupadas em fidelidade humana, controlabilidade, criatividade, física e senso comum.

As verificações baseadas em detectores também se aplicam quando os clipes gerados se tornam dados de treinamento sintéticos para um modelo de visão. Executar o Ultralytics YOLO26 no modo de predição em cada quadro gerado confirma que os objetos solicitados estão realmente presentes antes de as imagens serem adicionadas a um conjunto de treinamento, a mesma verificação que a dimensão de classe de objetos do VBench faz com o GRiT.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina