VBench

O VBench é um conjunto de benchmarks para avaliar vídeos gerados por IA em várias dimensões de qualidade e alinhamento com as instruções do utilizador. Em vez de perguntar apenas se um clipe «parece bom», analisa se os sujeitos permanecem consistentes, se o movimento flui suavemente e se o vídeo retrata o conteúdo solicitado. Isto torna-o útil para comparar sistemas de geração de vídeo e compreender por que razão um clipe apelativo pode ainda assim não cumprir uma tarefa prática.

O que o VBench mede#

Avaliar a geração de texto para vídeo requer analisar tanto os fotogramas individuais como as mudanças ao longo do tempo. O framework de avaliação original do VBench define 16 dimensões que abrangem a qualidade visual e a consistência com o prompt de entrada. Estas dimensões fornecem um perfil mais informativo do que uma única pontuação geral. (vchitect.github.io)

Três grupos úteis facilitam a compreensão do conceito:

• Qualidade visual: A qualidade de imagem diz respeito a defeitos como desfocagem ou ruído; a qualidade estética diz respeito ao apelo visual e à composição. Um fotograma nítido não é necessariamente apelativo.
• Qualidade temporal: A consistência do sujeito e do fundo avalia se as aparências se mantêm estáveis. A suavidade do movimento analisa a continuidade do movimento, enquanto a cintilação temporal diz respeito a flutuações indesejadas entre fotogramas.
• Alinhamento com o prompt: As verificações de conteúdo analisam os objetos, as ações, as cores, os cenários e as relações espaciais solicitados — por exemplo, se um cão corre realmente ao lado de uma bicicleta, em vez de apenas aparecer algures nas proximidades.

A consistência do sujeito está relacionada com a preservação da identidade: uma personagem deve permanecer reconhecível enquanto se move ou muda de perspetiva. A avaliação do movimento pode envolver o fluxo ótico, que estima o movimento aparente entre fotogramas. No entanto, um movimento suave, por si só, não prova que uma ação seja fisicamente plausível. (vchitect.github.io)

Como funciona a avaliação#

Uma avaliação padrão começa com um conjunto definido de prompts. Um modelo de geração produz vídeos para esses prompts e avaliadores específicos por dimensão analisam os resultados. Condições de teste consistentes permitem comparações significativas entre modelos, em vez de comparações entre clipes escolhidos seletivamente. (github.com)

Ao contrário de um conjunto de dados de benchmark, que fornece exemplos de teste, o VBench também fornece procedimentos de avaliação. Os seus avaliadores automatizados produzem medições destinadas a refletir aspetos da perceção humana, mas essas medições continuam a ser indicadores indiretos — não garantias de satisfação dos espectadores. (vchitect.github.io)

Para fazer comparações práticas, mantém comparáveis os prompts, o número de amostras, a resolução, a duração e as definições de geração. Regista as sementes aleatórias quando disponíveis, tendo em conta as limitações descritas nas orientações de reprodutibilidade do PyTorch. Analisa as dimensões individuais: pontuações elevadas na aparência podem ocultar um seguimento fraco das instruções, e clipes quase estáticos podem parecer consistentes sem apresentar o movimento solicitado. (github.com)

VBench e conceitos relacionados#

O VBench avalia conteúdo gerado; não é um modelo de geração de vídeo nem um sistema de análise de vídeo de uso geral.

A compreensão de vídeo interpreta filmagens existentes, enquanto a geração cria novas filmagens. Do mesmo modo, a deteção de objetos identifica e localiza objetos, mas detetar uma bicicleta não permite concluir que uma cena gerada inteira segue o respetivo prompt.

O modo de benchmark do Ultralytics YOLO mede a precisão das tarefas e a velocidade de inferência em vários formatos de exportação. Essas medições de implementação respondem a perguntas diferentes das avaliações da qualidade visual e temporal do VBench. De forma semelhante, os comandos de benchmark do vLLM avaliam o desempenho de execução de modelos de linguagem, não a qualidade dos vídeos gerados. (docs.ultralytics.com)

Uma tabela classificativa de texto para vídeo resume os resultados de benchmarks, enquanto uma arena de preferência humana recolhe as avaliações dos espectadores. Nenhuma das duas deve substituir os testes do modelo específicos da aplicação.

Aplicações no mundo real#

Duas aplicações ilustrativas mostram a importância destas distinções:

• Produção publicitária: Uma equipa criativa que compare geradores para um anúncio de sapatilhas de corrida pode analisar a consistência do sujeito, a suavidade do movimento e o alinhamento com o prompt. Uma sapatilha que muda de forma durante um plano de seguimento pode tornar inutilizável um clipe que, de resto, é bem produzido. Os revisores devem verificar separadamente a marca e os detalhes do produto, em vez de presumir que uma pontuação elevada no benchmark os abrange.
• Filmagens sintéticas para treino: Uma equipa que gere vídeos de armazéns pode usar avaliações de qualidade para filtrar clipes com fundos instáveis ou movimentos implausíveis. No entanto, dados sintéticos visualmente convincentes podem ainda assim omitir condições importantes do mundo real. A sua utilidade para o treino deve ser verificada através de validação com dados representativos, e não inferida apenas com base no VBench.

Estes são usos complementares da avaliação da qualidade, não afirmações de que o VBench certifica a adequação comercial ou a eficácia dos dados de treino.

Avaliação prática e limitações#

O fluxo de trabalho documentado do pacote VBench permite avaliar vídeos personalizados para dimensões selecionadas. Depois de instalar as dependências necessárias num ambiente compatível, este exemplo Bash pede um vídeo gerado existente e avalia a consistência do sujeito: (pypi.org)

# Install the evaluation package.
python -m pip install vbench

# Supply an existing generated MP4 file.
read -r -p "Path to generated video: " video_path

# Evaluate one supported custom-input dimension.
vbench evaluate \
    --videos_path "$video_path" \
    --dimension subject_consistency \
    --mode custom_input

Isto produz uma avaliação específica da dimensão — não uma pontuação completa de tabela classificativa. A avaliação de vídeos personalizados só suporta um subconjunto das dimensões originais; por isso, usa o protocolo padrão para comparar benchmarks. (pypi.org)

Por fim, combina as medições automatizadas com a inspeção humana e os testes da aplicação. Filmagens apelativas e consistentes podem ainda conter conteúdo enganador ou outros riscos. O Framework de Gestão de Riscos de IA do NIST fornece orientações mais abrangentes para avaliar estas questões para além da qualidade visual. (nist.gov)