VBench

VBench — это набор бенчмарков для оценки видео, созданных ИИ, по нескольким параметрам качества и соответствия инструкциям пользователя. Вместо того чтобы просто выяснять, «хорошо ли выглядит» клип, бенчмарк проверяет, сохраняют ли объекты постоянство, плавно ли движется видео и изображено ли в нём то, о чём просили. Благодаря этому VBench полезен для сравнения систем генерации видео и понимания того, почему привлекательный клип может не подойти для практической задачи.

Что измеряет VBench#

Для оценки генерации видео по тексту нужно анализировать как отдельные кадры, так и изменения во времени. В исходной системе оценки VBench определено 16 параметров, охватывающих визуальное качество и соответствие входному запросу. Эти параметры дают более информативный профиль, чем одна итоговая оценка. (vchitect.github.io)

Чтобы упростить понимание, разделим параметры на три группы:

• Визуальное качество: качество изображения связано с дефектами, такими как размытие или шум; эстетическое качество — с визуальной привлекательностью и композицией. Чёткий кадр не обязательно выглядит привлекательно.
• Временное качество: согласованность объектов и фона показывает, сохраняется ли их внешний вид. Плавность движения отражает непрерывность перемещения, а мерцание во времени — нежелательные колебания от кадра к кадру.
• Соответствие запросу: проверки содержимого оценивают наличие запрошенных объектов, действий, цветов, сцен и пространственных отношений — например, действительно ли собака бежит рядом с велосипедом, а не просто появляется где-то неподалёку.

Согласованность объектов связана с сохранением идентичности: персонаж должен оставаться узнаваемым в движении и при смене ракурса. Для оценки движения может применяться оптический поток, который определяет видимое перемещение между кадрами. Однако плавность движения сама по себе не доказывает физическую правдоподобность действия. (vchitect.github.io)

Как проходит оценка#

Стандартная оценка начинается с заранее определённого набора запросов. Модель генерации создаёт видео по этим запросам, а оценщики анализируют результаты по отдельным параметрам. Согласованные условия тестирования позволяют осмысленно сравнивать модели, а не отдельные клипы, отобранные по выбору. (github.com)

В отличие от набора данных для бенчмарка, который предоставляет примеры для тестирования, VBench также включает процедуры оценки. Автоматические оценщики выдают показатели, призванные отражать отдельные аспекты человеческого восприятия, но эти показатели остаются лишь косвенными оценками, а не гарантией удовлетворённости зрителей. (vchitect.github.io)

Для практического сравнения используй сопоставимые запросы, количество примеров, разрешение, длительность и настройки генерации. Если возможно, записывай случайные начальные значения, учитывая ограничения, описанные в рекомендациях PyTorch по воспроизводимости. Анализируй отдельные параметры: высокие оценки внешнего вида могут скрывать слабое следование инструкциям, а почти неподвижные клипы могут выглядеть согласованными, не обеспечивая запрошенного движения. (github.com)

VBench и смежные понятия#

VBench оценивает созданный контент, но не является ни моделью генерации видео, ни универсальной системой анализа видео.

Понимание видео помогает интерпретировать уже существующие видеозаписи, а генерация создаёт новые. Аналогично, обнаружение объектов определяет объекты и их местоположение, но обнаружение велосипеда не доказывает, что вся созданная сцена соответствует запросу.

Режим бенчмаркинга Ultralytics YOLO измеряет точность выполнения задач и скорость инференса в разных форматах экспорта. Эти показатели для развёртывания отвечают на другие вопросы, чем оценка визуального и временного качества в VBench. Аналогично, команды бенчмаркинга vLLM оценивают производительность языковых моделей, а не качество созданных видео. (docs.ultralytics.com)

Таблица лидеров по генерации видео на основе текста обобщает результаты бенчмарков, а арена пользовательских предпочтений собирает оценки зрителей. Ни то ни другое не должно заменять тестирование модели для конкретного приложения.

Примеры применения в реальных условиях#

Два примера показывают, почему эти различия важны:

• Производство рекламы: сравнивая генераторы для рекламы беговых кроссовок, творческая команда может оценить согласованность объектов, плавность движения и соответствие запросу. Если во время съёмки с сопровождением кроссовок меняет форму, иначе качественный клип может оказаться непригодным. Проверяющим следует отдельно убедиться в правильности брендинга и деталей продукта, а не считать, что высокая оценка бенчмарка гарантирует их точность.
• Синтетические обучающие видеоматериалы: команда, создающая видео для складских помещений, может использовать оценку качества, чтобы отсеивать клипы с нестабильным фоном или неправдоподобным движением. Однако визуально убедительные синтетические данные всё ещё могут не охватывать важные условия реального мира. Их ценность для обучения нужно проверять с помощью последующей валидации на репрезентативных данных, а не выводить только из оценки VBench.

Это взаимодополняющие способы применения оценки качества, а не утверждение, что VBench подтверждает пригодность для коммерческого использования или эффективность обучающих данных.

Практическая оценка и ограничения#

Описанный рабочий процесс с пакетом VBench позволяет оценивать пользовательские видео по выбранным параметрам. Установив необходимые зависимости в совместимом окружении, выполни этот пример на Bash: он запросит путь к существующему сгенерированному видео и оценит согласованность объектов. (pypi.org)

# Install the evaluation package.
python -m pip install vbench

# Supply an existing generated MP4 file.
read -r -p "Path to generated video: " video_path

# Evaluate one supported custom-input dimension.
vbench evaluate \
    --videos_path "$video_path" \
    --dimension subject_consistency \
    --mode custom_input

В результате получится оценка по отдельному параметру, а не полный балл в таблице лидеров. Оценка пользовательских видео поддерживает лишь часть исходных параметров, поэтому для сравнения результатов бенчмарка используй стандартный протокол. (pypi.org)

Наконец, сочетай автоматические измерения с проверкой человеком и тестированием в приложении. Привлекательное и согласованное видео всё ещё может содержать вводящую в заблуждение информацию или другие риски. Рамочная программа управления рисками ИИ NIST содержит более общие рекомендации по оценке таких рисков, выходящих за рамки визуального качества. (nist.gov)