VBench
VBench оценивает сгенерированные ИИ видео по 16 параметрам — от постоянства объектов до соответствия запросу. Что измеряет каждый параметр и как интерпретировать результаты.
VBench — это набор бенчмарков для генерации видео по тексту, который оценивает сгенерированные ролики по 16 отдельным параметрам визуального качества и соответствия промпту. Исследователи из лаборатории S-Lab Наньянского технологического университета и Shanghai AI Laboratory представили его в ноябре 2023 года в статье «VBench: комплексный набор бенчмарков для генеративных моделей видео», получившей статус избранной статьи на CVPR 2024. С тех пор общедоступная таблица лидеров стала распространённым ориентиром для сравнения моделей генерации видео: от LaVie, ModelScope, VideoCrafter и CogVideo из исходной статьи до более поздних систем на основе диффузионного трансформера.
До появления VBench оценка опиралась на отдельные метрики распределений, например Fréchet Video Distance — аналог расстояния Фреше между распределениями признаков Инсепшена (FID) для видео. Эти метрики сравнивают статистики признаков реальных и сгенерированных роликов, поэтому одна цифра должна одновременно отражать движение, сохранение идентичности и следование промпту. VBench разбивает качество на составляющие, чтобы разработчики могли точно увидеть слабые места модели. Авторы также собрали для каждого параметра аннотации предпочтений людей: сравнивали пары видео разных моделей и проверяли, ранжирует ли автоматическая метрика модели так же, как зрители.
16 критериев#
Критерии оценки VBench делятся на две группы:
- Качество видео оценивает ролик сам по себе, без учёта промпта: согласованность объекта, согласованность фона, временное мерцание, плавность движения и степень динамичности для оценки качества во времени, а также эстетическое качество и качество изображения каждого кадра.
- Согласованность видео с условием проверяет, соответствует ли ролик промпту: класс объекта, несколько объектов, действия людей, цвет, пространственные отношения и сцена — для содержания; стиль внешнего вида и временной стиль — для стиля; а также общую согласованность.
Степень динамики уравновешивает метрики согласованности. Почти статичный ролик легко получает высокий балл за согласованность объекта и отсутствие временного мерцания, поэтому VBench также измеряет, насколько интенсивно в нём реально происходит движение. Совместный анализ этих критериев не позволяет модели получить высокий балл, просто генерируя движущиеся фотографии.
Как оценивается каждый критерий#
Для каждого параметра есть свой оценщик — обычно предварительно обученная модель зрения, применяемая к выбранным кадрам. Согласованность объекта оценивается по сравнению признаков DINO — самообучающегося трансформера для зрения — между кадрами, а согласованность фона проверяется аналогично по признакам изображений CLIP. Временное мерцание — это средняя абсолютная разница пикселей между соседними кадрами; её измеряют только на почти статичных роликах, выбранных с помощью оптического потока RAFT, который также оценивает движение для определения степени динамичности. Плавность движения проверяется по тому, насколько хорошо модель интерполяции кадров AMT восстанавливает удалённые кадры: естественное движение можно предсказать по соседним кадрам. Для оценки эстетического качества используется LAION aesthetic predictor, а для оценки качества изображения — модель MUSIQ, которая выявляет размытие, шум и переэкспонирование.
Для оценки параметров содержания на кадрах запускаются другие модели. Класс объекта, наличие нескольких объектов, цвет и пространственные отношения проверяются с помощью модели GRiT для детектирования объектов и подробного описания изображений: она подтверждает, что нужные объекты появились в правильных цветах и расположении. Для распознавания действий людей используется модель UMT для распознавания действий, а сцену сравнивают с промптом по подписям к изображениям, созданным Tag2Text. Стиль внешнего вида кадров сравнивается с описанием стиля с помощью CLIP, а временной стиль и общая согласованность проверяются по эмбеддингам видео и текста от ViCLIP.
Для каждого параметра используется набор примерно из 100 промптов, составленных специально для его проверки. Отдельный набор из 800 промптов — по 100 для каждой из восьми категорий (животные, архитектура, еда, люди, образ жизни, растения, пейзажи и транспортные средства) — позволяет разбить результаты по тематике. В таблице лидеров значения каждого параметра нормализуются и объединяются в взвешенную оценку качества, взвешенную семантическую оценку и итоговый результат.
Как использовать результаты VBench#
Оценки в таблице лидеров можно сравнивать только в том случае, если модели запускаются на стандартном наборе промптов с одинаковыми настройками сэмплирования. VBench также позволяет оценивать пользовательские видео вне этого набора, но только по шести измерениям, которым не нужен эталонный промпт: согласованность объектов, согласованность фона, плавность движения, динамичность, эстетическое качество и качество изображения.
Поскольку каждое измерение оценивает другая модель, каждая оценка наследует её слепые зоны. Детектор, который не замечает мелкие или необычные объекты, будет так же недосчитывать их и в сгенерированном видео, а эстетический предиктор отражает вкусы данных, на которых он обучался. По мере того как генераторы улучшались в исходных измерениях, ориентированных на внешний вид, та же группа расширила набор тестов. VBench++, опубликованный в IEEE TPAMI, добавляет оценку преобразования изображения в видео, длинных видео и надёжности, охватывающую справедливость, предвзятость и безопасность, а VBench-2.0, выпущенный в марте 2025 года, оценивает 18 измерений «внутренней достоверности», объединённых в группы: соответствие человеку, управляемость, креативность, физика и здравый смысл.
Проверки на основе детекторов применимы и тогда, когда сгенерированные клипы становятся синтетическими обучающими данными для модели компьютерного зрения. Запуск Ultralytics YOLO26 в режиме предсказания на каждом сгенерированном кадре подтверждает, что запрошенные объекты действительно присутствуют до того, как видеоматериал попадёт в обучающую выборку, — такую же проверку с помощью GRiT выполняет измерение VBench по классу объектов.










