Лицензия YOLO
Назад к глоссарию Ultralytics

VBench

VBench оценивает сгенерированные ИИ видео по 16 параметрам — от постоянства объектов до соответствия запросу. Что измеряет каждый параметр и как интерпретировать результаты.

VBench — это набор бенчмарков для генерации видео по тексту, который оценивает сгенерированные ролики по 16 отдельным параметрам визуального качества и соответствия промпту. Исследователи из лаборатории S-Lab Наньянского технологического университета и Shanghai AI Laboratory представили его в ноябре 2023 года в статье «VBench: комплексный набор бенчмарков для генеративных моделей видео», получившей статус избранной статьи на CVPR 2024. С тех пор общедоступная таблица лидеров стала распространённым ориентиром для сравнения моделей генерации видео: от LaVie, ModelScope, VideoCrafter и CogVideo из исходной статьи до более поздних систем на основе диффузионного трансформера.

До появления VBench оценка опиралась на отдельные метрики распределений, например Fréchet Video Distance — аналог расстояния Фреше между распределениями признаков Инсепшена (FID) для видео. Эти метрики сравнивают статистики признаков реальных и сгенерированных роликов, поэтому одна цифра должна одновременно отражать движение, сохранение идентичности и следование промпту. VBench разбивает качество на составляющие, чтобы разработчики могли точно увидеть слабые места модели. Авторы также собрали для каждого параметра аннотации предпочтений людей: сравнивали пары видео разных моделей и проверяли, ранжирует ли автоматическая метрика модели так же, как зрители.

16 критериев#

Критерии оценки VBench делятся на две группы:

  • Качество видео оценивает ролик сам по себе, без учёта промпта: согласованность объекта, согласованность фона, временное мерцание, плавность движения и степень динамичности для оценки качества во времени, а также эстетическое качество и качество изображения каждого кадра.
  • Согласованность видео с условием проверяет, соответствует ли ролик промпту: класс объекта, несколько объектов, действия людей, цвет, пространственные отношения и сцена — для содержания; стиль внешнего вида и временной стиль — для стиля; а также общую согласованность.

Степень динамики уравновешивает метрики согласованности. Почти статичный ролик легко получает высокий балл за согласованность объекта и отсутствие временного мерцания, поэтому VBench также измеряет, насколько интенсивно в нём реально происходит движение. Совместный анализ этих критериев не позволяет модели получить высокий балл, просто генерируя движущиеся фотографии.

Как оценивается каждый критерий#

Для каждого параметра есть свой оценщик — обычно предварительно обученная модель зрения, применяемая к выбранным кадрам. Согласованность объекта оценивается по сравнению признаков DINO — самообучающегося трансформера для зрения — между кадрами, а согласованность фона проверяется аналогично по признакам изображений CLIP. Временное мерцание — это средняя абсолютная разница пикселей между соседними кадрами; её измеряют только на почти статичных роликах, выбранных с помощью оптического потока RAFT, который также оценивает движение для определения степени динамичности. Плавность движения проверяется по тому, насколько хорошо модель интерполяции кадров AMT восстанавливает удалённые кадры: естественное движение можно предсказать по соседним кадрам. Для оценки эстетического качества используется LAION aesthetic predictor, а для оценки качества изображения — модель MUSIQ, которая выявляет размытие, шум и переэкспонирование.

Для оценки параметров содержания на кадрах запускаются другие модели. Класс объекта, наличие нескольких объектов, цвет и пространственные отношения проверяются с помощью модели GRiT для детектирования объектов и подробного описания изображений: она подтверждает, что нужные объекты появились в правильных цветах и расположении. Для распознавания действий людей используется модель UMT для распознавания действий, а сцену сравнивают с промптом по подписям к изображениям, созданным Tag2Text. Стиль внешнего вида кадров сравнивается с описанием стиля с помощью CLIP, а временной стиль и общая согласованность проверяются по эмбеддингам видео и текста от ViCLIP.

Для каждого параметра используется набор примерно из 100 промптов, составленных специально для его проверки. Отдельный набор из 800 промптов — по 100 для каждой из восьми категорий (животные, архитектура, еда, люди, образ жизни, растения, пейзажи и транспортные средства) — позволяет разбить результаты по тематике. В таблице лидеров значения каждого параметра нормализуются и объединяются в взвешенную оценку качества, взвешенную семантическую оценку и итоговый результат.

Как использовать результаты VBench#

Оценки в таблице лидеров можно сравнивать только в том случае, если модели запускаются на стандартном наборе промптов с одинаковыми настройками сэмплирования. VBench также позволяет оценивать пользовательские видео вне этого набора, но только по шести измерениям, которым не нужен эталонный промпт: согласованность объектов, согласованность фона, плавность движения, динамичность, эстетическое качество и качество изображения.

Поскольку каждое измерение оценивает другая модель, каждая оценка наследует её слепые зоны. Детектор, который не замечает мелкие или необычные объекты, будет так же недосчитывать их и в сгенерированном видео, а эстетический предиктор отражает вкусы данных, на которых он обучался. По мере того как генераторы улучшались в исходных измерениях, ориентированных на внешний вид, та же группа расширила набор тестов. VBench++, опубликованный в IEEE TPAMI, добавляет оценку преобразования изображения в видео, длинных видео и надёжности, охватывающую справедливость, предвзятость и безопасность, а VBench-2.0, выпущенный в марте 2025 года, оценивает 18 измерений «внутренней достоверности», объединённых в группы: соответствие человеку, управляемость, креативность, физика и здравый смысл.

Проверки на основе детекторов применимы и тогда, когда сгенерированные клипы становятся синтетическими обучающими данными для модели компьютерного зрения. Запуск Ultralytics YOLO26 в режиме предсказания на каждом сгенерированном кадре подтверждает, что запрошенные объекты действительно присутствуют до того, как видеоматериал попадёт в обучающую выборку, — такую же проверку с помощью GRiT выполняет измерение VBench по классу объектов.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения