获取 YOLO 许可
返回 Ultralytics 术语表

VBench

VBench 从主体一致性到提示词遵循度,对 AI 生成视频的 16 个维度进行评分。了解每项指标的衡量内容,以及如何解读结果。

VBench 是一个基准测试套件,用于评估文本生成视频的质量,并从 16 个独立维度对生成片段的视觉质量和提示遵循程度进行评分。南洋理工大学 S-Lab 和上海人工智能实验室的研究人员于 2023 年 11 月在论文《VBench:视频生成模型综合基准测试套件》中介绍了该套件;这篇论文入选了 CVPR 2024 的亮点论文。此后,其公开排行榜已成为比较视频生成模型的常用参考,涵盖原始论文中的 LaVie、ModelScope、VideoCrafter 和 CogVideo 模型,以及后续的扩散 Transformer系统。

VBench 出现之前,评估主要依赖 Fréchet Video Distance 等单一分布指标,即Fréchet Inception Distance (FID)在视频领域的对应指标。这些指标比较真实片段和生成片段的特征统计数据,因此必须用一个数值同时代表动作、身份和提示遵循程度。VBench 将质量拆分成多个部分,让开发者准确了解模型在哪些方面存在不足;其作者还为每个维度收集了人工偏好标注,通过比较不同模型生成的视频对,确认每项自动评分都能像观众一样对模型进行排序。

16 个维度#

VBench 评估维度分为两组:

  • 视频质量:不考虑提示,仅评判视频片段本身,包括主体一致性、背景一致性、时间闪烁、动作平滑度和动态程度(用于衡量随时间变化的质量),以及美学质量和每帧的成像质量。
  • 视频与条件的一致性:对照提示检查视频片段,内容方面包括物体类别、多物体、人体动作、颜色、空间关系和场景;风格方面包括外观风格和时间风格;此外还包括整体一致性。

动态程度可平衡一致性指标。近乎静止的片段几乎默认就能在主体一致性和时间闪烁方面取得好分数,因此 VBench 也会衡量实际发生了多少运动。结合这些维度进行判断,可以避免模型靠生成会动的照片来取胜。

各维度的评分方式#

每个维度都有自己的评估器,通常是应用于采样帧的预训练视觉模型。主体一致性会比较 DINO(一个自监督视觉 Transformer)在不同帧中的特征;背景一致性则使用 CLIP 图像特征进行类似比较。时间闪烁是连续帧之间像素绝对差的均值,只在使用 RAFT 光流筛选出的近乎静止的视频片段上进行测量;RAFT 还会估算动态程度所需的动作信息。动作平滑度会检查一个帧插值模型 AMT 对丢弃帧的重建效果,因为自然动作可以根据相邻帧预测。美学质量使用 LAION 美学预测器评估,成像质量则使用 MUSIQ 模型检测模糊、噪声和过曝。

内容维度会对视频帧运行其他模型。物体类别、多物体、颜色和空间关系会使用 GRiT 目标检测与密集图像描述模型,确认指定物体是否以正确的颜色和布局出现。人体动作使用 UMT 动作识别模型;场景会将提示与 Tag2Text 生成的图像描述进行比较;外观风格使用 CLIP 将视频帧与风格描述进行比较;时间风格和整体一致性则会比较 ViCLIP 提取的视频和文本嵌入。

每个维度都有一套约 100 条提示组成的提示集,用于测试该维度。另有一套包含 800 条提示的提示集,每类 100 条,分为动物、建筑、食物、人物、生活方式、植物、风景和车辆八类,可按主题查看结果。排行榜会对各维度进行归一化,并将其汇总为加权质量分数、加权语义分数和总分。

使用 VBench 结果#

只有在标准提示词套件和相同采样设置下运行模型,排行榜分数才具有可比性。VBench 也可以为套件之外的自定义视频打分,但仅限于六个不需要参考提示词的维度:主体一致性、背景一致性、运动平滑度、动态程度、美学质量和成像质量。

由于每个维度都由另一个模型测量,因此每项分数都会继承该模型的盲点。检测器如果漏掉小型或不常见的物体,也会低估生成视频中的这类物体;美学预测器则反映了其训练数据所体现的审美偏好。随着生成器在最初侧重外观的维度上不断改进,同一研究团队扩展了这套评测。发表于 IEEE TPAMI 的 VBench++ 增加了图像转视频、长视频和可信度评估,涵盖公平性、偏见和安全性;而于 2025 年 3 月发布的 VBench-2.0 会对 18 个“内在忠实度”维度打分,这些维度分为人类保真度、可控性、创造力、物理规律和常识。

生成片段成为视觉模型的合成训练数据时,这些基于检测器的检查同样适用。在每个生成帧上以预测模式运行 Ultralytics YOLO26,可以确认所需物体确实出现,然后再将视频素材加入训练集;VBench 的物体类别维度会用 GRiT 执行同样的检查。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来