Benchmark Dataset

基准数据集是一个固定的公开数据集，具有预先定义的数据划分和官方评估指标，研究社区会用它在相同条件下比较模型在同一任务上的表现。结果会按每项指标报告一个数值，例如 ImageNet 上的 top-1 准确率，或 COCO val2017 上的 mAP_50-95。只有因为所有人都使用相同的图像、标签、评分代码和规则，这些数值才可以跨论文比较。基准用于跟踪机器学习（ML）的进展，决定哪些方法会得到采用，并提供论文和模型卡中的关键数据。

基准定义的内容#

基准会固定所有可能导致两个分数无法比较的因素：

• 数据与划分：明确指定训练、验证和测试图像，避免任何人使用更容易的子集进行评估。
• 任务与标签集：明确模型必须输出什么，例如 1,000 个类别之一，或 80 个对象类别中每个对象的边界框和类别。
• 指标与评分代码：明确官方实现，例如 COCO 评估，它会对 0.50 到 0.95 之间的 10 个 IoU 阈值上的精度取平均值。
• 规则：明确什么样的结果才算有效，例如是否允许使用额外训练数据、测试时增强或模型集成。

许多基准会将测试标签保密，以防团队根据测试集调整模型。参赛者使用公开划分进行训练，上传测试图像的预测结果，再由评估服务器根据隐藏标签进行评分，之后才会将结果公布到排行榜上。如果测试标签从不公开，例如 ImageNet，论文就会改为报告公开验证集上的结果。

常见基准数据集#

• 图像分类：ImageNet-1k 使用 top-1 和 top-5 准确率评分；小规模实验则使用 CIFAR-10 和 CIFAR-100。
• 目标检测和分割：COCO包含 80 个类别，主要指标为平均精度均值（mAP）；Pascal VOC包含 20 个类别；LVIS包含 1,203 个类别，适用于长尾识别。
• 自动驾驶：KITTI 和 Waymo Open Dataset 包含真实交通场景的摄像头和激光雷达记录。
• 语言与推理：GPQA 中的研究生级科学问题、Humanity's Last Exam 中涵盖多个领域的专家问题，以及 LiveCodeBench 中的编程题。

Ultralytics 发布的 YOLO26检测准确度采用单模型、单尺度 mAP_50-95，在 640 像素分辨率下使用包含 5,000 张图像的 COCO val2017 划分进行测量；YOLO26n 的得分为 40.9，YOLO26x 的得分为 57.5。yolo detect val data=coco.yaml可以复现该评估。Ultralytics VLM Leaderboard对视觉语言模型采用相同方法，根据模型在医疗影像、航拍照片和零售货架等领域的真实世界检测数据集上的 mAP₅₀ 进行评分。

基准的局限性#

• 对基准过拟合：多年针对同一测试集进行模型选择，可能导致整个领域适应该测试集的特定问题。ImageNetV2 使用原始流程收集了新的测试集来检验这一点：准确率下降了 11% 到 14%，但模型排名保持不变；研究者认为，下降是因为新图像稍难，而不是重复使用测试集所致。
• 标签错误：一项针对 10 个广泛使用的测试集的研究估计，其中至少 3.3% 的标签有误。在修正标签后的 ImageNet 上，当原本标错的测试图像占比仅增加 6% 时，ResNet-18 的表现就超过了 ResNet-50。
• 饱和：当顶尖模型的表现接近标签噪声上限时，分数差异便无法区分模型，于是更难的后续基准开始取代它们。大型语言模型在 MMLU 上的准确率超过 90% 后，Humanity's Last Exam 收集了 2,500 道专家问题。
• 数据污染：测试题目混入网络规模的训练数据，会抬高大型语言模型的分数。LiveCodeBench 通过持续添加竞赛新题及其发布日期来应对这一问题，因此可以用模型训练截止日期之后发布的题目对模型评分。
• 与部署场景不匹配：基准只衡量一种数据分布。在 COCO 上排名第一的模型，在工厂或医院中仍可能漏掉小型、罕见或特定领域的对象，因此团队还会保留来自自身使用场景的黄金数据集。

基准数据集与相关术语的比较#

• 测试数据：留出用于一次性评估已完成模型的数据。基准的测试划分是整个领域共享的测试数据，而团队自己的测试集用于衡量模型在部署数据上的表现。
• 验证数据：开发过程中用于调整超参数和选择检查点的数据。基准通常会提供官方验证划分供此用途。
• 基准测试（速度）：测量模型在指定硬件和运行时上的延迟、吞吐量或内存用量，例如 ONNX Runtime 或 TensorRT；通常会在每次导出后检查准确率，以确认转换没有降低模型性能。