Benchmark Dataset

Набор данных для бенчмарка — это фиксированный общедоступный набор данных с заранее определёнными разбиениями и официальной метрикой оценки, который исследовательское сообщество использует, чтобы сравнивать модели для одной задачи в одинаковых условиях. Результаты указывают одним числом для каждой метрики, например точностью top-1 на ImageNet или mAP50-95 на COCO val2017. Эти числа можно сравнивать между статьями только потому, что все используют одни и те же изображения, метки, код оценки и правила. Бенчмарки отслеживают прогресс в машинном обучении (ML), помогают определить, какие методы будут внедрены, и дают ключевые цифры для статей и карточек моделей.

Что определяет бенчмарк#

Бенчмарк фиксирует все условия, от которых может зависеть сопоставимость двух результатов:

• Данные и разбиения: Конкретные обучающие, валидационные и тестовые изображения, чтобы никто не мог оценивать модель на более простой подвыборке.
• Задача и набор меток: Что должна выдавать модель — например, один класс из 1,000 или рамку и класс для каждой из 80 категорий объектов.
• Метрика и код оценки: Официальная реализация, например оценка COCO, в которой точность усредняется по десяти порогам IoU от 0.50 до 0.95.
• Правила: Что считается допустимой заявкой — например, разрешены ли дополнительные обучающие данные, аугментация во время тестирования или ансамбли моделей.

Во многих бенчмарках метки для тестовых данных остаются закрытыми, чтобы команды не настраивали модели на тестовой выборке. Участники обучаются на открытых разбиениях, загружают предсказания для тестовых изображений, а сервер оценки сверяет их со скрытыми метками, прежде чем результаты появятся в рейтинге. Если тестовые метки никогда не публикуются, как в случае с ImageNet, в статьях вместо этого приводят результаты на открытой валидационной выборке.

Распространённые наборы данных для бенчмарков#

• Классификация изображений: ImageNet-1k с оценкой по точности top-1 и top-5, а также CIFAR-10 и CIFAR-100 для небольших экспериментов.
• Детекция объектов и сегментация: COCO с 80 категориями и средней точностью по среднему (mAP) в качестве основной метрики, Pascal VOC с 20 категориями и LVIS с 1,203 категориями для распознавания объектов с длинным хвостом.
• Автономное вождение: KITTI и открытый набор данных Waymo с записями реального дорожного движения, снятыми камерами и лидарами.
• Язык и логическое мышление: Научные вопросы уровня аспирантуры в GPQA, экспертные вопросы из разных областей в «Последнем экзамене человечества» и задачи на программирование в LiveCodeBench.

Ultralytics публикует точность детекции YOLO26 как mAP50-95 одной модели в одном масштабе на разбиении COCO val2017 из 5,000 изображений с разрешением 640 пикселей: от 40.9 для YOLO26n до 57.5 для YOLO26x. yolo detect val data=coco.yaml воспроизводит эту оценку.

Ограничения бенчмарков#

• Переобучение на бенчмарке: За годы выбора моделей на одной тестовой выборке область исследований может подстроиться под особенности этой выборки. Для проверки этого ImageNetV2 собрал новую тестовую выборку по исходной процедуре: точность упала на 11–14%, но рейтинг моделей сохранился. Авторы объяснили падение тем, что изображения были немного сложнее, а не повторным использованием тестовой выборки.
• Ошибки в метках: Исследование 10 широко используемых тестовых наборов показало, что как минимум 3.3% их меток ошибочны. На ImageNet с исправленными метками ResNet-18 превосходит ResNet-50, если доля изначально неверно размеченных тестовых изображений увеличивается всего на 6%.
• Насыщение: Когда лучшие модели приближаются к пределу, заданному шумом в метках, различия в оценках перестают их различать, и на смену приходят более сложные бенчмарки. После того как большие языковые модели достигли точности 90% на MMLU, для «Последнего экзамена человечества» собрали 2,500 экспертных вопросов.
• Загрязнение: Попадание тестовых заданий в обучающие данные веб-масштаба завышает оценки больших языковых моделей. LiveCodeBench решает эту проблему, постоянно добавляя новые конкурсные задачи вместе с датами их публикации, чтобы каждую модель можно было оценить на задачах, опубликованных после окончания её обучения.
• Несоответствие условиям развёртывания: Бенчмарк измеряет качество на одном распределении данных. Модель, занявшая первое место на COCO, всё равно может пропускать маленькие, необычные или специфичные для предметной области объекты на заводе или в больнице. Поэтому команды также поддерживают эталонный набор данных для собственного сценария использования.

Набор данных для бенчмарка и связанные термины#

• Тестовые данные: Данные, отложенные для однократной оценки готовой модели. Тестовое разбиение бенчмарка — это общие для всей области тестовые данные, а собственная тестовая выборка команды измеряет качество на данных, соответствующих условиям развёртывания.
• Валидационные данные: Данные, используемые при разработке для настройки гиперпараметров и выбора контрольных точек. Для этого в бенчмарки часто включают официальное валидационное разбиение.
• Бенчмаркинг (скорость): Измерение задержки, пропускной способности или потребления памяти модели на заданном оборудовании и в средах выполнения, например ONNX Runtime или TensorRT. Обычно после каждого экспорта также проверяют точность, чтобы убедиться, что преобразование не ухудшило модель.