Test Data

Тестовые данные — это определённое подмножество большего набора данных, предназначенное исключительно для оценки итоговой производительности модели машинного обучения (ML). В отличие от данных, используемых на более ранних этапах обучения, тестовые данные остаются полностью «невидимыми» для алгоритма вплоть до самого конца цикла разработки. Такая изоляция критически важна, поскольку позволяет непредвзято оценить, насколько хорошо модель компьютерного зрения (CV) или другая система ИИ обобщает информацию на новые входные данные из реального мира. Имитация производственной среды с помощью тестовых данных помогает разработчикам убедиться, что модель действительно выучила закономерности, а не просто запомнила примеры из обучающей выборки.

Роль тестовых данных в жизненном цикле ML#

В стандартном процессе машинного обучения данные обычно разделяют на три отдельные категории, каждая из которых выполняет свою задачу. Понимание различий между этими выборками жизненно важно для создания надёжных систем искусственного интеллекта (AI).

• Обучающие данные: Это самая большая часть набора данных, используемая для обучения модели. Алгоритм итеративно корректирует свои внутренние параметры, или веса, чтобы минимизировать ошибки на этом наборе примеров.
• Валидационные данные: Это подмножество часто используется в процессе обучения для настройки гиперпараметров и принятия решений об архитектуре. Оно служит промежуточной проверкой для предотвращения переобучения, при котором модель хорошо работает на обучающих данных, но не справляется с новыми данными.
• Тестовые данные: Это итоговый «экзамен» для модели. Они никогда не используются для обновления весов или настройки параметров. Оценка на тестовых данных даёт окончательные метрики производительности, такие как точность, полнота и средняя точность (mAP), которые заинтересованные стороны используют, чтобы решить, готова ли модель к развёртыванию.

Правильному управлению этими выборками часто помогают такие инструменты, как Ultralytics Platform, которая может автоматически распределять загруженные наборы данных по этим важным категориям, обеспечивая тщательную оценку модели.

Важность непредвзятой оценки#

Главная ценность тестовых данных заключается в их способности выявлять смещение набора данных и проблемы с дисперсией. Если модель достигает точности 99% на обучающих данных, но только 60% на тестовых, это указывает на высокую дисперсию (переобучение). Напротив, низкие результаты на обеих выборках говорят о недообучении.

Использование выделенной тестовой выборки соответствует научным принципам воспроизводимости и объективности. Без чистой тестовой выборки разработчики рискуют «подгонять обучение под тест», фактически передавая информацию с этапа оценки обратно на этап обучения — это явление называют утечкой данных. В результате оценки производительности оказываются чрезмерно оптимистичными и рушатся, когда модель сталкивается с данными из реального мира.

Практические применения#

Тестовые данные необходимы во всех отраслях, использующих ИИ, чтобы обеспечить безопасность и надёжность систем до их ввода в эксплуатацию.

• Автономное вождение: При разработке автономных транспортных средств обучающие данные могут состоять из миллионов километров поездок по автомагистралям в ясную погоду. Однако тестовые данные должны включать редкие и сложные сценарии — например, сильный снегопад, внезапные препятствия или неоднозначные дорожные знаки, которые автомобиль никогда явно не «видел» во время обучения. Это гарантирует, что система обнаружения объектов сможет безопасно реагировать в непредсказуемых условиях.
• Медицинская диагностика: При создании модели для обнаружения опухолей на медицинских изображениях обучающая выборка может формироваться на основе базы данных одной больницы. Чтобы проверить устойчивость и безопасность модели при общем применении, тестовые данные в идеале должны включать снимки из разных больниц, сделанные на разных аппаратах и представляющие разнообразные демографические группы пациентов. Такая внешняя проверка подтверждает, что ИИ не имеет смещения в пользу определённого типа оборудования или группы населения.

Оценка производительности с помощью кода#

С помощью пакета ultralytics ты можешь легко оценить производительность модели на отложенном наборе данных. Хотя режим val часто используется для валидации во время обучения, его также можно настроить для работы с определённой тестовой выборкой, заданной в конфигурации YAML набора данных.

Вот как оценить предварительно обученную модель YOLO26, чтобы получить такие метрики, как mAP50-95:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Evaluate the model's performance on the validation set
# (Note: In a strict testing workflow, you would point 'data'
# to a YAML that defines a specific 'test' split and use split='test')
metrics = model.val(data="coco8.yaml")

# Print a specific metric, e.g., mAP at 50-95% IoU
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")

Этот процесс создаёт полный набор метрик, позволяя разработчикам объективно сравнивать разные архитектуры, например YOLO26 и YOLO11, и убеждаться, что выбранное решение соответствует определённым целям проекта. Тщательное тестирование — это последний этап контроля, необходимый для обеспечения соответствия высоким стандартам безопасности ИИ.