Данные для валидации

Данные валидации — это выборка данных, удерживаемая от процесса обучения, которая используется для обеспечения объективной оценки соответствия модели при настройке ее гиперпараметров. Основная роль набора валидации заключается в управлении разработкой модели машинного обучения (ML), предлагая частую, независимую оценку ее производительности. Эта петля обратной связи необходима для создания моделей, которые не только хорошо работают с данными, которые они видели, но и эффективно обобщаются на новые, невиданные данные, концепция, лежащая в основе создания надежных систем искусственного интеллекта (AI).

Роль данных валидации

Основная цель данных валидации — предотвратить переобучение. Переобучение происходит, когда модель слишком хорошо изучает данные обучения, улавливая шум и детали, которые не применимы к новым данным, тем самым ухудшая ее производительность. Проверяя модель на наборе валидации через регулярные промежутки времени (например, после каждой эпохи), разработчики могут отслеживать ее ошибку обобщения. Если производительность на данных обучения продолжает улучшаться, в то время как производительность на данных валидации стагнирует или ухудшается, это явный признак переобучения.

Этот процесс оценки имеет решающее значение для подбора гиперпараметров. Гиперпараметры — это параметры конфигурации, внешние по отношению к модели, такие как скорость обучения или размер пакета (batch size), которые не изучаются на основе данных. Валидационный набор позволяет экспериментировать с различными комбинациями гиперпараметров, чтобы найти набор, который дает наилучшую производительность. Этот итеративный процесс является основной частью выбора модели и оптимизации.

Данные валидации в сравнении с данными обучения и тестирования

В типичном проекте ML набор данных разделен на три подмножества, и понимание их различных ролей имеет основополагающее значение. Распространенным подходом к разделению данных является выделение 70% для обучения, 15% для валидации и 15% для тестирования.

• Обучающие данные: Это самая большая часть данных, используемая для обучения модели. Модель итеративно изучает закономерности, признаки и взаимосвязи из этого набора данных, корректируя свои внутренние веса модели.
• Данные валидации: Это отдельное подмножество используется для обеспечения объективной оценки в процессе обучения. Это помогает настроить гиперпараметры и принять ключевые решения, такие как когда следует внедрять раннюю остановку для предотвращения переобучения. В экосистеме Ultralytics эта оценка обрабатывается в режиме валидации.
• Тестовые данные: Этот набор данных удерживается до тех пор, пока модель не будет полностью обучена и настроена. Он используется только один раз для предоставления окончательной, непредвзятой оценки производительности модели. Производительность тестового набора показывает, как ожидается, что модель будет работать в реальном сценарии развертывания.

Строгое разделение, особенно между наборами для валидации и тестирования, имеет решающее значение для точной оценки возможностей модели и избежания компромисса между смещением и дисперсией.

Реальные примеры

1. Компьютерное зрение Обнаружение объектов: При обучении модели Ultralytics YOLO для обнаружения объектов на изображениях (например, с использованием набора данных VisDrone) часть размеченных изображений откладывается в качестве данных для проверки. Во время обучения mAP (средняя точность) модели рассчитывается на этом наборе данных для проверки после каждой эпохи. Этот mAP проверки помогает решить, когда остановить обучение или какой набор методов аугментации данных работает лучше всего, перед окончательной проверкой производительности на тестовом наборе. Эффективные стратегии оценки модели в значительной степени зависят от этого разделения.
2. Обработка естественного языка Классификация текста: При разработке модели для классификации отзывов клиентов как положительных или отрицательных (анализ тональности) используется набор валидации для выбора оптимальной архитектуры (например, LSTM против Transformer) или настройки гиперпараметров, таких как dropout rates. Модель, достигающая наивысшего F1-score или точности на наборе валидации, будет выбрана для окончательного тестирования. Такие ресурсы, как Hugging Face Datasets, часто предоставляют наборы данных, предварительно разделенные для этой цели.

Перекрестная проверка (Кросс-валидация)

Когда объем доступных данных ограничен, часто используется метод, называемый перекрестной проверкой (в частности, K-Fold Cross-Validation). Здесь обучающие данные разделяются на 'K' подмножеств (фолдов). Модель обучается K раз, каждый раз используя K-1 фолдов для обучения, а оставшийся фолд в качестве набора для проверки. Затем производительность усредняется по всем K запускам. Это обеспечивает более надежную оценку производительности модели и позволяет лучше использовать ограниченные данные, как объясняется в таких ресурсах, как документация scikit-learn и руководство Ultralytics по K-Fold Cross-Validation.

В заключение, данные валидации являются краеугольным камнем построения надежных и высокопроизводительных моделей ИИ с помощью таких фреймворков, как PyTorch и TensorFlow. Они обеспечивают эффективную настройку гиперпараметров, выбор модели и предотвращение переобучения, гарантируя, что модели хорошо обобщаются за пределами данных, на которых они были обучены. Платформы, такие как Ultralytics HUB, предлагают интегрированные инструменты для эффективного управления этими наборами данных.