Перекрестная проверка (Кросс-валидация)

Перекрестная проверка (Cross-Validation) — это мощный метод оценки моделей в машинном обучении (ML), используемый для оценки того, насколько результаты статистического анализа будут обобщаться на независимый набор данных. Это процедура передискретизации, используемая для оценки ML-моделей на ограниченной выборке данных. Основная цель состоит в том, чтобы предотвратить переобучение, когда модель настолько хорошо изучает обучающие данные, что плохо работает на новых, невидимых данных. Моделируя то, как модель будет работать в реальном мире, перекрестная проверка обеспечивает более надежную и достоверную оценку производительности модели.

Как работает перекрестная проверка (Cross-Validation)

Наиболее распространенным методом перекрестной проверки является K-Fold Cross-Validation. Этот процесс включает в себя разделение одного набора данных на несколько частей:

1. Разделение данных: Весь набор обучающих данных случайным образом разделяется на «k» равновеликих подмножеств или «фолдов».
2. Итеративное обучение и проверка: Модель обучается 'k' раз. В каждой итерации одна из складок откладывается в качестве проверочного набора, а модель обучается на оставшихся k-1 складках.
3. Оценка производительности: Производительность модели оценивается на отложенной части данных. Ключевые метрики, такие как точность или средняя средняя точность (mAP), записываются для каждой итерации.
4. Усреднение результатов: После завершения всех 'k' итераций показатели производительности усредняются для получения единой, более стабильной оценки эффективности модели.

Этот подход гарантирует, что каждая точка данных попадет в набор валидации ровно один раз и в набор обучения k-1 раз. Подробное руководство по реализации можно найти в руководстве Ultralytics по K-Fold Cross-Validation.

Перекрестная проверка (Cross-Validation) и простое разделение на проверочные данные

В типичном ML-проекте данные делятся на обучающий, проверочный и тестовый наборы.

• Данные валидации: Используются на этапе обучения для настройки гиперпараметров и принятия решений об архитектуре модели.
• Тестовые данные: Используются только после завершения всего обучения и настройки для предоставления окончательной, непредвзятой оценки способности модели к обобщению.

Простое разделение на обучающую и проверочную выборки может иногда вводить в заблуждение, если проверочная выборка случайно содержит образцы, которые особенно просты или сложны. Перекрестная проверка (Cross-Validation) преодолевает это, используя каждую часть набора данных как для обучения, так и для проверки, обеспечивая более надежную оценку способности модели к обобщению. Это делает ее особенно полезной, когда объем доступных данных ограничен. Популярные фреймворки, такие как Scikit-learn, предоставляют надежные реализации методов перекрестной проверки.

Применение в реальном мире

Перекрестная проверка незаменима при создании надежных систем искусственного интеллекта в различных областях:

1. Анализ медицинских изображений: При разработке сверточной нейронной сети (CNN) для анализа медицинских изображений, например, для обнаружения опухолей на сканах мозга с использованием наборов данных, таких как набор данных об опухолях мозга, кросс-валидация (CV) используется для тщательной оценки диагностической точности и обобщения модели на различных данных пациентов. Эта надежная оценка имеет решающее значение перед рассмотрением клинических испытаний или обращением за разрешением регулирующих органов, таких как FDA.
2. Автономные транспортные средства: Для моделей обнаружения объектов, таких как Ultralytics YOLO, используемых в автономных транспортных средствах, CV помогает обеспечить надежную работу при обнаружении пешеходов, велосипедистов и других транспортных средств в различных условиях окружающей среды. Эта проверка на сложных наборах данных, таких как Argoverse, имеет решающее значение перед развертыванием модели в критически важных для безопасности системах, таких как системы в решениях ИИ в автомобильной промышленности.

Другие приложения включают оценку моделей для сегментации изображений, задач обработки естественного языка (NLP), таких как анализ тональности, и оценку рисков в финансовом моделировании. Платформы, такие как Ultralytics HUB, могут помочь управлять экспериментами и артефактами, созданными во время таких методов оценки, оптимизируя жизненный цикл разработки.