Overfitting

Переобучение (overfitting) в машинном обучении возникает, когда модель слишком хорошо изучает обучающие данные, улавливая шум и случайные флуктуации вместо базового распределения данных. Вместо изучения общих закономерностей, применимых к новым, ранее не виденным данным, переобученная модель фактически запоминает конкретные примеры из обучающей выборки. Это приводит к отличной производительности на обучающих данных, но плохой обобщающей способности в реальных сценариях. Это часто описывают как «высокую дисперсию», что означает, что предсказания модели значительно варьируются в зависимости от конкретного набора данных, использованного для обучения.

Почему происходит переобучение#

Основная причина переобучения — избыточная сложность модели по сравнению с объемом доступных данных. Если нейронная сеть слишком велика — то есть имеет слишком много слоев или параметров, — она легко может запомнить обучающие примеры. К другим сопутствующим факторам относятся:

• Недостаточно данных для обучения: Небольшие наборы данных могут содержать ложные корреляции, которые не существуют в более широкой совокупности. Модели, обученные на ограниченных данных, склонны изучать эти случайные закономерности.
• Шум данных и выбросы: Высокий уровень шума или нерепрезентативные выбросы в обучающих данных могут ввести модель в заблуждение, заставляя ее настраивать свои внутренние параметры под аномалии, а не под истинный сигнал.
• Увеличенная продолжительность обучения: Обучение в течение слишком большого количества эпох позволяет модели продолжать уточнять свои веса до тех пор, пока она не подстроится под шум в обучающем наборе. Это часто отслеживается с помощью валидационных данных.

Переобучение против недообучения#

Важно отличать переобучение от недообучения. В то время как переобучение предполагает изучение слишком большого количества деталей (включая шум), недообучение возникает, когда модель слишком проста, чтобы вообще улавливать базовую структуру данных. Недообученная модель показывает плохие результаты как на обучающих данных, так и на новых данных, что часто приводит к высокому смещению. Баланс между этими двумя крайностями известен как компромисс между смещением и дисперсией.

Предотвращение переобучения#

Инженеры используют несколько методов для смягчения переобучения и повышения устойчивости модели:

• Регуляризация: Такие методы, как L1/L2-регуляризация или добавление слоев отсеивания, вводят штрафы или случайность во время обучения, предотвращая чрезмерную зависимость модели от конкретных признаков.
• Ранняя остановка: Мониторинг функции потерь на валидационном наборе позволяет остановить обучение, как только производительность на невидимых данных перестает улучшаться, даже если точность обучения продолжает расти.
• Аугментация данных: искусственное увеличение размера и разнообразия обучающего набора с помощью аугментации данных затрудняет запоминание точных изображений моделью.
• Кросс-валидация: Использование таких методов, как k-блочная кросс-валидация, гарантирует, что модель проверяется на различных подмножествах данных, обеспечивая более надежную оценку ее производительности.

Примеры из реальной жизни#

Переобучение может иметь серьезные последствия при развертывании ИИ в производственных средах:

• Медицинская диагностика: В сфере ИИ в здравоохранении модель, обученная обнаруживать рак кожи, может переобучиться под условия освещения или отметки линейки на обучающих изображениях. При развертывании в клинике с другим освещением или оборудованием модель может не распознать злокачественные образования должным образом, поскольку она полагалась на нерелевантные фоновые подсказки.
• Финансовое прогнозирование: Модель прогнозирования цен на акции может переобучиться на исторических рыночных трендах, вызванных конкретным, неповторяющимся событием (например, единовременным экономическим кризисом). Такая модель, вероятно, не сможет точно предсказать будущие движения акций, потому что она запомнила прошлые аномалии, а не изучила фундаментальную динамику рынка.

Пример кода: Досрочная остановка (Early Stopping) с Ultralytics YOLO26#

Используя Ultralytics Platform или локальные скрипты обучения, ты можешь предотвратить переобучение, задав параметр patience для ранней остановки. Это остановит обучение, если метрика качества на валидации не улучшается в течение заданного числа эпох.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Связанные концепции#

• Обобщающая способность (Generalization): Способность модели адаптироваться и хорошо работать на новых, ранее не виденных данных, что является противоположностью переобучения.
• Кросс-валидация: Метод оценки того, насколько результаты статистического анализа будут обобщаться на независимый набор данных.
• Регуляризация: Методы, используемые для уменьшения ошибок путем надлежащей подгонки функции к данному обучающему набору и избегания переобучения.