Overfitting

Переобучение (overfitting) в машинном обучении возникает, когда модель слишком хорошо изучает обучающие данные, улавливая шум и случайные флуктуации вместо базового распределения данных. Вместо изучения общих закономерностей, применимых к новым, ранее не виденным данным, переобученная модель фактически запоминает конкретные примеры из обучающей выборки. Это приводит к отличной производительности на обучающих данных, но плохой обобщающей способности в реальных сценариях. Это часто описывают как «высокую дисперсию», что означает, что предсказания модели значительно варьируются в зависимости от конкретного набора данных, использованного для обучения.

Link to this sectionПочему происходит переобучение#

Основная причина переобучения — чрезмерная сложность модели относительно объема доступных данных. Если нейронная сеть слишком велика (то есть имеет слишком много слоев или параметров), она легко может запомнить обучающие примеры. Другие способствующие факторы включают:

• Недостаточно данных для обучения: Небольшие наборы данных могут содержать ложные корреляции, которые не существуют в более широкой совокупности. Модели, обученные на ограниченных данных, склонны изучать эти случайные закономерности.
• Шум в данных и выбросы: Высокий уровень шума или нерепрезентативные выбросы в обучающих данных могут ввести модель в заблуждение, заставляя её корректировать внутренние параметры для подгонки под аномалии, а не под истинный сигнал.
• Увеличенная продолжительность обучения: Обучение в течение слишком большого количества эпох позволяет модели продолжать уточнять свои веса, пока она не подстроится под шум в обучающей выборке. Это часто отслеживается с помощью валидационных данных.

Link to this sectionПереобучение против недообучения#

Важно отличать переобучение от недообучения. В то время как переобучение включает в себя изучение слишком большого количества деталей (включая шум), недообучение возникает, когда модель слишком проста, чтобы вообще уловить базовую структуру данных. Недообученная модель плохо работает как на обучающих данных, так и на новых данных, часто приводя к высокому смещению. Баланс между этими двумя крайностями известен как компромисс между смещением и дисперсией.

Link to this sectionПредотвращение переобучения#

Инженеры используют несколько методов для смягчения переобучения и повышения устойчивости модели:

• Регуляризация: Такие методы, как L1/L2-регуляризация или добавление слоев отсева (dropout), вводят штрафы или случайность во время обучения, предотвращая чрезмерную зависимость модели от конкретных признаков.
• Ранняя остановка (Early Stopping): Мониторинг функции потерь на валидационном наборе позволяет остановить обучение, как только производительность на новых данных перестает улучшаться, даже если точность на обучающей выборке продолжает расти.
• Аугментация данных: Искусственное увеличение размера и разнообразия обучающего набора с помощью аугментации данных затрудняет для модели запоминание конкретных изображений.
• Кросс-валидация: Использование методов, таких как k-блочная кросс-валидация, гарантирует, что модель тестируется на разных подмножествах данных, обеспечивая более надежную оценку её производительности.

Link to this sectionПримеры из реальной жизни#

Переобучение может иметь серьезные последствия при развертывании ИИ в производственных средах:

• Медицинская диагностика: В ИИ в здравоохранении модель, обученная обнаруживать рак кожи, может переобучиться на условиях освещения или маркировках линейки, присутствующих на обучающих изображениях. При развертывании в клинике с другим освещением или оборудованием модель может не суметь правильно идентифицировать злокачественные поражения, поскольку она полагалась на нерелевантные фоновые сигналы.
• Финансовое прогнозирование: Модель прогнозирования цен на акции может переобучиться на исторических рыночных трендах, вызванных конкретным, неповторяющимся событием (например, единовременным экономическим кризисом). Такая модель, вероятно, не сможет точно предсказать будущие движения акций, потому что она запомнила прошлые аномалии, а не изучила фундаментальную динамику рынка.

Link to this sectionПример кода: Ранняя остановка с YOLO26#

Используя Ultralytics Platform или локальные скрипты обучения, ты можешь предотвратить переобучение, установив параметр терпения (patience) для ранней остановки. Это остановит обучение, если показатель пригодности на валидации не улучшается в течение заданного количества эпох.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Link to this sectionСвязанные концепции#

• Обобщающая способность (Generalization): Способность модели адаптироваться и хорошо работать на новых, ранее не виденных данных, что является противоположностью переобучения.
• Кросс-валидация: Метод оценки того, насколько результаты статистического анализа будут обобщаться на независимый набор данных.
• Регуляризация: Методы, используемые для уменьшения ошибок путем надлежащей подгонки функции к данному обучающему набору и избегания переобучения.