Underfitting

Недообучение возникает, когда модель машинного обучения (ML) не может уловить закономерности в своих обучающих данных, поэтому она допускает большие ошибки как на уже изученных примерах, так и на новых. Классический пример — прямая, проведённая через точки, расположенные вдоль кривой: обычная линейная регрессия не может повторить изгиб ни при каком значении наклона и точки пересечения с осью. У недообученной модели высокое смещение: её предположения слишком ограничивают истинную зависимость между входами и выходами. Её точность низка как на обучающей выборке, так и на тестовых данных.

Признаки недообучения#

Самый явный признак — высокая ошибка на обучении, которая не снижается. Если функция потерь выходит на плато значительно выше приемлемого уровня, а значение потерь на валидационных данных близко к нему, модель недостаточно обучается. Небольшой разрыв между этими значениями показывает, что проблема не в запоминании данных. Кривые обучения, показывающие зависимость ошибки от размера обучающей выборки, указывают на второй признак: обе кривые выходят на плато с высокой ошибкой, поэтому увеличение объёма однотипных данных почти не помогает. В обнаружении объектов низкая средняя точность (mAP) даже на изображениях, на которых модель обучалась, означает недообучение. Это одна из проверок, описанных в руководстве по тестированию моделей Ultralytics. Сравнение обеих функций потерь позволяет отличить недообучение от переобучения:

Распространённые причины#

• Недостаточная ёмкость: Семейство моделей не может представить нужную закономерность, например линейная модель для данных с криволинейной зависимостью или очень маленькая сеть для сложной задачи компьютерного зрения.
• Слишком мало эпох: Если рано остановить обучение или выбрать настолько низкую скорость обучения, что за доступное время не удастся добиться прогресса, оптимизатор остановится до сходимости.
• Слишком сильная регуляризация: Сильное затухание весов, высокий уровень dropout или слишком агрессивная аугментация настолько ограничивают модель, что она не может усвоить сигнал.
• Неинформативные признаки: Отсутствующие переменные или уменьшение изображений, при котором исчезают мелкие объекты, лишают модель необходимой информации.
• Затухающие градиенты и другие проблемы оптимизации: Ранние слои глубокой сети перестают обучаться, даже если ёмкости модели достаточно.

Недообучение в коде#

В следующем примере с помощью scikit-learn подбираются прямая и кубический полином к зашумлённым точкам синусоиды, а затем вычисляется среднеквадратичная ошибка (MSE) на обучающих и тестовых точках:

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

# Noisy samples of a curved function
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, size=(200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, size=200)
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)

# A straight line underfits; a cubic polynomial has enough capacity for the curve
for degree in (1, 3):
    model = make_pipeline(PolynomialFeatures(degree), LinearRegression()).fit(x_train, y_train)
    train_mse = mean_squared_error(y_train, model.predict(x_train))
    test_mse = mean_squared_error(y_test, model.predict(x_test))
    print(f"degree {degree}: train MSE {train_mse:.3f}, test MSE {test_mse:.3f}")

Для прямой обучающая MSE равна 0.193, а тестовая — 0.188. Обе ошибки высоки и почти равны, что характерно для недообучения. У кубического полинома обе ошибки снижаются до 0.013 и 0.017 — почти до нижней границы 0.010, заданной шумом, добавленным к данным.

Как исправить недообучение#

Решения зависят от причины: использовать более крупную или выразительную модель, обучать её дольше с подходящей скоростью обучения, ослабить регуляризацию или аугментацию данных, а также добавить более информативные входные данные, например изображения высокого разрешения. YOLO26 выпускается в размерах n, s, m, l и x, масштабируемых по глубине и ширине одной архитектуры. Поэтому при высоких значениях потерь на обучении и проверке в results.csv запуска обычно сначала пробуют перейти с yolo26n.pt на размер побольше. В компьютерном зрении часто проблема возникает при обнаружении небольших объектов: детектор, обрабатывающий видео с дрона при низком разрешении входа, пропускает мелкие объекты, которые сохранились бы при более высоком разрешении.

Недообучение и переобучение#

Недообучение и переобучение — два варианта нарушения компромисса между смещением и дисперсией. У недообученной модели высокое смещение, поэтому она одинаково ошибается на обучающих и новых данных. У переобученной модели высокая дисперсия: она точно подстраивается под обучающие данные, включая шум, и плохо обобщает. Классическая картина — U-образная кривая тестовой ошибки: недообучение слева, переобучение справа. Ситуацию усложняют крупные нейронные сети из-за эффекта двойного спуска: тестовая ошибка может снова снижаться, когда модель становится достаточно большой, чтобы точно подогнаться под обучающие данные. Этот эффект наблюдается при изменении размера модели и количества эпох обучения.