Underfitting

Недообучение возникает, когда модель машинного обучения (ML) не может уловить закономерности в своих обучающих данных, поэтому она допускает большие ошибки как на уже изученных примерах, так и на новых. Классический пример — прямая, проведённая через точки, расположенные вдоль кривой: обычная линейная регрессия не может повторить изгиб ни при каком значении наклона и точки пересечения с осью. У недообученной модели высокое смещение: её предположения слишком ограничивают истинную зависимость между входами и выходами. Её точность низка как на обучающей выборке, так и на тестовых данных.

Признаки недообучения#

Самый очевидный признак — высокая обучающая ошибка, которая не снижается. Если функция потерь выходит на плато значительно выше приемлемого уровня, а ошибка на валидационных данных близка к ней, модель недостаточно обучается. Небольшой разрыв между этими значениями показывает, что проблема не в запоминании. Кривые обучения, показывающие зависимость ошибки от размера обучающей выборки, дают второй признак: обе кривые выходят на плато при высокой ошибке, поэтому добавление аналогичных данных почти не помогает. Если модель детекции объектов показывает низкое значение средней точности (mAP) даже на изображениях, на которых она обучалась, значит, она недообучена. Сравнение обеих ошибок позволяет отличить недообучение от переобучения:

Распространённые причины#

• Недостаточная ёмкость: Семейство моделей не может представить нужную закономерность, например линейная модель для данных с криволинейной зависимостью или очень маленькая сеть для сложной задачи компьютерного зрения.
• Слишком мало эпох: Если рано остановить обучение или выбрать настолько низкую скорость обучения, что за доступное время не удастся добиться прогресса, оптимизатор остановится до сходимости.
• Слишком сильная регуляризация: Сильное затухание весов, высокий уровень dropout или слишком агрессивная аугментация настолько ограничивают модель, что она не может усвоить сигнал.
• Неинформативные признаки: Отсутствующие переменные или уменьшение изображений, при котором исчезают мелкие объекты, лишают модель необходимой информации.
• Затухающие градиенты и другие проблемы оптимизации: Ранние слои глубокой сети перестают обучаться, даже если ёмкости модели достаточно.

Недообучение в коде#

В следующем примере с помощью scikit-learn подбираются прямая и кубический полином к зашумлённым точкам синусоиды, а затем вычисляется среднеквадратичная ошибка (MSE) на обучающих и тестовых точках:

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

# Noisy samples of a curved function
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, size=(200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, size=200)
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)

# A straight line underfits; a cubic polynomial has enough capacity for the curve
for degree in (1, 3):
    model = make_pipeline(PolynomialFeatures(degree), LinearRegression()).fit(x_train, y_train)
    train_mse = mean_squared_error(y_train, model.predict(x_train))
    test_mse = mean_squared_error(y_test, model.predict(x_test))
    print(f"degree {degree}: train MSE {train_mse:.3f}, test MSE {test_mse:.3f}")

Для прямой обучающая MSE равна 0.193, а тестовая — 0.188. Обе ошибки высоки и почти равны, что характерно для недообучения. У кубического полинома обе ошибки снижаются до 0.013 и 0.017 — почти до нижней границы 0.010, заданной шумом, добавленным к данным.

Как исправить недообучение#

Способ исправления зависит от причины: выбрать более крупную или выразительную модель, увеличить длительность обучения и подобрать подходящую скорость обучения, ослабить регуляризацию или усилить аугментацию данных, добавить более богатые входные данные, например изображения с более высоким разрешением. YOLO26 выпускается в размерах n, s, m, l и x, которые масштабируют глубину и ширину одной архитектуры. Поэтому при высокой обучающей и валидационной ошибке в results.csv обычно в первую очередь переходят с yolo26n.pt на более крупную модель. В компьютерном зрении часто встречается проблема обнаружения мелких объектов: детектор, обрабатывающий видео с дрона при низком разрешении входных данных, не видит мелкие объекты, которые сохранились бы при более высоком разрешении.

Недообучение и переобучение#

Недообучение и переобучение — два варианта нарушения компромисса между смещением и дисперсией. У недообученной модели высокое смещение, поэтому она одинаково ошибается на обучающих и новых данных. У переобученной модели высокая дисперсия: она точно подстраивается под обучающие данные, включая шум, и плохо обобщает. Классическая картина — U-образная кривая тестовой ошибки: недообучение слева, переобучение справа. Ситуацию усложняют крупные нейронные сети из-за эффекта двойного спуска: тестовая ошибка может снова снижаться, когда модель становится достаточно большой, чтобы точно подогнаться под обучающие данные. Этот эффект наблюдается при изменении размера модели и количества эпох обучения.