Double Descent
Двойной спуск — это закономерность, при которой ошибка на тестовой выборке сначала снижается, достигает пика на пороге интерполяции, а затем снова падает по мере увеличения модели или длительности обучения.
Двойное падение — это закономерность, при которой ошибка модели на невиданных данных сначала уменьшается, затем растёт, а после снова снижается по мере увеличения модели или продолжения обучения. Рост достигает пика около момента, когда модель впервые становится достаточно большой, чтобы точно подогнать каждый обучающий пример. После этого увеличение ёмкости снова снижает ошибку на тестовых данных — часто ниже лучшего результата любой модели меньшего размера.
Эта закономерность дополняет учебное представление о компромиссе смещения и дисперсии, согласно которому существует одна U-образная кривая: ошибка снижается по мере того, как модель улавливает больше структуры, а затем растёт, когда начинается переобучение на шуме. Поэтому лучшая модель находится где-то посередине. Для сильно переопараметризованных моделей, таких как современные нейронные сети, U-образная форма описывает лишь первую половину кривой. Михаил Белкин и его коллеги назвали это явление в статье, опубликованной в 2019 году, а исследователи из Harvard и OpenAI в том же году показали, что оно наблюдается в стандартных моделях глубокого обучения, включая ResNet и трансформеры.
Порог интерполяции#
Пик приходится на порог интерполяции — размер модели, при котором ошибка на обучающих данных впервые достигает нуля. Модели такого размера едва хватает параметров, чтобы пройти через все точки обучающей выборки, поэтому способов сделать это практически нет. Если некоторые метки зашумлены или ошибочны, единственное решение приходится сильно изгибать, чтобы подогнать под них; прогнозы между обучающими точками становятся непредсказуемыми, а ошибка на тестовых данных резко возрастает.
За порогом множество различных наборов параметров идеально соответствуют обучающим данным. Методы обучения на основе градиента, например стохастический градиентный спуск, обычно сходятся к самому гладкому из таких решений; в линейных моделях это в точности решение с наименьшими весами. Поэтому дополнительная ёмкость используется для сглаживания функции между точками. Именно это неявное предпочтение простых решений позволяет сети с гораздо большим числом параметров, чем обучающих примеров, хорошо обобщать данные.
Приведённый ниже скрипт воспроизводит кривую с помощью регрессии на случайных признаках и 40 зашумлённых обучающих точках. Каждая модель находит решение метода наименьших квадратов с минимальной нормой, а количество случайных признаков играет роль размера модели:
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")Ошибка на тестовой выборке снижается с 3,37 до 2,98 при переходе от 10 к 20 признакам, возрастает до 42,12 при 30 признаках и примерно до 3960 при 40 признаках, когда модель может точно интерполировать все 40 точек, а затем падает до 29,01 при 50, до 2,72 при 100 и до 1,33 при 1000 признаках — намного ниже, чем у лучшей модели малого размера.
По модели, эпохам и объёму выборки#
Двойной спуск проявляется по трём осям. Классическая модельная форма двойного спуска показывает ошибку на тестовой выборке в зависимости от размера модели, например ширины сети, при фиксированном бюджете обучения. Эпохальная форма показывает её в зависимости от времени обучения в эпохах для большой модели: по мере продолжения обучения ошибка на валидации может сначала уменьшаться, затем расти и снова уменьшаться. Выборочная форма показывает её в зависимости от размера обучающей выборки: увеличение объёма данных сдвигает порог в сторону более крупных моделей, поэтому добавление данных может временно ухудшить результаты модели фиксированного размера.
Шум в метках усиливает все три варианта. Хорошо настроенная регуляризация, например затухание весов, и мощная аугментация данных могут уменьшить пик или вовсе устранить его. Поэтому при тщательно настроенном обучении этот эффект часто выражен слабо.
С ним легко спутать два связанных явления. При гроккинге точность на валидации долго остаётся около уровня случайного угадывания после того, как точность на обучении достигает 100%, а затем резко возрастает, не ухудшаясь предварительно. Законы масштабирования описывают плавное улучшение больших моделей при увеличении числа параметров, объёма данных и вычислений — режим далеко справа от пика интерполяции.
Значение для обучения моделей компьютерного зрения#
Эпохальная форма особенно важна в повседневной работе: спад метрики на валидации в середине обучения не всегда означает, что обучение достигло пика. При обучении моделей Ultralytics YOLO26 в режиме training аргумент patience по умолчанию завершает запуск только после 100 эпох без улучшения fitness на валидации, а контрольная точка с наилучшим fitness сохраняется как best.pt. Поэтому временный скачок не завершает запуск и не заменяет лучшие веса.
Шум в метках определяет, насколько острым будет пик для модели. В экспериментах Harvard и OpenAI модели ResNet18 с постепенно увеличивавшейся шириной обучались на CIFAR-10 с чистыми метками и показывали лишь плато ошибки на тестовой выборке около порога интерполяции; добавление шума в метки превратило плато в пик. Когда 15% обучающих меток случайным образом заменили, сети среднего размера показали результаты хуже, чем более узкие и более широкие сети.










