Double Descent

Двойной спуск — это закономерность в машинном обучении, при которой ошибка на невиданных ранее данных уменьшается, увеличивается, а затем снова уменьшается по мере роста ёмкости модели. Интуитивно модель может сначала стать хуже, а потом лучше: модели умеренной сложности бывает трудно обобщать, тогда как гораздо более крупная модель может подогнать обучающие примеры и при этом точно предсказывать результаты на новых примерах.

Как работает двойной спуск#

Знакомый компромисс между смещением и дисперсией предполагает U-образную кривую ошибки. Простые модели недообучаются, потому что не могут уловить важные закономерности. Увеличение сложности сначала улучшает предсказания, но чрезмерная гибкость может сделать предсказания чувствительными к конкретным обучающим примерам. Двойной спуск дополняет эту картину вторым улучшением после пика ошибки; он не отменяет фундаментального различия между смещением и дисперсией. (scikit-learn.org)

Точка перелома — это порог интерполяции: момент, когда модель становится способна подогнать все обучающие примеры, то есть достичь примерно нулевой ошибки на обучении. Вблизи этого порога подгонка под шумные или неверные метки может приводить к нестабильным предсказаниям. За этим порогом у переparameterизованной модели больше гибкости, чем нужно для подгонки примеров, поэтому возможны несколько решений. Некоторые из них обобщаются лучше других. (openai.com)

Представь, что ты соединяешь разбросанные точки измерений. Одна кривая проходит через каждую точку, но резко изгибается между ними; другая тоже проходит через все точки, но ведёт себя более плавно в остальных местах. Это наглядное объяснение двойного спуска показывает, почему одинаковые результаты на обучении могут скрывать совершенно разное поведение при предсказании. Большая ёмкость позволяет находить лучшие решения, но не гарантирует, что обучение их найдёт. (mlu-explain.github.io)

Вариации и связанные понятия#

Двойной спуск в зависимости от модели связан с изменением ёмкости, например ширины сети. Двойной спуск в зависимости от эпох связан с длительностью обучения: ошибка на отложенной выборке улучшается, ухудшается, а затем снова улучшается. Эпоха — это один проход по обучающему набору данных. Объяснение глубокого двойного спуска также показывает, как изменение размера набора данных может сдвинуть порог интерполяции и иногда временно ухудшить качество модели фиксированного размера. Это не повод отказываться от полезных данных. (openai.com)

Двойной спуск отличается от переобучения, при котором модель подстраивается под особенности обучающих данных в ущерб обобщающей способности. Переобучение может объяснить восходящий участок кривой; двойной спуск описывает более широкую закономерность: ошибка уменьшается, увеличивается, а затем снова уменьшается. Одна лишь идеальная точность на обучении не говорит ни о хорошей, ни о плохой обобщающей способности. (scikit-learn.org)

Он также отличается от регуляризации — стратегии обучения, ограничивающей обучаемое решение. Например, L2-регуляризация штрафует за большие веса. Поэтому количество параметров не полностью описывает эффективную сложность модели. На появление выраженной кривой двойного спуска влияют шум в метках, оптимизация и настройки обучения. (developers.google.com)

Примеры применения в реальных условиях#

Эти примеры показывают, почему это явление важно, не предполагая, что оно проявляется в каждой модели, используемой в производстве:

• Обнаружение дефектов на производстве: команда сравнивает сети, которые находят царапины на деталях. Сеть среднего размера может давать больше ложных срабатываний, чем более маленькие и более крупные варианты. Если повторные оценки выявят двойной спуск, прекращение сравнения моделей при первом ухудшении может исключить более эффективную систему контроля.
• Распознавание товарных запасов в рознице: классификатор изображений полок сталкивается с непоследовательной разметкой товаров. Во время обучения ошибка на валидации может сначала вырасти, а затем снова снизиться. Если завершать каждый эксперимент при первом росте ошибки, можно упустить последующее улучшение; если же бездумно продолжать обучение, можно зря потратить ресурсы. Сравнение контрольных точек помогает различить эти варианты.

Практическая оценка и обучение#

Ищи эту закономерность с помощью контролируемых сравнений, а не по одному неудачному запуску. Меняй отдельно ёмкость модели или длительность обучения, сохраняй сопоставимые разбиения данных и повторяй эксперименты с разными случайными начальными значениями. Строй графики ошибки на обучающих и отложенных данных, руководствуясь принципами кривых валидации. Если вместо ошибки отображается точность, направление кривой будет обратным. (scikit-learn.org)

При необходимости используй перекрёстную проверку, а для итоговой оценки оставь нетронутый тестовый набор. Не допускай утечки данных, когда информация из оценочных данных попадает в обучение или выбор модели. Ранняя остановка по-прежнему полезна, но её терпение — количество оценок, допускаемых без улучшения, — должно соответствовать целям эксперимента, а не предположениям о форме кривой. (scikit-learn.org)

Чтобы настроить практический процесс оценки Ultralytics YOLO, установи ultralytics с помощью pip install ultralytics. В этом примере используются YOLO26, документированный режим обучения и режим валидации. (docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # A small dataset keeps this workflow demonstration lightweight.
    model.train(data="coco8.yaml", epochs=3)

    # Evaluate images held out from training.
    metrics = model.val(data="coco8.yaml")
    print(f"Validation mAP50-95: {metrics.box.map:.3f}")

В результатах указана средняя точность по порогам перекрытия объектов обнаружения; чем она выше, тем лучше. COCO8 — это набор данных для проверки рабочего процесса, а не свидетельство двойного спуска. Чтобы подтвердить это явление, нужен более масштабный контролируемый эксперимент на репрезентативных данных. Практический вывод: измеряй обобщающую способность, а не исходи из предположения, что более крупные модели или более длительное обучение всегда помогают или, наоборот, вредят. (docs.ultralytics.com)