Double Descent
双重下降是一种规律:测试误差先下降,在插值阈值处达到峰值,随后随着模型变大或训练时间变长再次下降。
双重下降是一种模式:随着模型规模扩大或训练时间延长,模型在未见数据上的错误率先下降、随后上升,最后再次下降。上升阶段的峰值出现在模型刚好大到足以精确拟合每个训练样本时。超过这一点后,增加模型容量会让测试错误率再次下降,通常甚至低于任何较小模型所能达到的最佳结果。
这种模式扩展了教科书中的偏差-方差权衡图景。该理论预测误差会呈单个 U 形曲线:随着模型捕捉到更多结构,误差会下降;随后模型开始过拟合噪声,误差便会上升,因此最佳模型处于中间某处。对于现代神经网络等过度参数化模型来说,这个 U 形只是曲线的前半段。Mikhail Belkin 及其同事在 2019 年发表的论文中为这一现象命名;同年,哈佛大学和 OpenAI 的研究人员也证明,这一现象会出现在标准深度学习模型中,包括 ResNet和 Transformer。
插值阈值#
峰值出现在插值阈值处,即训练错误率首次降至零时的模型规模。恰好达到这一规模的模型只有刚好足够的参数来穿过所有训练点,因此实现这一点的方式基本只有一种。如果某些标签包含噪声或错误,这个单一解就必须剧烈弯曲来拟合它们,训练点之间的预测也会变得不稳定,测试错误率随之飙升。
超过这一阈值后,许多不同的参数设置都能完美拟合训练数据。随机梯度下降等基于梯度的训练方法往往会收敛到这些解中最平滑的一个;对于线性模型,这恰好是权重最小的解,因此额外的容量会用于平滑数据点之间的函数。这种对简单解的隐式偏好,解释了为什么参数数量远超训练样本数的网络仍然能够很好地泛化。
下面的脚本使用 40 个带噪声的训练点,通过随机特征回归重现这条曲线。每个模型都会拟合最小范数最小二乘解,而随机特征的数量则代表模型规模:
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")特征数量从 10 增至 20 时,测试误差从 3.37 降至 2.98;增至 30 时升至 42.12,增至 40 时约为 3,960,此时模型可以精确插值全部 40 个数据点;随后,误差在 50 个特征时降至 29.01,在 100 个特征时降至 2.72,在 1,000 个特征时降至 1.33,远低于小型模型中的最佳结果。
模型维度、训练轮次维度和样本维度#
双下降会沿三个维度出现。模型维度的双下降是经典曲线,它在固定训练预算下绘制测试误差与模型大小(例如网络宽度)的关系。轮次维度的双下降则绘制大型模型的测试误差与训练时间的关系,训练时间以轮次计,因此随着训练继续,验证误差可能先改善、再变差、然后再次改善。样本维度的双下降绘制测试误差与训练集大小的关系:更多数据会将阈值推向更大的模型,因此增加数据可能会暂时损害固定大小模型的表现。
标签噪声会让这三个维度上的双重下降更加明显。恰当设置的正则化(例如权重衰减)和强力数据增强可以缩小或消除峰值,这也是精心配置的训练过程中这一现象往往不太明显的原因之一。
有两种相关现象很容易与双下降混淆。在grokking现象中,训练准确率达到 100% 后,验证准确率仍会长时间徘徊在随机猜测水平附近,然后突然上升,但不会先变差。缩放定律描述的是大型模型随着参数、数据和计算量增加而平稳提升的过程,也就是远在插值峰值右侧的区域。
对视觉模型训练的启示#
轮次维度的双下降在日常训练中最重要:训练中途验证指标下降,并不总意味着训练已经达到峰值。在训练模式下训练 Ultralytics YOLO26模型时,默认情况下,patience 参数只有在验证适应度连续 100 轮没有提升后才会结束训练;适应度最佳的检查点会保存为 best.pt,因此短暂的波动既不会结束训练,也不会取代最佳权重。
标签噪声决定了模型维度峰值的尖锐程度。在哈佛大学和 OpenAI 的实验中,研究人员使用干净的标签在 CIFAR-10 上训练不同宽度的 ResNet18 模型,发现测试误差在插值阈值附近只形成平台;加入标签噪声后,平台变成了峰值。当 15% 的训练标签被随机化时,中等大小的网络在测试集上的表现比更窄和更宽的网络都差。










