获取 YOLO 许可
返回 Ultralytics 术语表

Double Descent

双重下降是一种规律:测试误差先下降,在插值阈值处达到峰值,随后随着模型变大或训练时间变长再次下降。

双重下降是一种模式:随着模型规模扩大或训练时间延长,模型在未见数据上的错误率先下降、随后上升,最后再次下降。上升阶段的峰值出现在模型刚好大到足以精确拟合每个训练样本时。超过这一点后,增加模型容量会让测试错误率再次下降,通常甚至低于任何较小模型所能达到的最佳结果。

这种模式扩展了教科书中的偏差-方差权衡图景。该理论预测误差会呈单个 U 形曲线:随着模型捕捉到更多结构,误差会下降;随后模型开始过拟合噪声,误差便会上升,因此最佳模型处于中间某处。对于现代神经网络等过度参数化模型来说,这个 U 形只是曲线的前半段。Mikhail Belkin 及其同事在 2019 年发表的论文中为这一现象命名;同年,哈佛大学和 OpenAI 的研究人员也证明,这一现象会出现在标准深度学习模型中,包括 ResNet和 Transformer。

插值阈值#

峰值出现在插值阈值处,即训练错误率首次降至零时的模型规模。恰好达到这一规模的模型只有刚好足够的参数来穿过所有训练点,因此实现这一点的方式基本只有一种。如果某些标签包含噪声或错误,这个单一解就必须剧烈弯曲来拟合它们,训练点之间的预测也会变得不稳定,测试错误率随之飙升。

超过这一阈值后,许多不同的参数设置都能完美拟合训练数据。随机梯度下降等基于梯度的训练方法往往会收敛到这些解中最平滑的一个;对于线性模型,这恰好是权重最小的解,因此额外的容量会用于平滑数据点之间的函数。这种对简单解的隐式偏好,解释了为什么参数数量远超训练样本数的网络仍然能够很好地泛化。

下面的脚本使用 40 个带噪声的训练点,通过随机特征回归重现这条曲线。每个模型都会拟合最小范数最小二乘解,而随机特征的数量则代表模型规模:

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

特征数量从 10 增至 20 时,测试误差从 3.37 降至 2.98;增至 30 时升至 42.12,增至 40 时约为 3,960,此时模型可以精确插值全部 40 个数据点;随后,误差在 50 个特征时降至 29.01,在 100 个特征时降至 2.72,在 1,000 个特征时降至 1.33,远低于小型模型中的最佳结果。

模型维度、训练轮次维度和样本维度#

双下降会沿三个维度出现。模型维度的双下降是经典曲线,它在固定训练预算下绘制测试误差与模型大小(例如网络宽度)的关系。轮次维度的双下降则绘制大型模型的测试误差与训练时间的关系,训练时间以轮次计,因此随着训练继续,验证误差可能先改善、再变差、然后再次改善。样本维度的双下降绘制测试误差与训练集大小的关系:更多数据会将阈值推向更大的模型,因此增加数据可能会暂时损害固定大小模型的表现。

标签噪声会让这三个维度上的双重下降更加明显。恰当设置的正则化(例如权重衰减)和强力数据增强可以缩小或消除峰值,这也是精心配置的训练过程中这一现象往往不太明显的原因之一。

有两种相关现象很容易与双下降混淆。在grokking现象中,训练准确率达到 100% 后,验证准确率仍会长时间徘徊在随机猜测水平附近,然后突然上升,但不会先变差。缩放定律描述的是大型模型随着参数、数据和计算量增加而平稳提升的过程,也就是远在插值峰值右侧的区域。

对视觉模型训练的启示#

轮次维度的双下降在日常训练中最重要:训练中途验证指标下降,并不总意味着训练已经达到峰值。在训练模式下训练 Ultralytics YOLO26模型时,默认情况下,patience 参数只有在验证适应度连续 100 轮没有提升后才会结束训练;适应度最佳的检查点会保存为 best.pt,因此短暂的波动既不会结束训练,也不会取代最佳权重。

标签噪声决定了模型维度峰值的尖锐程度。在哈佛大学和 OpenAI 的实验中,研究人员使用干净的标签在 CIFAR-10 上训练不同宽度的 ResNet18 模型,发现测试误差在插值阈值附近只形成平台;加入标签噪声后,平台变成了峰值。当 15% 的训练标签被随机化时,中等大小的网络在测试集上的表现比更窄和更宽的网络都差。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来