Huber Loss
Huber 损失结合平方误差和绝对误差,以降低异常值对回归的影响,并提供可调节的 delta 阈值和 Python 实现。
Huber 损失是一种回归损失函数,对较小的预测误差进行平方惩罚,对较大的误差进行线性惩罚。它让模型在接近正确答案时使用平滑的目标函数,同时降低异常大误差的影响。当大多数训练样本遵循一致的模式,但其中一些样本存在极端偏差时,这种损失函数就很有用。
Peter J. Huber 在 1964 年的论文位置参数的稳健估计中提出了这个函数。它至今仍是稳健估计的基础工具:拟合一个预测结果对异常值不那么敏感的模型。
Huber 损失的工作原理#
残差是预测值减去目标值。Huber 损失使用一个称为 delta 的正阈值,来确定残差对目标函数的影响:
- 较小的残差: 当残差的绝对值不大于 delta 时,损失为残差平方的一半。
- 较大的残差: 当残差超过 delta 时,损失为 delta x(残差绝对值 - 0.5 x delta)。
两个分段在连接处的函数值和斜率相同。在反向传播过程中,预测值对应的导数在二次区域内等于残差;在区域外,其绝对值会被限制在 delta。因而,残差不断增大时,产生的预测梯度不会随之不断增大。线性尾部限制了极端误差将拟合结果拉离其他观测值的程度。
选择 Delta 并比较损失函数#
均方误差(MSE)对残差平方求平均,会显著放大较大误差的影响。平均绝对误差(MAE)也称为逐元素 L1 损失,它始终使用残差绝对值,并且在零点有一个尖角。Huber 损失结合了零点附近的二次特性和线性尾部,为梯度下降提供了连续可微的目标函数。
delta 越大,平方误差区域就越宽。delta 越小,进入抗异常值线性区域的残差就越多,且该区域的斜率也越低。Delta 与残差的单位相同,因此目标值的归一化会改变它的含义。若将目标值从米转换为厘米,就必须将 delta 乘以 100,才能保持它相对于数据的转换位置不变。
选择 Delta 属于超参数调优问题:使用目标回归指标,在验证数据上比较候选值。Huber 损失适用于连续值预测;交叉熵损失和合页损失则用于分类目标。
回归与计算机视觉中的应用#
在线性回归中,极端观测值可能会使平方误差拟合偏离数据的主要趋势。在包含四个人为添加异常值的生成回归数据集上,HuberRegressor 拟合结果比受这些观测值影响的平方误差拟合结果更贴近主要趋势。
在目标检测中,Ross Girshick 的 Fast R-CNN使用 Smooth L1 损失(等同于 delta 为 1 的 Huber 损失)进行边界框回归。它的线性尾部降低了对坐标异常误差的敏感度,否则这类误差会在训练期间产生较大的梯度。
Ultralytics YOLO 支持通过模型的 init_criterion() 方法使用自定义训练准则,为基于 Huber 的自定义回归目标提供集成接口。此类自定义会改变回归误差对模型更新的影响方式。
Python 中的 Huber 损失#
PyTorch 提供了可配置 delta 和归约方式的 torch.nn.HuberLoss。使用 pip install torch 安装 torch 后,以下计算会展示每个残差的影响:
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# 保留各个损失值,以展示线性尾部。
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())输出为 [0.125, 1.5, 9.5] 与 [0.25, 4.0, 100.0],展示了较大残差对应的惩罚增长有所减缓。使用 reduction="mean" 时,PyTorch 会对所有逐元素损失求平均;"sum" 则会将它们相加。
伪 Huber 损失通过平滑的转换和连续的高阶导数来近似 Huber 损失的形状。Smooth L1 使用不同的缩放约定:在 PyTorch 中,当 beta 等于 delta 时,Huber 损失等于 Smooth L1 损失乘以 delta;当两个阈值都等于 1 时,两者完全相同。










