获取 YOLO 许可
返回 Ultralytics 术语表

Huber Loss

Huber 损失结合平方误差和绝对误差,以降低异常值对回归的影响,并提供可调节的 delta 阈值和 Python 实现。

Huber 损失是一种回归损失函数,对较小的预测误差进行平方惩罚,对较大的误差进行线性惩罚。它让模型在接近正确答案时使用平滑的目标函数,同时降低异常大误差的影响。当大多数训练样本遵循一致的模式,但其中一些样本存在极端偏差时,这种损失函数就很有用。

Peter J. Huber 在 1964 年的论文位置参数的稳健估计中提出了这个函数。它至今仍是稳健估计的基础工具:拟合一个预测结果对异常值不那么敏感的模型。

Huber 损失的工作原理#

残差是预测值减去目标值。Huber 损失使用一个称为 delta 的正阈值,来确定残差对目标函数的影响:

  • 较小的残差: 当残差的绝对值不大于 delta 时,损失为残差平方的一半。
  • 较大的残差: 当残差超过 delta 时,损失为 delta x(残差绝对值 - 0.5 x delta)。

两个分段在连接处的函数值和斜率相同。在反向传播过程中,预测值对应的导数在二次区域内等于残差;在区域外,其绝对值会被限制在 delta。因而,残差不断增大时,产生的预测梯度不会随之不断增大。线性尾部限制了极端误差将拟合结果拉离其他观测值的程度。

选择 Delta 并比较损失函数#

均方误差(MSE)对残差平方求平均,会显著放大较大误差的影响。平均绝对误差(MAE)也称为逐元素 L1 损失,它始终使用残差绝对值,并且在零点有一个尖角。Huber 损失结合了零点附近的二次特性和线性尾部,为梯度下降提供了连续可微的目标函数。

delta 越大,平方误差区域就越宽。delta 越小,进入抗异常值线性区域的残差就越多,且该区域的斜率也越低。Delta 与残差的单位相同,因此目标值的归一化会改变它的含义。若将目标值从米转换为厘米,就必须将 delta 乘以 100,才能保持它相对于数据的转换位置不变。

选择 Delta 属于超参数调优问题:使用目标回归指标,在验证数据上比较候选值。Huber 损失适用于连续值预测;交叉熵损失和合页损失则用于分类目标。

回归与计算机视觉中的应用#

在线性回归中,极端观测值可能会使平方误差拟合偏离数据的主要趋势。在包含四个人为添加异常值的生成回归数据集上,HuberRegressor 拟合结果比受这些观测值影响的平方误差拟合结果更贴近主要趋势。

在目标检测中,Ross Girshick 的 Fast R-CNN使用 Smooth L1 损失(等同于 delta 为 1 的 Huber 损失)进行边界框回归。它的线性尾部降低了对坐标异常误差的敏感度,否则这类误差会在训练期间产生较大的梯度。

Ultralytics YOLO 支持通过模型的 init_criterion() 方法使用自定义训练准则,为基于 Huber 的自定义回归目标提供集成接口。此类自定义会改变回归误差对模型更新的影响方式。

Python 中的 Huber 损失#

PyTorch 提供了可配置 delta 和归约方式的 torch.nn.HuberLoss。使用 pip install torch 安装 torch 后,以下计算会展示每个残差的影响:

import torch

predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)

# 保留各个损失值,以展示线性尾部。
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()

print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())

输出为 [0.125, 1.5, 9.5] 与 [0.25, 4.0, 100.0],展示了较大残差对应的惩罚增长有所减缓。使用 reduction="mean" 时,PyTorch 会对所有逐元素损失求平均;"sum" 则会将它们相加。

伪 Huber 损失通过平滑的转换和连续的高阶导数来近似 Huber 损失的形状。Smooth L1 使用不同的缩放约定:在 PyTorch 中,当 beta 等于 delta 时,Huber 损失等于 Smooth L1 损失乘以 delta;当两个阈值都等于 1 时,两者完全相同。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来