Focal Loss

Focal Loss 是一种专门的目标函数，主要用于深度学习中以解决严重的类别不平衡问题。在许多计算机视觉任务（如目标检测）中，背景样本（负样本）的数量远远超过感兴趣的目标（正样本）。标准方法（如广泛使用的 Cross-Entropy Loss）对待所有错误一视同仁，这通常会导致模型被海量的易分类背景数据淹没。Focal Loss 修改了标准的损失计算，以降权这些简单的样本，迫使优化算法将其学习能力集中在“难”样本上——即对模型性能至关重要的稀少且难以分类的目标。

聚焦机制#

Focal Loss 的核心创新在于它能够根据模型的置信度动态调整赋予每个样本的惩罚。在一个典型的监督学习场景中，检测器可能会评估图像中的数千个候选位置。由于这些位置大多不包含任何目标，标准的损失函数会从这些简单的负样本中累积许多小的错误信号，从而掩盖来自少数正样本的宝贵信号。

Focal Loss 引入了一个调制因子，随着对正确类别的置信度增加，该因子会使损失贡献衰减。这意味着，如果模型已经有 99% 的把握确信某个背景图块确实是背景，那么该图块的损失就会降至接近零。因此，模型权重的更新主要基于被错误分类的样本或模型不确定的样本。这种有针对性的方法对于训练诸如 YOLO26 这样的高性能单阶段目标检测器至关重要，使它们能够在不需要复杂采样阶段的情况下实现高准确率。

实际应用#

处理不平衡的训练数据对于在安全和精度至关重要的环境中部署稳健的 AI 系统至关重要。

• **医疗领域的 AI：**在医学图像分析等领域，识别病变通常就像大海捞针。例如，在寻找小型病灶的 MRI 扫描中，健康组织可能占像素的 99% 以上。标准模型可能会通过到处预测“健康”来最大化简单准确率，从而错过关键诊断。Focal Loss 使系统能够抑制丰富健康组织的信号，并优先学习异常的细微特征，从而提高拯救生命检测的召回率。
• **自动驾驶汽车：**自动驾驶汽车的感知系统必须在建筑物、道路和天空等复杂背景下检测行人或骑自行车的人等弱势道路使用者。虽然背景很容易学习，但小型或远处的障碍物带来了巨大的挑战。通过利用 Focal Loss，汽车领域的 AI 应用可以确保感知堆栈不会忽略这些难以检测的目标，即使在危险仅占视野极小一部分的情况下也能保持安全标准。

使用 Ultralytics 进行实现#

ultralytics 库包含对高级损失函数的优化实现，以支持最先进的模型。虽然 Ultralytics Platform 会自动配置这些超参数以实现最佳训练，但开发者也可以直接访问这些组件用于自定义研究。

以下示例演示了如何使用 ultralytics 工具包初始化 Focal Loss 并计算一组预测的误差。

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss.
# The 'gamma' parameter controls the focusing strength (higher = more focus on hard examples).
criterion = FocalLoss(gamma=1.5)

# Example: Model predictions (logits) and binary Ground Truth labels
# requires_grad=True simulates model outputs that need backpropagation
predictions = torch.tensor([[0.8], [-1.5], [0.1]], requires_grad=True)
targets = torch.tensor([[1.0], [0.0], [1.0]])

# Calculate the loss value
loss = criterion(predictions, targets)
print(f"Computed Focal Loss: {loss.item():.4f}")

与相关概念的区别#

了解 Focal Loss 在更广泛的误差测量领域中的位置，有助于针对特定的计算机视觉任务选择正确的策略。

• **Focal Loss 与 Cross-Entropy Loss：**交叉熵是分类的基础指标，根据对数误差惩罚预测。Focal Loss 严格来说是交叉熵的扩展；如果将聚焦参数设为零，它在数学上就会退化为标准交叉熵。关键的区别在于 Focal Loss 能够自动降权容易的负样本，这使得它对于像 COCO 这样不平衡的数据集表现得更优越。
• **Focal Loss 与 IoU Loss：**虽然 Focal Loss 专为分类（确定目标是什么）而设计，但 IoU Loss 用于定位（确定目标在哪里）。现代检测器采用复合损失函数，将用于类别概率的 Focal Loss 与用于边界框回归的基于 IoU 的指标结合起来。
• **Focal Loss 与 Dice Loss：**Dice Loss 是另一种用于处理不平衡的技术，主要用于图像分割任务。虽然 Focal Loss 根据置信度对单个像素或样本进行操作，但 Dice Loss 在全局范围内优化预测区域与真实区域之间的重叠。在复杂的分割工作流中，经常可以看到两者结合使用。