Focal Loss

Focal Loss 是一种专门的目标函数，主要用于深度学习中，以解决严重的类别不平衡问题。在许多计算机视觉任务（例如目标检测）中，背景示例（负样本）的数量远远超过感兴趣对象（正样本）的数量。标准方法（如广泛使用的 Cross-Entropy Loss）平等对待所有误差，这往往导致模型被海量易于分类的背景数据所淹没。Focal Loss 修改了标准损失计算，以降低这些简单示例的权重，从而迫使 optimization algorithm 将学习能力集中在“困难”示例上——即那些对模型性能至关重要但罕见且难以分类的对象。

Link to this section聚焦机制#

Focal Loss 的核心创新在于它能够根据模型的置信度动态调整分配给每个样本的惩罚。在典型的 supervised learning 场景中，检测器可能会评估图像中的数千个候选位置。由于大多数这些位置不包含任何对象，标准的 loss function 会从这些容易识别的负样本中积累许多微小的误差信号，这可能会淹没来自少数正实例的有价值信号。

Focal Loss 引入了一个调制因子，随着对正确类别的置信度增加，它会衰减损失贡献。这意味着如果模型有 99% 的把握认为一个背景区域确实是背景，那么该区域的损失就会减少到接近于零。因此，model weights 主要根据分类错误的样本或模型不确定的样本进行更新。这种有针对性的方法对于训练高性能 one-stage object detectors（如 YOLO26）至关重要，使它们无需复杂的采样阶段即可实现高精度。

Link to this section实际应用#

在安全性和精确度至关重要的环境中，处理不平衡的 training data 对于部署强大的 AI 系统至关重要。

• AI in Healthcare： 在 medical image analysis 等领域，识别病理通常就像大海捞针。例如，在寻找小病灶的 MRI 扫描中，健康组织可能占像素的 99% 以上。标准模型可能通过到处预测“健康”来最大化简单的准确率，从而错过关键诊断。Focal Loss 使系统能够抑制来自大量健康组织的信号，并优先学习异常的细微特征，从而提高挽救生命的检测结果的 recall。
• Autonomous Vehicles： 自动驾驶汽车的感知系统必须在建筑物、道路和天空的复杂背景下检测行人或骑自行车者等脆弱道路使用者。虽然背景很容易学习，但小型或远处的障碍物构成了重大挑战。通过利用 Focal Loss，AI in automotive 应用可以确保感知堆栈不会忽略这些难以检测的对象，即使在危险仅占视野的一小部分时也能保持安全标准。

Link to this section使用 Ultralytics 进行实现#

ultralytics 库包含优化后的先进损失函数实现，以支持最先进的模型。虽然 Ultralytics Platform 会自动配置这些超参数以实现最佳训练，但开发者也可以直接访问这些组件进行自定义研究。

以下示例演示了如何使用 ultralytics 工具包初始化 Focal Loss 并计算一组预测的误差。

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss.
# The 'gamma' parameter controls the focusing strength (higher = more focus on hard examples).
criterion = FocalLoss(gamma=1.5)

# Example: Model predictions (logits) and binary Ground Truth labels
# requires_grad=True simulates model outputs that need backpropagation
predictions = torch.tensor([[0.8], [-1.5], [0.1]], requires_grad=True)
targets = torch.tensor([[1.0], [0.0], [1.0]])

# Calculate the loss value
loss = criterion(predictions, targets)
print(f"Computed Focal Loss: {loss.item():.4f}")

Link to this section与相关概念的区别#

了解 Focal Loss 在更广泛的误差测量领域中的位置，有助于针对特定的计算机视觉任务选择正确的策略。

• Focal Loss vs. Cross-Entropy Loss: Cross-Entropy is the foundational metric for classification that penalizes predictions based on logarithmic error. Focal Loss is strictly an extension of Cross-Entropy; if the focusing parameter is set to zero, it mathematically reverts to standard Cross-Entropy. The key distinction is Focal Loss's ability to automatically down-weight easy negatives, making it superior for imbalanced datasets like COCO.
• Focal Loss vs. IoU Loss： 虽然 Focal Loss 是为 分类（确定对象 是 什么）设计的，但 IoU Loss 用于 定位（确定对象 在 哪里）。现代检测器使用一种复合损失函数，结合了用于类别概率的 Focal Loss 和用于 bounding box 回归的基于 IoU 的指标。
• Focal Loss vs. Dice Loss： Dice Loss 是另一种用于处理不平衡的技术，主要用于 image segmentation 任务。虽然 Focal Loss 基于置信度对单个像素或样本进行操作，但 Dice Loss 在全局范围内优化预测区域与真实值区域之间的重叠。在复杂的 segmentation workflows 中，两者结合使用很常见。