Label Smoothing
了解标签平滑如何防止过拟合并改善模型泛化。发现如何使用 Ultralytics YOLO26 实现此技术以获得更好的结果。
标签平滑（label smoothing）是机器学习中广泛使用的一种正则化技术，用于提高模型的泛化能力并防止过拟合。在训练神经网络时，目标通常是最小化预测结果与真实标签之间的误差。然而，如果模型对其预测变得过于自信——为单个类别分配接近 100% 的概率——它往往会开始死记硬背训练数据中的特定噪声，而不是学习稳健的模式。这种现象被称为过拟合，会降低模型在新的、未见过的样本上的性能。标签平滑通过阻止模型以绝对的确定性进行预测来解决这个问题，本质上是告诉网络总会存在一个小幅度的误差容忍空间。
软标签的机制#
为了理解标签平滑的工作原理，将其与标准的“硬”标签进行对比会很有帮助。在传统的监督学习中，分类标签通常通过独热编码来表示。例如，在一个区分猫和狗的任务中，“狗”图像的目标向量将是 [0, 1]。为了完美匹配这一点，模型会将其内部得分（称为logits）推向无穷大，这可能导致不稳定的梯度和无法适应新情况。
标签平滑将这些死板的 1 和 0 替换为“软”目标。目标概率不再是 1.0，而是为正确类别分配 0.9，同时将剩余的概率质量（0.1）均匀分配给不正确的类别。这种微妙的转变修改了损失函数（例如交叉熵）的目标，防止激活函数（通常是Softmax）饱和。其结果是一个能够学会在特征空间中形成更紧密类别聚类的模型，并产生更好的模型校准，这意味着预测概率能更准确地反映出正确性的真实可能性。
实际应用#
这种技术在数据本身具有模糊性或数据集容易出现标注错误的情况下尤为重要。
- **医学诊断：**在医疗AI领域，临床数据很少是非黑即白的。例如，在医学图像分析中，扫描图可能显示出高度暗示某种疾病但并非绝对确定的特征。使用硬标签进行训练会迫使模型忽略这种不确定性。通过应用标签平滑，模型保留了一定程度的怀疑态度，这对于过度自信可能导致误诊的决策支持系统来说至关重要。
- **大规模图像分类：**像ImageNet这样的大型公共数据集通常包含标注错误的图像或包含多个有效对象的图像。如果模型试图以 100% 的置信度去拟合这些包含噪声的样本，它就会学习到错误的关联。标签平滑可作为抵御标签噪声的缓冲区，确保少数不良数据点不会严重扭曲最终的模型权重。
使用 Ultralytics 实现标签平滑#
现代深度学习框架简化了该技术的应用。使用 ultralytics 软件包，你可以轻松地将标签平滑集成到用于图像分类或检测任务的训练流水线中。这样做通常是为了从像YOLO26这样的最先进模型中榨取出额外的性能。
以下示例展示了如何在启用标签平滑的情况下训练分类模型：
from ultralytics import YOLO
# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")
# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)与相关概念的比较#
将标签平滑与其他正则化策略区分开来，有助于理解何时应该使用它。
- 与 Dropout 对比：dropout 层在训练期间随机停用神经元，以迫使网络学习冗余的表示。虽然两者都能防止过拟合，但 dropout 是动态修改网络架构，而标签平滑则是修改优化目标（标签本身）。
- **与知识蒸馏对比：**这两种技术都涉及在软目标上进行训练。然而，在知识蒸馏中，软目标来自“教师”模型并包含已学习的信息（例如，“这有 10% 像一只猫”）。相比之下，标签平滑使用的是通过数学推导得出的“无信息量”软目标（例如，“给所有其他类别均等地分配 10% 的概率”）。
- 与数据增强对比：数据增强策略通过更改输入数据（旋转、裁剪、变色）来增加多样性。标签平滑则更改输出预期。在Ultralytics Platform上进行全面的训练工作流时，通常会将增强、dropout 和标签平滑结合起来，以实现最大准确率。
