F1-Score

F1 分数是 机器学习 中广泛使用的指标，用于评估分类模型的性能。它巧妙地将两个其他重要指标——精确率和召回率——组合成一个单一的值。作为精确率和召回率的调和平均数，F1 分数提供了更平衡的模型性能衡量标准，尤其是在处理不平衡数据集时，其中一个类比另一个类频繁得多。在这种情况下，高准确率分数可能会产生误导，但 F1 分数可以更好地了解模型在正确识别少数类方面的有效性。

为了充分理解 F1 分数，必须了解其组成部分。精确率回答了这个问题：“在模型做出的所有阳性预测中，有多少是真正正确的？” 另一方面，召回率回答了：“在所有实际阳性实例中，模型正确识别了多少？” F1 分数协调了这两个指标，惩罚那些以牺牲另一个指标为代价而擅长一个指标的模型。F1 分数在 1 时达到最佳值（完美的精确率和召回率），在 0 时达到最差值。这种平衡在许多实际应用中至关重要，在这些应用中，假阳性和假阴性都会带来巨大的成本。在模型训练期间跟踪此指标是 MLOps 中的标准做法。

F1-Score的实际应用：真实世界的例子

F1 分数在各种人工智能 (AI)应用中至关重要，在这些应用中，错误分类的后果非常严重：

1. 用于疾病检测的医学图像分析: 考虑一个旨在从扫描图像中检测癌性肿瘤的AI模型，该模型使用了计算机视觉 (CV)。

   • 假阴性（低召回率）意味着在存在癌症时未能检测到癌症，这可能对患者产生严重后果。
   • 假阳性（低精确率）意味着在没有癌症时诊断出癌症，导致不必要的压力、成本和进一步的侵入性检查。
   • F1-Score有助于评估AI医疗保健解决方案中使用的模型，通过确保在捕获实际病例（召回率）和避免误诊（精确率）之间取得平衡。训练此类模型可能涉及诸如脑肿瘤检测数据集之类的数据集。

2. 垃圾邮件过滤: 电子邮件服务使用分类模型来识别垃圾邮件。

   • 需要高召回率以尽可能多地捕获垃圾邮件。遗漏垃圾邮件（假阴性）会惹恼用户。
   • 高精确率对于避免将合法电子邮件（“火腿”）标记为垃圾邮件（假阳性）至关重要。错误分类重要电子邮件可能会带来严重问题。
   • F1 分数提供了一个合适的衡量标准，用于评估垃圾邮件过滤器的整体有效性，从而平衡了过滤垃圾邮件的需求，同时又不会丢失重要邮件。这通常涉及自然语言处理 (NLP)技术。

F1 分数与其他指标有何不同

理解 F1 分数和其他评估指标之间的区别是为您的项目选择正确指标的关键。

• F1 分数 vs. 准确率: 准确率是正确预测与预测总数的比率。虽然简单易懂，但在不平衡分类问题上的表现不佳。在这些情况下，通常首选 F1 分数，因为它侧重于正类的性能。
• F1 分数 vs. 精确率和召回率: F1 分数将精确率和召回率组合成一个指标。但是，根据应用程序的目标，您可能希望优化其中一个。例如，在机场安全检查中，最大化召回率（找到所有潜在威胁）比精确率更重要。理解这种精确率-召回率权衡至关重要。
• F1 分数 vs. 平均精度均值 (mAP): 虽然 F1 分数评估特定置信度阈值下的分类性能，但 mAP 是目标检测任务的标准指标。mAP 分数汇总了不同阈值上的 精确率-召回率曲线，从而更全面地评估模型定位和分类目标的能力。诸如 Ultralytics HUB 等平台有助于在模型开发过程中跟踪这些指标。
• F1 分数 vs. AUC（曲线下面积）: AUC 是根据 受试者工作特征 (ROC) 曲线计算得出的，表示模型区分所有可能阈值之间的类别的能力。相比之下，F1 分数是针对单个特定阈值计算的。

虽然 mAP 是 Ultralytics YOLO11 等目标检测模型的主要指标，但 F1 分数对于这些模型也可以执行的图像分类任务至关重要。对于任何从事深度学习分类问题开发的开发人员来说，对 F1 分数的扎实理解至关重要。您可以比较不同的 YOLO 模型性能，这些模型通常以 COCO 等数据集为基准。