深圳Yolo 视觉
深圳
立即加入
词汇表

F1-Score

探索F1-score在机器学习中的重要性!了解它如何平衡精确率和召回率,以实现最佳模型评估。

F1 分数是机器学习(ML)中的一个重要性能指标。 机器学习 (ML)中的一个重要性能指标。 分类模型的准确性。与计算预测正确率的简单准确率不同,F1 分数结合了其他两个重要指标--准确率和预测正确率。 F1 分数将其他两个重要指标--精确度和 召回率--合二为一。它被定义为 精确度和召回率的调和平均值。这使得 F1 分数特别适用于评估在不平衡数据集上训练的模型。 不平衡数据集上训练的模型,在这种数据集上,一个类别中的样本数量明显多于其他类别。在这种情况下 在这种情况下,一个模型可能仅仅通过预测多数类就能达到很高的准确率,而无法识别出少数类,而少数类往往是人们更感兴趣的。 在这种情况下,模型可能仅仅通过预测多数类就能达到很高的准确率,而无法识别少数类,而少数类往往更令人感兴趣。

精确度和召回率的平衡

要理解 F1 分数,就必须掌握其各组成部分之间的关系。精度衡量的是 正向预测的质量(最大限度地减少误报),而召回率则衡量识别出的真正向预测的数量(最大限度地减少误报 识别的真阳性数量(尽量减少假阴性)。通常情况下,提高其中一个指标会导致另一个指标的降低,这种现象被称为 "误报率"。 这种现象被称为 精度-召回权衡。F1 分数通过对极端值的惩罚提供了一种平衡的观点。其最佳值为 1(精确度和召回率均为满分),最差值为 0。 这种平衡对于开发稳健的预测建模系统至关重要。 预测建模系统来说是至关重要的。 检测和误报都会带来重大损失。

实际应用

在错误成本较高或数据分布偏斜的情况下,F1 分数是不可或缺的。

  • 医学影像分析:在医疗保健领域,诊断肿瘤等疾病需要高灵敏度。假阴性(漏诊肿瘤)是危险的 而假阳性(将健康组织识别为肿瘤)则会造成不必要的压力。解决方案 在医疗保健领域利用人工智能的解决方案依赖于 F1-Score 来确保模型保持安全平衡,检测出尽可能多的真实病例,而不会让医生疲于应付误报。 让医生不知所措。
  • 金融领域的异常检测: 金融机构利用人工智能detect 欺诈交易。由于与合法交易相比,实际欺诈行为很少见 交易相比,实际欺诈交易很少见,因此一个模型只需将所有交易都标记为合法交易,就能达到 99.9% 的准确率。但是,这 但这对抓捕欺诈毫无用处。通过优化 F1 分数、 金融人工智能 系统可以有效地标记可疑活动,同时最大限度地减少因阻止有效卡而造成的干扰。

Ultralytics YOLO11中的 F1 分数

对于计算机视觉(CV)任务,如 物体检测等计算机视觉(CV)任务中,F1 分数有助于确定 模型在特定置信度阈值下定义边界和对物体进行分类的能力。在训练诸如 Ultralytics YOLO11等模型时,验证过程会计算 精度、召回率和 F1 分数,以帮助工程师选择最佳模型权重。

下面的Python 代码演示了如何验证预训练的YOLO11 模型并访问性能指标。

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

将 F1 分数与相关指标区分开来

选择正确的指标取决于人工智能项目的具体目标。

  • 准确性:衡量预测的整体正确性。它最适用于类别分布大致相等的情况。 相比之下,F1 分数是类别分布不均时的首选指标。
  • 平均精度mAP):F1 分数通常是在特定置信度阈值下计算的。 而mAP 评估的是不同召回级别的平均精度。 mAP 是比较物体检测模型的标准,而 F1 则适用于优化特定的操作点。 则适用于优化特定的操作点。
  • 曲线下面积 (AUC):AUC 表示 接收者工作特征曲线(ROC)下的面积。AUC 衡量分类器在所有阈值下区分类别的能力,而 F1-Score 则特别关注单一阈值下的正类表现。

提高模型 F1 分数

提高 F1 分数通常需要对模型和数据进行反复改进。

  • 超参数调整:调整学习率等设置、 批量大小或损失函数等设置可以帮助模型 收敛到更有效地平衡精确度和召回率的解决方案上。
  • 数据扩充:对训练数据进行翻转、缩放或添加噪音等技术 训练数据,让模型接触到更多不同的 例子,从而提高其概括能力,并正确识别困难的阳性案例。
  • 转移学习:从一个在大型、多样化数据集上预先训练好的模型开始,网络可以利用学到的特征提取器 提取器,从而在数据有限的专业任务中获得更高的 F1 分数。

加入Ultralytics 社区

加入人工智能的未来。与全球创新者联系、协作和共同成长

立即加入