接收者工作特征曲线 (ROC)

了解 TPR 和 FPR

要解释 ROC 曲线，必须了解其坐标轴：

• 真阳性率 (TPR)：也称为灵敏度或召回率，TPR 衡量模型正确识别的实际阳性实例的比例。它绘制在 Y 轴上。TPR 越高，表明模型越善于识别正例。有关灵敏度的更多信息，请参阅维基百科的 "灵敏度和特异性 "页面。
• 假阳性率 (FPR)：FPR 衡量被模型错误识别为阳性的实际阴性实例的比例。其计算公式为 1 - 特异性，并绘制在 X 轴上。FPR 越低，说明模型在避免误报方面做得越好。

ROC 曲线说明了给定二元分类模型的 TPR 和 FPR 之间的权衡。随着分类阈值的变化（决定一个实例是阳性还是阴性的临界点），模型可能会识别出更多的真阳性（增加 TPR），但可能会以识别出更多的假阳性（增加 FPR）为代价。可视化这种权衡有助于根据应用的具体需求选择最佳阈值。

解读 ROC 曲线和 AUC

ROC 曲线的形状和位置可以帮助我们了解模型的性能：

• 理想曲线：左上角的曲线代表一个完美的分类器，在不同阈值下具有 100% 的 TPR 和 0% 的 FPR。
• 对角线：沿对角线（y=x）的曲线表示分类器的表现并不比随机猜测好。其 TPR 等于其 FPR。
• 曲线位置：曲线在对角线上方，表示比随机表现更好。曲线越靠近左上角，模型区分类别的能力就越强。

从 ROC 曲线得出的一个常用指标是曲线下面积（AUC）。AUC 提供了一个单一的标量值，概括了分类器在所有可能阈值下的性能。AUC 值为 1.0 表示分类器完美，而 AUC 值为 0.5 则表示模型性能随机（就像掷硬币）。Scikit-learn等工具提供了轻松计算 AUC 的功能，Ultralytics HUB等平台通常集成了此类可视化功能，用于模型监控。

实际应用

ROC 曲线广泛应用于对二元分类性能评估至关重要的各个领域：

1. 医学诊断：在医学图像分析中，ROC 曲线有助于评估为从扫描 图像 中检测肿瘤等任务而设计的模型。高 TPR（正确识别疾病患者）至关重要，但平衡 TPR 与 FPR（误诊健康患者）也同样重要。ROC 曲线可以帮助临床医生理解这种权衡。ROC 在医学研究中的应用有据可查，有助于对诊断测试进行评估。了解Ultralytics 如何在医疗保健解决方案中支持人工智能。
2. 欺诈检测：在金融领域，ROC 曲线可评估为检测欺诈交易而建立的模型的性能。在这里，正确识别欺诈活动（高 TPR）必须与错误标记合法交易（低 FPR）进行权衡，后者会给客户带来不便。使用 ROC 评估模型有助于金融机构优化欺诈检测系统。了解更多人工智能在金融领域的应用。

其他应用还包括垃圾邮件过滤、天气预测（如预测降雨）和制造业质量控制。

ROC 曲线与准确率、精确率和召回率的对比

虽然准确率、精确率和召回率（或 TPR）等指标能提供有价值的信息，但 ROC 曲线和 AUC 能提供更全面的视图，尤其是在不平衡数据集中，一类明显多于另一类的情况下。

• 准确性：在不平衡的情况下可能会产生误导，因为仅仅预测大多数类别就可能获得高分。
• 精确度和召回率：关注阳性类。精确度衡量正向预测的准确性，而召回率则衡量实际正向预测的覆盖率。F1 分数综合了这些指标，但仍取决于阈值。
• ROC 曲线/AUC：通过考虑所有阈值的 TPR 和 FPR，对模型区分阳性和阴性类别的能力进行与阈值无关的评估。这使得它在比较模型时更加稳健，尤其是在类别分布偏斜或误报和误报成本差异较大的情况下。

值得注意的是，ROC 曲线主要用于二元分类任务。对于多类问题或物体检测等任务，常见的模型有 Ultralytics YOLO等模型常用的多类问题或物体检测任务，其他指标，如平均精度 (mAP)和联合交叉 (IoU)则更为标准。有关评估Ultralytics YOLO 等模型的详细见解，请参阅我们的YOLO 性能指标指南。通常可以使用与Ultralytics HUB等平台或TensorBoard 等库集成的工具来实现这些指标的可视化。您可以探索以下框架 PyTorch和 TensorFlow等框架，它们提供了构建和评估这些模型的工具。了解这些指标对于负责任的人工智能开发和确保模型公平性（人工智能伦理）至关重要。