曲线下面积 (AUC)

曲线下面积 (AUC) 是 机器学习 (ML) 中广泛使用的性能指标，用于评估二元分类模型的有效性。它表示模型将随机选择的正例排序高于随机选择的负例的概率。本质上，AUC 概括了模型在所有可能的分类阈值下区分类别的能力，提供了一个单一的、聚合的性能度量。较高的 AUC 值表示性能更好的模型，使其成为比较不同模型和进行 超参数调优 的关键工具。

什么是 ROC 曲线？

AUC 与 接受者操作特征 (ROC) 曲线 密切相关。ROC 曲线是一个图表，它在各种阈值设置下绘制真阳性率 (TPR)（也称为 召回率）与假阳性率 (FPR)。AUC 只是此 ROC 曲线下的面积。虽然 ROC 曲线提供了模型在灵敏度和特异性之间权衡的可视化表示，但 AUC 分数将这种权衡量化为一个数字，从而简化了模型比较。

解读 AUC 评分

AUC 的值范围从 0 到 1，其中较高的分数表示更好的模型。

• AUC = 1： 这表示一个完美的模型，可以正确分类所有正例和负例。 每个正样本的预测概率都高于每个负样本。
• AUC = 0.5： 这表明该模型没有判别能力，相当于随机猜测。 这种模型的 ROC 曲线将是一条直线对角线。
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

诸如Scikit-learn提供的函数可以轻松计算AUC分数，并可以使用TensorBoard等平台进行可视化。

实际应用

在二元分类至关重要的许多领域中，AUC 是一项有价值的指标。

1. 医学图像分析： 在医疗保健领域AI中，开发了用于从医学扫描中检测肿瘤等任务的模型。AUC评分用于评估模型区分恶性（阳性）和良性（阴性）病例的能力。高AUC对于构建可以协助放射科医生的可靠诊断工具至关重要，从而确保高灵敏度，而不会产生过多的误报。这对于分析脑肿瘤数据集等数据集的模型至关重要。
2. 欺诈检测： 在金融行业中，AI 模型用于识别欺诈交易。此领域的数据集通常高度不平衡，合法交易远多于欺诈交易。AUC 在这里特别有用，因为它提供了一种稳健的性能指标，不像准确率那样容易被多数类所扭曲。它有助于金融机构构建有效捕获欺诈的系统，同时最大限度地减少可能给客户带来不便的误报。领先的金融机构依靠此类指标进行风险评估。

AUC 与其他指标的比较

虽然 AUC 是一个有价值的指标，但重要的是要了解它与 计算机视觉 (CV) 和 ML 中使用的其他评估指标有何不同：

• AUC 与准确率： 准确率 衡量预测的总体正确性，但在不平衡的数据集上可能会产生误导。AUC 提供了一个独立于阈值的可分离性度量，使其在此类情况下更可靠。
• AUC 与精确率-召回率： 对于正类稀有且主要受关注的不平衡数据集（例如，检测罕见疾病），精确率-召回率曲线及其对应的面积 (AUC-PR) 可能比 ROC AUC 提供更多信息。精确率和召回率等指标专门关注与正类相关的性能。F1-score 还可以平衡精确率和召回率。
• AUC 与 mAP/IoU： AUC 主要用于二元分类任务。 对于像 Ultralytics YOLO 这样的模型常见的目标检测任务，平均精度均值 (mAP)和交并比 (IoU)等指标是标准。 这些指标使用边界框评估检测到的目标的分类准确性和定位精度。 您可以在此处了解有关 YOLO 性能指标的更多信息。

选择正确的指标取决于具体问题、数据集特征（如类别平衡）以及AI 项目的目标。AUC 因其稳健性和可解释性，仍然是评估二元分类性能的基石。使用 Ultralytics HUB 等工具跟踪实验可以帮助有效地管理和比较这些指标。