Area Under the Curve (AUC)
学习曲线下面积（AUC）如何衡量模型性能。探索其在分类、医疗保健和金融中使用 Ultralytics YOLO26 的作用。
曲线下面积 (AUC) 是机器学习 (ML) 中用于评估分类模型区分能力的一项综合性能指标。具体而言，它测量的是受试者工作特征 (ROC) 曲线下方的二维面积，提供一个 0 到 1 之间的标量值。AUC 为 1.0 表示完美的分类器，而 AUC 为 0.5 则表明模型的表现不优于随机猜测。由于 AUC 汇总了所有可能分类阈值的性能，因此在最佳决策边界未知或可变的情况下，它对于评估预测建模能力特别有效。
Link to this sectionROC 与 AUC 之间的关系#
要完全理解 AUC，你必须先了解基础的 ROC 曲线。该图在不同阈值设置下绘制了真阳性率 (召回率) 与假阳性率的关系。AUC 本质上量化了模型将随机选择的阳性实例排在随机选择的阴性实例之前的概率。
- 可分性： AUC 衡量模型区分不同类别（例如“狗”与“猫”）的能力。更高的可分性意味着更好的预测效果。
- 阈值不变性： 与依赖特定截断点的F1-score不同，AUC 提供了模型质量的概览。
- 尺度不变性： 它衡量的是预测结果的排序情况，而不是它们的绝对概率值。
Link to this section实际应用#
对于涉及关键决策和不平衡数据集（其中某一类别比另一类别稀少得多）的行业，AUC 是首选指标。
-
医疗诊断： 在医疗 AI 领域，模型被训练用于从医学图像分析中识别病理特征。例如，检测罕见肿瘤的模型必须优先考虑敏感性。高 AUC 可确保系统可靠地为真实患者分配比健康个体更高的风险评分，从而减少危险的假阴性结果。
-
金融欺诈检测： 金融机构利用金融 AI 来发现欺诈交易。由于合法交易远多于欺诈交易，模型仅通过将所有内容称为“合法”即可达到 99% 的准确率。AUC 通过评估模型将实际欺诈尝试与正常行为区分开来的能力（无论类别分布如何）来防止这种情况。
Link to this section区分 AUC 与相关指标#
区分 AUC 与其他模型评估见解对于为你的项目选择合适的工具至关重要。
- AUC 与准确率： 准确率仅是正确预测数与总预测数的比率。在高度偏斜的数据集上，准确率可能高得具有误导性。AUC 对类别不平衡具有鲁棒性，能提供更公正的分类器性能评估。
- AUC 与精确率-召回率： 虽然 ROC-AUC 是平衡结果的标准，但在“阳性”类别极其稀有且假阳性是一个主要关注点时，通常更倾向于使用精确率-召回率曲线下面积 (AUPRC)。
- AUC vs. mAP: In object detection tasks using models like YOLO26, the standard metric is Mean Average Precision (mAP). While mAP is conceptually similar—calculating the area under the Precision-Recall curve across different Intersection over Union (IoU) thresholds—AUC strictly refers to the ROC curve in binary or multi-class classification.
Link to this section代码示例#
以下示例演示了如何加载预训练的 YOLO26 分类模型并运行验证。虽然 YOLO 模型主要报告 top-1 和 top-5 准确率，但验证过程会生成用于分析基于曲线的指标所需的预测数据。
from ultralytics import YOLO
# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")
# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")
# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")对于包括数据集标注和云端训练在内的全面生命周期管理，以及自动可视化这些指标的情况，开发者可以利用 Ultralytics Platform。这简化了解释 AUC 等复杂指标的过程，无需手动计算。
