准确率

准确率是 机器学习 (ML) 中最基本和最直观的 评估指标 之一。它衡量模型在所有预测中做出的正确预测的比例。由于其简单性，准确率通常是开发人员首先查看的指标，以大致了解 AI 模型 的性能，尤其是在分类任务中。它可以作为快速健康检查，然后再深入进行更细致的评估。

实际应用

准确率是许多分类至关重要的领域中的关键绩效指标。以下是两个示例：

• 医疗诊断： 在AI驱动的医疗保健中，一个用于医学图像分析的模型可能经过训练，可以将X光图像分类为显示肺炎迹象或不显示肺炎迹象。高准确率意味着该模型可以在很大比例的病例中正确识别疾病的存在与否，从而为放射科医生提供可靠的支持。
• 制造质量控制： 在智能制造中，可以部署计算机视觉系统来检查传送带上的产品。该模型将每个项目分类为“有缺陷”或“无缺陷”。高精度可确保正确识别有缺陷的产品以进行移除，同时最大限度地减少对良好产品的错误标记，从而直接影响生产效率和质量。

准确性的局限性

尽管准确率很有用，但它可能会具有高度的误导性，尤其是在处理不平衡数据集时。不平衡数据集是指不同类别中的示例数量差异很大的数据集。例如，在欺诈检测中，合法交易的数量远远超过欺诈交易的数量。始终预测“非欺诈”的模型可以达到99%以上的准确率，但对于其预期目的而言将完全无用。这是因为它无法识别罕见但关键的案例。这种情况突出了准确率悖论，即高准确率得分会给人一种模型有效性的错误感觉。

准确率与其他指标的比较

为了全面了解模型的性能，除了准确率之外，考虑其他指标至关重要。

• 精确率: 衡量实际正确的阳性预测的比例。它回答了这个问题：“在我对阳性类所做的所有预测中，有多少是正确的？”当假阳性的代价很高时，高精确率至关重要。
• 召回率: 也称为灵敏度，此指标衡量正确识别的实际阳性的比例。它回答：“在所有实际阳性案例中，我的模型找到了多少？”当假阴性的代价很高时（例如在医学筛查中），高召回率至关重要。
• F1-Score: 这是精确率和召回率的调和平均值，提供了一个平衡两者的单一分数。它对于评估 不平衡数据集 上的模型特别有用，在这些数据集中，假阳性和假阴性都很重要。
• 混淆矩阵：一个表格，通过显示真阳性、真阴性、假阳性和假阴性的计数来可视化分类模型的性能。它提供了计算准确率、精确率和召回率所需的数据。
• 平均精度均值（mAP）：对于更复杂的任务，如目标检测，mAP 是标准指标。它不仅评估分类的正确性，还评估预测边界框在不同置信度水平下的定位精度。为了更深入的理解，您可以探索各种模型比较。

提高模型准确性

有几种技术可以帮助提高模型准确性，尽管通常涉及与其他指标或计算成本的权衡：

• 数据增强：在不收集新样本的情况下，人为地增加训练数据的多样性。有关示例，请参阅YOLO 数据增强指南。
• 超参数调优：优化在训练开始前设置的参数，如学习率或批量大小。类似超参数调优指南的指南可以提供帮助。
• 选择高级架构: 选择更强大的模型，如更新的 Ultralytics YOLO 模型或Transformer。
• 迁移学习：使用在大型数据集（如 ImageNet）上预训练的模型，并在特定任务上对其进行微调。
• 集成方法：结合多个模型的预测结果，以提高整体性能。

参考模型训练技巧等资源可以提供实用的指导。诸如Ultralytics HUB之类的平台允许用户训练模型，并轻松跟踪准确率以及其他关键指标，这些指标通常使用诸如TensorBoard之类的工具进行可视化。可以通过斯坦福 AI 指数报告或浏览 Papers With Code 上的数据集来跟踪该领域的进展。PyTorch 和 TensorFlow 等框架通常用于构建和训练这些模型。

总之，虽然准确率是评估 AI 模型性能的一个有价值且直观的指标，但它很少应单独使用。考虑到 ML 任务的特定目标和数据的性质，特别是潜在的不平衡或不同错误的成本，对于选择最合适的评估指标至关重要。利用可解释 AI (XAI)中的技术还可以提供超出单个指标值的更深入的见解。