衡量 AI 性能，评估创新成果的影响

我们此前探讨过 AI 如何应用于医疗保健、制造业和旅游业等不同行业。我们还研究了AI 如何改善日常工作任务，并讨论了领先的 AI 商业创意。这些讨论最终都指向同一个关键问题：我们该如何衡量此类 AI 实施的成效？这是一个重要的问题，因为仅仅部署 AI 解决方案还不够。只有确保这些解决方案真正带来成效，它们才有价值。

我们可以衡量 AI 性能指标，以判断 AI 模型是否真正有效地提升流程效率、激发创新或解决问题。关注恰当的关键绩效指标 (KPI)，有助于我们了解 AI 解决方案的运行效果，以及哪些方面可能需要改进。

本文将介绍如何使用最相关的 KPI 衡量 AI 应用的成功。我们会讲解业务 KPI 与 AI 性能 KPI 的区别，探讨精确率和召回率等指标，并帮助你为具体的 AI 解决方案选择最佳 KPI。

AI 业务 KPI 与 AI 性能 KPI 的区别#

图 1. AI 业务 KPI 与 AI 性能 KPI 对比。

谈到 KPI，你很自然会想到投资回报率（ROI）、成本节约或创造的收入等业务指标，尤其是在讨论企业 AI 时。这些 AI 业务 KPI 衡量 AI 对公司整体成功的影响，并与更广泛的业务目标保持一致。

不过，AI 性能 KPI 关注的是 AI 系统本身的运行效果，采用准确率、精确率和召回率等指标。下文会详细介绍这些指标。简而言之，业务 KPI 展示 AI 在财务和战略方面的收益，而性能 KPI 则确保 AI 模型有效完成任务。

有些指标实际上可以同时服务于这两种目的。例如，效率提升（如完成任务所需时间或资源的减少）既是性能 KPI（体现 AI 解决方案的运行效果），也是业务 KPI（衡量成本节约和生产力提升）。客户满意度也是一项兼具两种作用的指标，既能反映 AI 驱动的客户服务工具的技术性能，也能体现该工具对整体业务目标的影响。

了解 AI 性能关键指标#

有一些常见指标可用于衡量 AI 模型的性能。首先，我们来看看这些指标的定义和计算方法。然后，我们会介绍如何监控这些指标。

精确率#

精确率是一项衡量 AI 模型识别真正例准确程度的指标（真正例指模型正确识别出目标或状况的情况）。例如，在人脸识别系统中，当系统正确识别出经过训练要检测的某个人脸时，就产生了一个真正例。

要计算精确率，首先统计真正例的数量。然后，将其除以模型标记为正例的项目总数。总数既包括正确识别的项目，也包括被称为假正例的错误识别项目。从本质上说，精确率告诉你模型声称识别出某个目标时，实际判断正确的频率。

图 2.了解精确率。

在假正例可能造成高昂代价或干扰的场景中，精确率尤为重要。例如，在自动化制造中，较高的精确率意味着系统可以更准确地标记有缺陷的产品，避免不必要地丢弃或返工合格产品。安防监控也是一个很好的例子。较高的精确率有助于减少误报，只关注需要采取安全应对措施的真实威胁。

召回率#

召回率有助于衡量 AI 模型在数据集中识别所有相关实例或真正例的能力。简单来说，它代表 AI 系统捕获所有实际存在的、属于其设计检测范围的状况或对象的能力。召回率的计算方法是：用正确检测的数量除以应当检测出的正例总数（其中既包括模型正确识别的情况，也包括模型漏掉的情况）。

以用于癌症检测的AI 医学影像系统为例。在这个场景中，召回率表示系统正确识别出的实际癌症病例所占的比例。在这类场景中，高召回率至关重要，因为漏诊癌症可能会对患者护理造成严重后果。

精确率与召回率#

评估 AI 模型性能时，精确率和召回率就像一枚硬币的两面，通常需要取得平衡。难点在于，提高一项指标往往会以牺牲另一项指标为代价。

假设你希望提高精确率。模型可能会变得更加谨慎，只识别自己非常确信的正例。另一方面，如果你想提高召回率，模型可能会识别出更多正例，但其中也可能包含更多假正例，最终导致精确率下降。

关键在于根据应用的具体需求，在精确率和召回率之间找到恰当的平衡。精确率-召回率曲线是一种实用工具，可以显示这两项指标在不同阈值下的关系。通过分析这条曲线，你可以找出模型在特定用例下表现最佳的最优点。了解这种权衡有助于你微调 AI 模型，使模型在预期用例中发挥最佳性能。

图 3.精确率-召回率曲线示例。

平均精度均值 (mAP)#

平均精度均值（mAP）是一项用于评估 AI 模型性能的指标，适用于目标检测等任务；在这些任务中，模型需要识别并分类图像中的多个目标。mAP 用一个分数表示模型在所有训练识别类别上的表现。下面来看看它的计算方法。

精确率-召回率曲线下的面积给出该类别的平均精度（AP）。AP 衡量模型对特定类别进行预测的准确程度，同时考虑不同置信度水平下的精确率和召回率（置信度水平表示模型对预测结果的确信程度）。计算出每个类别的 AP 后，将所有类别的 AP 值取平均即可得到 mAP。

图 4.多个类别的平均精度。

mAP 适用于自动驾驶等应用场景，因为这类场景需要同时检测行人、车辆和交通标志等多种对象。较高的 mAP 分数意味着模型在所有类别上的表现都稳定出色，因此在各种场景中都可靠且准确。

轻松计算性能指标#

计算 AI 性能关键指标的公式和方法可能让人望而生畏。不过，Ultralytics 软件包等工具可以让计算过程变得简单快捷。无论你处理的是目标检测、分割还是分类任务，Ultralytics 都能提供必要的工具，帮助你快速计算精确率、召回率和平均精度均值 (mAP) 等重要指标。

要开始使用 Ultralytics 计算性能指标，你可以按照下面的说明安装 Ultralytics 软件包。

pip install ultralytics

在本示例中，我们会加载一个预训练 YOLOv8 模型，并用它来验证性能指标；你也可以加载 Ultralytics 提供的任何受支持模型。具体操作如下：

from ultralytics import YOLO

# 加载预训练的 YOLOv8 模型
model = YOLO("yolov8n.pt")

加载模型后，你可以在数据集上执行验证。下面的代码片段可以帮助你计算精确率、召回率和 mAP 等多种性能指标：

# 在数据集上验证模型（COCO8 是一个小型样本数据集）
metrics = model.val(data="coco8.yaml")

print(metrics.box.mp)  # 平均精确率
print(metrics.box.mr)  # 平均召回率
print(metrics.box.map50)  # IoU 为 0.5 时的 mAP
print(metrics.box.map)  # mAP50-95

使用 Ultralytics 等工具可以让性能指标的计算轻松得多，这样你就能把更多时间用于改进模型，而不必花太多时间操心评估过程的细节。

部署后如何衡量 AI 性能？#

开发 AI 模型时，你可以轻松地在受控环境中测试其性能。不过，模型部署后，情况可能会变得更加复杂。幸运的是，有一些工具和最佳实践可以帮助你监控部署后的 AI 解决方案。

Prometheus、Grafana 和 Evidently AI 等工具旨在持续跟踪模型性能。它们可以提供实时洞察、检测异常，并在出现潜在问题时向你发出警报。这些工具超越了传统监控方式，提供自动化、可扩展的解决方案，能够适应生产环境中 AI 模型的动态特性。

要衡量 AI 模型部署后的成功情况，可以遵循以下最佳实践：

• 明确性能指标：确定准确率、精确率和响应时间等关键指标，定期检查模型的表现。
• 定期检查数据漂移：留意模型处理的数据是否发生变化，因为如果不妥善管理，这些变化可能会影响模型的预测结果。
• 开展 A/B 测试：使用 A/B 测试，比较当前模型与新版本或调整版本的性能。这样你就能定量评估模型行为的改进或退化。
• 记录并审计性能：详细记录性能指标以及对 AI 系统所做的更改。这对于审计、合规以及持续改进模型架构至关重要。

选择最佳 AI KPI 只是第一步#

成功部署和管理 AI 解决方案，取决于是否选择了合适的 KPI 并持续更新。总的来说，选择能够体现 AI 解决方案技术表现和业务影响的指标至关重要。随着技术进步或业务战略转变等情况发生变化，你需要重新审视并调整这些 KPI。

保持性能评审机制灵活动态，才能让 AI 系统持续发挥作用并保持有效。持续关注这些指标，你就能获得有助于改进运营的重要洞察。采取积极主动的做法，有助于确保 AI 工作真正创造价值，推动业务发展！

加入我们的社区，与我们一起创新！访问我们的 GitHub 代码库，了解 AI 领域的最新进展。了解我们如何通过视觉 AI 重塑制造业和医疗保健等行业。