衡量 AI 性能以评估你的创新影响力

我们此前探讨过 AI 如何应用于医疗保健、制造业和旅游业等不同行业。我们也研究过AI 如何改善日常工作任务，并讨论了领先的 AI 商业创意。所有这些讨论最终都会导向同一个关键问题：我们该如何衡量这些 AI 实现的成功与否？这是一个重要的问题，因为仅仅部署 AI 解决方案是不够的。确保这些解决方案切实地带来了成果，才是让它们产生变革性意义的关键。

我们可以通过衡量AI 性能指标来确定 AI 模型在提高流程效率、激发创新或解决问题方面是否真正有效。通过专注于正确的关键绩效指标 (KPI)，我们可以了解 AI 解决方案的运行状况以及在哪些方面可能需要改进。

在本文中，我们将深入探讨如何利用最相关的 KPI 来衡量 AI 实现的成功。我们将涵盖业务 KPI 与 AI 性能 KPI 之间的区别，梳理诸如精确率 (precision) 和召回率 (recall) 之类的关键指标，并帮助你为你的特定 AI 解决方案选择最合适的 KPI。

Link to this sectionAI 业务 KPI 与 AI 性能 KPI 之间的区别#

图 1. AI 业务 KPI 与 AI 性能 KPI 的对比。

当你想到 KPI 时，很自然地会认为它们都是关于投资回报率 (ROI)、成本节约或收入产生等业务指标——尤其是在谈论企业级 AI 时。这些 AI 业务 KPI 衡量的是 AI 如何影响公司的整体成功，并与更广泛的业务目标保持一致。

然而，AI 性能 KPI 侧重于 AI 系统本身的运行状况，使用准确率、精确率和召回率等指标。我们将在下文深入探讨这些指标的细节，但本质上，虽然业务 KPI 展示了 AI 在财务和战略上的益处，而性能 KPI 则确保 AI 模型能有效地完成其工作。

某些指标实际上可以兼顾两种目的。例如，效率提升（如完成任务所需时间和资源的减少）既可以作为性能 KPI（展示 AI 解决方案的运行效果），也可以作为业务 KPI（衡量成本节约和生产力改进）。客户满意度是另一个交叉指标。它既能反映 AI 驱动的客户服务工具在其技术性能方面的成功，也能反映其对整体业务目标的影响。

Link to this section理解关键的 AI 性能指标#

有几种常用的指标用于衡量 AI 模型的性能表现。首先，我们将查看它们的定义及计算方法。然后，我们将了解如何对这些指标进行监测。

Link to this section精确率 (Precision)#

精确率是一个衡量 AI 模型识别真正正样本（即模型正确识别出目标或条件，且确实符合预期的情况）准确程度的指标。例如，在人脸识别系统中，当系统正确识别出其受过训练并用于检测的人脸时，即为一个真正正样本。

要计算精确率，首先要统计真正正样本的数量。然后，你可以将其除以模型标记为正样本的项目总数。这个总数既包括正确的识别，也包括错误的识别（称为假正样本）。本质上，精确率告诉你模型声称识别出某物时，其准确的频率。

图 2. 理解精确率。

在假正样本的后果可能代价高昂或具有破坏性的场景中，这一点尤为重要。例如，在自动化制造中，高精确率意味着系统能更准确地标记出缺陷产品，并防止不必要地丢弃或返工合格产品。另一个很好的例子是安全监控。高精确率有助于最大限度地减少误报，并仅专注于需要安全响应的真正威胁。

Link to this section召回率 (Recall)#

召回率有助于衡量 AI 模型在数据集中识别所有相关实例（或真正正样本）的能力。简单来说，它表示 AI 系统捕获其设计旨在检测的条件或对象的所有实际案例的能力。召回率的计算方法是用正确检测的数量除以应该被检测到的正样本总数（这包括模型正确识别的案例以及它漏掉的案例）。

考虑一个用于癌症检测的AI 医疗影像系统。在这种情况下，召回率反映了系统正确识别出的实际癌症病例的百分比。高召回率在此类场景中至关重要，因为错过癌症诊断可能会导致严重的患者护理后果。

Link to this section精确率与召回率的比较#

在评估 AI 模型性能时，精确率和召回率就像一枚硬币的两面，它们通常需要平衡。难点在于，提升一个指标往往会以牺牲另一个指标为代价。

假设你追求更高的精确率。模型可能会变得更加挑剔，只能识别出它非常有把握的正样本。另一方面，如果你旨在提高召回率，模型可能会识别出更多的正样本，但这可能会包含更多的假正样本，最终导致精确率下降。

关键在于根据你应用的具体需求，在精确率和召回率之间找到平衡点。实现这一目标的有用工具是精确率-召回率曲线（Precision-Recall curve），它展示了两个指标在不同阈值下的关系。通过分析这条曲线，你可以确定模型在特定用例中表现最佳的临界点。理解这种权衡有助于在微调 AI 模型时，使其在预期的用例中达到最佳性能。

图 3. 精确率-召回率曲线示例。

Link to this section平均精度均值 (mAP)#

平均精度均值 (mAP) 是一个用于评估 AI 模型在目标检测等任务中性能的指标，在这些任务中，模型需要识别并分类图像中的多个对象。mAP 为你提供了一个单一的分数，显示模型在训练所识别的所有不同类别中的表现。让我们看看它是如何计算的。

精确率-召回率曲线下的面积给出了该类别的平均精度 (AP)。AP 考虑了不同置信度水平（置信度水平指模型对预测结果的确定程度）下的精确率和召回率，衡量模型对特定类别进行预测的准确性。一旦计算出每个类别的 AP，mAP 就是通过对所有类别的 AP 值求平均值来确定的。

图 4. 各类别的平均精度。

mAP 在自动驾驶等应用中非常有用，因为这些场景需要同时检测行人、车辆和交通标志等多个对象。高 mAP 分数意味着模型在所有类别中均能保持稳定的良好表现，使其在广泛的场景中表现得既可靠又准确。

Link to this section轻松计算性能指标#

计算关键 AI 性能指标的公式和方法可能看起来令人望而却步。然而，像 Ultralytics 软件包这样的工具可以使过程变得简单快捷。无论你是在处理目标检测、分割还是分类任务，Ultralytics 都提供了必要的实用程序来快速计算精确率、召回率和平均精度均值 (mAP) 等重要指标。

要开始使用 Ultralytics 计算性能指标，你可以按照下方所示安装 Ultralytics 软件包。

在此示例中，我们将加载一个预训练的 YOLOv8 模型并使用它来验证性能指标，但你也可以加载由 Ultralytics 提供的任何支持模型。操作方法如下：

模型加载完成后，你可以在你的数据集上执行验证。以下代码片段将帮助你计算各种性能指标，包括精确率、召回率和 mAP：

使用像 Ultralytics 这样的工具让计算性能指标变得容易得多，这样你就能花更多时间去优化模型，而不必为评估过程的细节而烦恼。

Link to this section部署后如何衡量 AI 性能？#

在开发 AI 模型时，在受控环境中测试其性能很容易。然而，一旦模型部署上线，情况就会变得更复杂。幸运的是，有一些工具和最佳实践可以帮助你在部署后监测你的 AI 解决方案。

Prometheus、Grafana 和 Evidently AI 等工具旨在持续追踪模型的性能。它们能够提供实时洞察、检测异常情况并提醒你潜在的问题。这些工具超越了传统监测的范畴，通过提供自动化、可扩展的解决方案来适应生产环境中 AI 模型动态变化的特性。

要在部署后衡量 AI 模型的成功与否，请遵循以下最佳实践：

• 设定明确的性能指标：确定准确率、精确率和响应时间等关键指标，以定期检查模型的运行状况。
• 定期检查数据漂移 (data drift)：密切关注模型处理数据时的变化，因为如果处理不当，这些变化可能会影响预测结果。
• 进行 A/B 测试：使用 A/B 测试来比较当前模型与新版本或调整后的版本之间的性能。这将使你能够量化评估模型行为的改进或衰退情况。
• 记录并审核性能：详细记录性能指标以及对 AI 系统所做的更改。这对审计、合规性以及持续改进模型架构至关重要。

Link to this section选择最佳的 AI KPI 仅仅是一个开始#

成功地部署和管理 AI 解决方案取决于选择正确的 KPI 并使其保持最新。总而言之，选择能够突显 AI 解决方案在技术上表现如何以及在业务影响方面表现如何的指标是至关重要的。随着事物的发展，无论是技术进步还是业务策略的转变，重新审视并调整这些 KPI 都非常重要。

通过保持性能评估的动态性，你可以确保 AI 系统始终具备相关性和有效性。通过时刻关注这些指标，你将获得宝贵的洞察，从而帮助改善运营。这种主动的方案确保了你的 AI 投入切实有效，并有助于推动业务向前发展！

加入我们的社区，与我们共同创新！浏览我们的 GitHub 仓库 以了解我们的 AI 技术进展。了解我们如何利用前沿的 AI 技术重塑制造业和医疗保健等行业。🚀