可解释 AI (XAI) 的必备知识

你是否曾看到 人工智能（AI）工具（如 ChatGPT）的回答，并想知道它是如何得出结论的？这时你就遇到了 AI 的“黑箱”问题。这个术语指的是人们不清楚 AI 模型如何处理和分析数据。即使是经常使用高级 AI 算法的 AI 工程师和科学家，也可能难以完全理解其内部运作。事实上，只有 22% 的 IT 专业人士真正了解 AI 工具的能力。

人们不确定 AI 模型如何做出决策，这可能带来风险，尤其是在医疗保健中的计算机视觉和金融 AI 等关键领域。不过，解决这些挑战、提升透明度方面已经取得了重大进展。

具体来说，可解释人工智能（XAI）致力于解决这个问题。简单来说，它是一套流程和方法，帮助人类用户理解并信任复杂机器学习算法给出的结果或输出。

XAI 可以帮助开发者确保 AI 系统按预期运行，也可以帮助 AI 公司满足监管标准。本文将探讨可解释人工智能及其广泛的应用场景。

可解释人工智能的重要性#

开发 AI 时，可解释性至关重要。对于 AI 的一个分支——计算机视觉来说尤其如此；计算机视觉广泛应用于医疗保健等行业。在这些敏感行业中使用视觉模型时，模型的运行机制必须对所有人透明且可解释。

计算机视觉模型的可解释性有助于用户更好地理解预测是如何得出的，以及背后的逻辑。透明度则进一步让所有人都能清楚了解模型的运行方式，明确说明模型的局限性，并确保数据得到合乎伦理的使用。例如，计算机视觉可以帮助放射科医生高效地从 X 光图像中识别健康问题。

图 1。使用视觉 AI 分析胸部 X 光片，展示健康、患病、活动性和潜伏性结核病分类。

然而，视觉系统仅仅准确还不够，它还需要能够解释自己的决策。假设系统能够显示图像中的哪些部分促使它得出结论，那么输出就会更加清晰。这样的透明度有助于医疗专业人员复核检查结果，并确保患者护理符合医疗标准。

可解释性至关重要的另一个原因是，它能让 AI 公司承担责任，并建立用户信任。值得信赖的 AI 能让用户相信 AI 创新可以可靠运行、公平决策，并负责任地处理数据。

计算机视觉中的主要可解释 AI 技术#

讨论了可解释性对计算机视觉的重要性之后，下面来看看视觉 AI 中使用的主要 XAI 技术。

显著性图#

神经网络是受人脑启发的模型，旨在通过互相连接的节点（神经元）层处理数据，从而识别模式并作出决策。神经网络可以高精度地解决复杂的计算机视觉问题。即使精度很高，它们在设计上仍然是黑箱。

显著图是一种 XAI 技术，可帮助人们理解神经网络分析图像时关注的内容。如果模型表现不如预期，也可以利用显著图排查问题。

显著图通过关注图像中的哪些部分（像素）决定模型的预测结果来发挥作用。这个过程与反向传播非常相似，模型都会从预测结果追溯到输入。但反向传播会根据错误更新模型权重，而显著图只关注每个像素对预测“有多重要”。显著图对图像分类等计算机视觉任务非常有用。

例如，如果图像分类模型预测图像中有一只狗，我们可以查看显著性图，了解模型为何认为图像中有狗。这有助于我们找出哪些像素对输出影响最大。显著性图会突出显示所有促成最终“图像中有狗”预测结果的像素。

图 2。输入图像与对应显著性图的并排视图。

类激活映射 (CAM)#

类激活映射是另一种 XAI 技术，用于了解神经网络在进行图像分类预测时关注图像的哪些部分。它的工作方式与显著性图类似，但重点是识别图像中的重要特征，而不是具体像素。特征是模型在图像中检测到的形状或纹理等模式或细节。

梯度加权类激活映射（Grad-CAM）和 Grad-CAM++ 等方法基于同一理念进行了改进。

下面介绍 CAM 的工作原理：

• 神经网络作出最终决策前，会使用全局平均池化 (GAP) 这一步骤来简化信息。GAP 会将检测到的模式中的所有像素合并为一个平均值，为每个特征图（检测到的模式的可视化表示）生成摘要。
• 随后，系统会为每个特征图赋予一个权重，表示该特征图对预测特定类别（如“鸟”或“猫”）的重要程度。
• 不过，CAM 有一个局限：你可能需要重新训练模型才能计算这些权重，这会耗费不少时间。

Grad-CAM 使用梯度进行了改进，梯度就像信号，表示每个特征图对最终预测结果的影响程度。这种方法无需使用 GAP，因此不必重新训练模型就能更轻松地了解模型关注的内容。Grad-CAM++ 更进一步，只关注正向影响，因此结果更加清晰。使用 visualize=True 运行预测模式时，Ultralytics YOLO 模型可以为每张图像保存类似的类激活热力图。

图 3。CAM、Grad-CAM 和 Grad-CAM++ 对比。

反事实解释#

反事实解释是可解释人工智能的重要组成部分。反事实解释通过考虑没有发生但可能发生的替代情景或事件，来描述某种情况或结果。它可以说明特定输入变量的变化如何导致不同结果，例如：“如果 X 没有发生，Y 就不会发生。”

在 AI 和计算机视觉领域，反事实解释会找出输入（例如图像或数据）需要做出的最小改动，从而使 AI 模型产生不同的特定结果。例如，改变图像中物体的颜色，就可能让图像分类模型的预测从“猫”变成“狗”。

另一个好例子是改变人脸识别系统中的角度或光线。这可能会导致模型识别出不同的人，说明输入中的细微变化也会影响模型的预测结果。

生成这类解释最简单的方法是反复试错：你可以随机修改输入的部分内容（例如图像或数据的特征），直到 AI 模型给出你想要的结果。其他方法包括模型无关方法，它们使用优化和搜索技术来找到改动；以及模型特定方法，它们依靠内部设置或计算来确定所需的改动。

可解释人工智能在计算机视觉中的应用#

现在我们已经了解了 XAI 的概念及其关键技术，接下来可以看看它在现实中的应用。XAI 在许多领域都有各种各样的应用。以下是一些展现其潜力的用例：

• 安防系统：XAI 可用于增强安防系统，检测护照和驾照等身份证件中的变形图像。这有助于确保图像真实可信、加强身份验证流程，并防止敏感应用中的欺诈行为。

图 4。XAI 检测变形图像的工作原理。

• 自动驾驶：在自动驾驶汽车驶上真实道路之前，了解其车载视觉 AI 系统的能力和局限性，是测试汽车的重要环节。XAI 可以帮助汽车公司更清晰地发现并解决问题。
• 司法系统：具备视觉功能的文档分析系统正越来越多地用于司法决策。XAI 有助于实现公平的结果，并支持审查自动化判决。它还能帮助法律专业人员了解 AI 模型是如何做出决策的。
• 野生动物监测：人们常用红外相机监测野生动物并收集动物物种数据。XAI 可以解释 AI 如何对图像中的物种进行分类。这样一来，保护工作就能更加可靠、准确。

关于可解释人工智能的要点#

可解释人工智能让人们更容易理解 AI 系统的工作方式，以及系统为何做出某些决策。AI 模型的透明度能够建立信任和问责机制。在医疗保健、安全、自动驾驶和司法系统等关键领域，XAI 可以帮助开发者和用户理解 AI 的预测结果、识别错误，并确保使用过程公平合乎伦理。通过提高 AI 的透明度，XAI 弥合了技术与人类信任之间的鸿沟，让 AI 在实际应用中更加安全可靠。

如需了解更多信息，请访问我们的 GitHub 代码仓库，并加入我们的社区。在我们的解决方案页面上，探索自动驾驶汽车中的 AI 应用和农业。