关于可解释 AI (XAI) 的所有必知内容

你是否看过 ChatGPT 等人工智能 (AI)工具给出的回答，并想知道它是如何得出这个结论的？那么，你就遇到了 AI 的“黑箱”问题。这个术语指的是人们不清楚 AI 模型如何处理和分析数据。即使是经常使用尖端 AI 算法的 AI 工程师和科学家，也可能很难完全理解其内部工作原理。事实上，只有 22% 的 IT 专业人员真正了解 AI 工具的功能。

围绕 AI 模型如何做出决策的不确定性可能带来风险，尤其是在医疗保健中的计算机视觉和金融领域的 AI等关键领域。不过，人们正在取得重大进展，以应对这些挑战并提高透明度。

具体来说，可解释人工智能 (XAI)专门致力于解决这一问题。简单来说，它是一组流程和方法，可帮助人类用户理解并信任复杂机器学习算法给出的结果或输出。

XAI 可以帮助开发者确保 AI 系统按预期运行。它还可以帮助 AI 公司满足监管标准。本文将探讨可解释人工智能及其广泛的应用场景。让我们开始吧！

可解释人工智能的重要性#

与 AI 协作时，可解释性至关重要。当涉及 AI 的子领域——计算机视觉时尤其如此，该技术广泛应用于医疗保健等行业。 在这些敏感行业中使用视觉模型时，模型的工作原理必须对所有人透明且可解释。

计算机视觉模型的可解释性有助于用户更好地理解预测是如何得出的，以及其背后的逻辑。透明度则通过清晰说明模型的局限性并确保以合乎道德的方式使用数据，进一步让所有人了解模型的工作原理。例如，计算机视觉可以帮助放射科医生高效地从 X 射线图像中识别健康问题。

图 1。使用视觉 AI 分析胸部 X 射线，展示健康、患病、活动性和潜伏性结核病分类。

然而，仅仅准确的视觉系统还不够。系统还需要能够解释其决策。假设系统能够显示图像中的哪些部分促成了其结论，那么所有输出都会更加清晰。这样的透明度有助于医疗专业人员复核其判断，并确保患者护理符合医疗标准。

可解释性至关重要的另一个原因是，它能让 AI 公司承担责任，并建立用户信任。值得信赖的 AI 能让用户确信 AI 创新可靠地运行、做出公平的决策，并负责任地处理数据。

计算机视觉中的关键可解释人工智能技术#

现在我们已经讨论了可解释性在计算机视觉中的重要性，接下来看看视觉 AI 使用的关键 XAI 技术。

显著性图#

神经网络是受人脑启发的模型，旨在通过让数据经过由相互连接的节点（神经元）组成的层来识别模式并做出决策。它们可用于高精度地解决复杂的计算机视觉问题。即使具有这样的准确性，它们在设计上仍然是黑箱。

显著性图是一种 XAI 技术，可帮助我们理解神经网络在分析图像时看到了什么。在模型表现不符合预期时，它还可用于排查模型问题。

显著性图的工作原理是关注图像中的哪些部分（像素）决定了模型的预测。这个过程与反向传播非常相似，模型会从预测结果追溯到输入。但我们不是根据错误更新模型权重，而是观察每个像素对预测结果有多“重要”。显著性图对于图像分类等计算机视觉任务非常有用。

例如，如果一个图像分类模型预测某张图像中的是一只狗，我们可以查看其显著性图，了解模型为什么认为这是狗。这有助于我们确定哪些像素对输出的影响最大。显著性图会突出显示促成图像最终被预测为狗的所有像素。

图 2。输入图像及其显著性图的并排视图。

类别激活映射 (CAM)#

类别激活映射是另一种 XAI 技术，用于了解神经网络在进行图像分类预测时关注图像中的哪些部分。它的工作方式与显著性图类似，但重点是识别图像中的重要特征，而不是具体像素。特征是模型从图像中检测到的模式或细节，例如形状或纹理。

梯度加权类别激活映射 (Grad-CAM) 和 Grad-CAM++ 等方法都建立在相同的理念之上，并进行了一些改进。

下面介绍 CAM 的工作原理：

• 在神经网络做出最终决策之前，它会使用全局平均池化 (GAP) 这一步来简化信息。GAP 将检测到的模式中的所有像素合并为一个平均值，为每个特征图（检测到的模式的可视化表示）创建摘要。
• 随后，每个特征图都会获得一个权重，用于表示它对于预测某个类别（例如“鸟”或“猫”）的重要程度。
• 然而，CAM 的一个局限是，你可能需要重新训练模型才能计算这些权重，这可能很耗时。

Grad-CAM 通过使用梯度对此进行了改进。梯度就像信号，表示每个特征图对最终预测的影响程度。这种方法无需使用 GAP，也无需重新训练，就能更轻松地看出模型关注的内容。Grad-CAM++ 更进一步，只关注正向影响，从而让结果更加清晰。

图 3。CAM、Grad-CAM 和 Grad-CAM++ 的比较。

反事实解释#

反事实解释是可解释人工智能的重要组成部分。反事实解释通过考虑并未发生但本可能发生的替代情景或事件，来描述某种情况或结果。它可以展示特定输入变量的变化如何导致不同结果，例如：“如果 X 没有发生，Y 就不会发生。”

在 AI 和计算机视觉领域，反事实解释会确定对输入（例如图像或数据）所需的最小改动，使 AI 模型产生不同且特定的结果。例如，改变图像中物体的颜色，可能会使图像分类模型的预测从“猫”变为“狗”。

另一个很好的例子是改变人脸识别系统中的角度或光照。这可能导致模型识别出不同的个人，说明输入中的微小变化如何影响模型的预测。

创建这些解释最简单的方法是反复试错：你可以随机改变输入的某些部分（例如图像或数据的特征），直到 AI 模型给出期望的结果。其他方法包括与模型无关的方法，它们使用优化和搜索技术来寻找改动；以及特定于模型的方法，它们依靠内部设置或计算来确定所需的改动。

可解释人工智能在计算机视觉中的应用#

现在我们已经了解了 XAI 的定义及其关键技术，接下来可以看看它在现实生活中的应用。XAI 在许多领域都有多样化的应用。下面深入了解一些展现其潜力的应用场景：

• 安防系统：XAI 可用于检测护照和驾驶证等身份证件中的变形图像，从而增强安防系统。这可以确保图像的真实性，强化身份验证流程，并防止敏感应用中的欺诈活动。

图 4。XAI 如何检测变形图像。

• 自动驾驶：了解自动驾驶汽车车载视觉 AI 系统的功能和局限性，可能是车辆在部署到真实道路前进行测试的重要环节。XAI 可以帮助汽车公司更清晰地识别和解决问题。

• 法律系统：具备视觉功能的文档分析系统正越来越多地用于司法决策。XAI 支持公平的结果，并允许对自动化判决进行审查。它还可以帮助法律专业人员了解 AI 模型如何做出决策。

• 野生动物监测：相机陷阱常用于监测野生动物并收集动物物种数据。XAI 可用于解释 AI 如何对图像中的这些物种进行分类。这样一来，保护工作就能更加可靠、准确。

关于可解释人工智能的关键要点#

可解释人工智能让人们更容易理解 AI 系统的工作方式，以及它们为何做出特定决策。对 AI 模型保持透明能够建立信任和问责机制。知识就是力量，有助于更负责任地使用 AI 创新。在医疗保健、安防、自动驾驶和法律系统等关键领域，XAI 可以帮助开发者和用户理解 AI 预测、识别错误，并确保以公平且合乎道德的方式使用 AI。通过提高 AI 的透明度，XAI 弥合了技术与人类信任之间的鸿沟，使 AI 在现实应用中更加安全可靠。

如需了解更多信息，请访问我们的 GitHub 代码仓库，并参与我们的社区交流。在我们的解决方案页面上探索自动驾驶汽车中的 AI 应用和农业领域的应用。🚀