你需要了解的关于可解释人工智能 (XAI) 的一切

你是否曾看到过像 ChatGPT 这样的 人工智能 (AI) 工具给出的回答，并想知道它是如何得出该结论的？那么，你已经遇到了 AI 的“黑箱”问题。这个术语指的是 AI 模型在处理和分析数据时缺乏透明度。即便是经常使用尖端 AI 算法的 AI 工程师和科学家，也常常觉得完全理解其内部工作原理具有挑战性。事实上，只有 22% 的 IT 专业人士 真正了解 AI 工具的能力。

围绕 AI 模型如何做出决策的不确定性可能存在风险，尤其是在 医疗保健领域的计算机视觉 和 金融领域的 AI 等关键领域。然而，人们正在取得重大进展来应对这些挑战并提高透明度。

特别是 可解释人工智能 (XAI)，它专注于解决这一问题。简而言之，它是一套帮助人类用户理解并信任复杂 机器学习 算法所提供结果或输出的流程与方法。

XAI 可以帮助开发者确保 AI 系统按预期工作。它还可以帮助 AI 公司满足 监管 标准。在本文中，我们将探讨可解释 AI 及其广泛的应用场景。让我们开始吧！

Link to this section可解释 AI 的重要性#

在使用 AI 时，可解释性是关键。这一点在 AI 的子领域 计算机视觉 中尤为重要，该领域广泛应用于医疗保健等行业。在这些敏感行业使用 视觉模型 时，模型的工作原理对所有人来说都必须是透明且可解释的。

计算机视觉模型的可解释性有助于用户更好地理解 预测 是如何做出的以及其背后的逻辑。通过清晰地概述模型的局限性并确保数据被合乎道德地使用，透明度使得模型的工作原理对每个人来说都变得清晰。例如，计算机视觉可以帮助 放射科医生 高效识别 X 射线图像中的健康并发症。

图 1。使用视觉 AI 分析的胸部 X 光片，显示健康、患病、活动性和潜伏性肺结核分类。

然而，仅有准确的视觉系统是不够的。该系统还需要能够解释其决策。假设系统可以显示图像的哪些部分导致了其结论，那么任何输出都将更加清晰。这种程度的透明度将帮助医疗专业人员仔细核对他们的发现，并确保 患者护理 符合医疗标准。

可解释性至关重要的另一个原因是它使 AI 公司承担责任并建立用户的信任。值得信赖的 AI 会让用户感到确信，即 AI 创新能够可靠地工作、做出公平的决策并 负责任地处理数据。

Link to this section计算机视觉中的关键可解释 AI 技术#

既然我们已经讨论了可解释性在计算机视觉中的重要性，让我们来看看视觉 AI 中使用的关键 XAI 技术。

Link to this section显著性图 (Saliency maps)#

神经网络 是受人脑启发而设计的模型，旨在通过处理经过相互连接的节点（神经元）层的数据来识别模式并做出决策。它们可用于以高准确率解决复杂的计算机视觉问题。尽管具备这种准确性，但它们在设计上仍然是黑箱。

显著性图是一种 XAI 技术，可用于帮助理解神经网络在分析图像时看到了什么。它还可以用于在模型表现未达预期时进行故障排除。

显著性图通过聚焦图像的哪些部分（像素）定义了模型的预测来工作。此过程与 反向传播 非常相似，其中模型从预测回溯到输入。但我们不是基于错误更新模型的权重，而是仅仅观察每个像素对预测有多“重要”。显著性图对于像图像分类这样的 计算机视觉任务 非常有用。

例如，如果一个 图像分类 模型预测一张图像是狗，我们可以查看它的显著性图来理解为什么模型认为它是狗。这有助于我们确定哪些像素对输出的影响最大。显著性图将高亮显示所有促成该图像是狗这一最终预测的像素。

图 2。输入图像与其显著性图的并排视图。

Link to this section类激活映射 (CAM)#

类激活映射是另一种 XAI 技术，用于了解神经网络在进行图像分类预测时关注图像的哪些部分。它的工作原理类似于显著性图，但侧重于识别图像中的重要特征，而不是特定像素。特征 是模型在图像中检测到的模式或细节，例如形状或纹理。

梯度加权类激活映射 (Grad-CAM) 和 Grad-CAM++ 等方法基于相同的理念，并进行了一些改进。

以下是 CAM 的工作原理：

• 在神经网络做出最终决定之前，它使用一个称为全局平均池化 (GAP) 的步骤来简化信息。GAP 将检测到的模式中的所有像素组合成一个单一的平均值，为每个特征图（检测到的模式的视觉表示）创建一个摘要。
• 然后为每个特征图分配一个权重，显示它对于预测某个类别（如“鸟”或“猫”）有多重要。
• 然而，CAM 的一个局限性是你可能需要 重新训练模型 来计算这些权重，这可能会很耗时。

Grad-CAM 通过使用 梯度 对此进行了改进，梯度就像显示每个特征图对最终预测影响程度的信号。这种方法避免了对 GAP 的需要，并且无需重新训练即可更容易地查看模型关注的内容。Grad-CAM++ 通过仅关注正向影响将此更进一步，这使得结果更加清晰。

图 3。比较 CAM、Grad-CAM 和 Grad-CAM++。

Link to this section反事实解释#

反事实解释是可解释 AI 的一个重要元素。反事实解释涉及通过考虑未发生但可能发生的替代场景或事件来描述某种情况或结果。它可以展示输入变量的特定变化如何导致不同的结果，例如：“如果没发生 X，就不会出现 Y。”

当谈到 AI 和计算机视觉时，反事实解释确定了在输入（例如 图像或数据）中所需的最小变化，以使 AI 模型产生不同的、特定的结果。例如，更改图像中对象的颜色可能会改变 图像分类模型的预测，从“猫”变为“狗”。

另一个很好的例子是改变 人脸识别系统 中的角度或光照。这可能导致模型识别出不同的人，显示出输入的微小变化如何影响模型的预测。

创建这些解释的最简单方法是通过试错：你可以随机更改输入的部分（如图像或数据的特征），直到 AI 模型给你想要的结果。其他方法包括模型无关的方法，它使用 优化 和搜索技术来寻找变化；以及模型特定的方法，它依赖于内部设置或计算来识别所需的变化。

Link to this section可解释 AI 在计算机视觉中的应用#

既然我们已经探讨了什么是 XAI 及其关键技术，我们可以了解它是如何在现实生活中使用的。XAI 在许多领域都有不同的应用。让我们深入了解一些突出其潜力用例：

• 安全系统：XAI 可用于通过检测护照和驾驶执照等身份证明文件中的伪造图像来增强安全系统。这确保了图像的真实性，加强了身份验证流程，并防止了敏感应用中的欺诈活动。

图 4。XAI 如何工作以检测伪造图像。

• 自动驾驶：了解自动驾驶汽车车载视觉 AI 系统的能力和局限性，在汽车投入真实道路使用之前进行测试时可能非常重要。XAI 可以帮助汽车公司更清晰地识别和解决问题。

• 法律系统：视觉驱动的 文档分析 系统越来越多地用于司法决策。XAI 支持公平的结果，并允许对自动化判决进行审查。它还可以帮助法律专业人士理解 AI 模型如何得出其结论。

• 野生动物监测：相机陷阱常用于监测野生动物并收集动物物种的数据。XAI 可用于解释 AI 如何对图像中的这些物种进行分类。通过这样做，保护工作可以更加可靠和准确。

Link to this section关于可解释 AI 的主要收获#

可解释 AI 使了解 AI 系统的工作原理及其做出特定决策的原因变得更加容易。关于 AI 模型的透明度建立了信任和问责制。知识就是力量，有助于更负责任地使用 AI 创新。在医疗保健、安全、自动驾驶和法律系统等关键领域，XAI 可用于帮助开发者和用户理解 AI 预测、识别错误并确保公平和合乎道德的使用。通过使 AI 更加透明，XAI 弥合了技术与人类信任之间的鸿沟，使其在现实应用中更安全、更可靠。

要了解更多信息，请访问我们的 GitHub 存储库，并与我们的 社区 互动。在我们的解决方案页面上探索 自动驾驶汽车中的 AI 应用 和 农业。 🚀