你需要了解的关于可解释人工智能 (XAI) 的一切

你见过像 ChatGPT 这样的人工智能 artificial intelligence (AI) 工具的回答并想知道它是如何得出这个结论的吗？那么，你已经遇到了 AI 的“黑箱”问题。这是一个指代 AI 模型如何处理和分析数据缺乏清晰度的术语。即使是经常使用尖端 AI 算法的 AI 工程师和科学家，要完全理解其内部工作原理也往往具有挑战性。事实上，只有 22% 的 IT 专业人员真正理解 AI 工具的功能。

围绕 AI 模型如何做出决策的不确定性可能带来风险，尤其是在医疗健康领域的计算机 vision和金融领域的 AI 等关键领域。不过，为了应对这些挑战并提高透明度，人们正在取得重大进展。

特别是可解释 AI (XAI) 专门致力于解决这一问题。简而言之，它是一套帮助人类用户理解并信任复杂机器学习算法所给出的结果或输出的过程和方法。

XAI 可以帮助开发者确保 AI 系统按预期工作。它还可以帮助 AI 公司满足监管标准。在这篇文章中，我们将探讨可解释 AI 及其广泛的用例。让我们开始吧！

可解释 AI 的重要性#

在处理 AI 时，可解释性是关键。当涉及到 AI 的子领域计算机视觉时尤其如此，该领域广泛应用于医疗等行业的应用中。在这些敏感行业中使用视觉模型时，模型的工作原理对每个人来说都必须是透明且可解释的，这一点非常重要。

计算机视觉模型中的可解释性有助于用户更好地理解预测是如何做出的以及背后的逻辑。透明度则通过清楚地概述模型的局限性并确保数据的道德使用，使每个人都能清晰了解模型的工作原理。例如，计算机视觉可以帮助放射科医生高效识别 X 光图像中的健康并发症。

图 1。使用视觉 AI 分析的胸部 X 光片，显示健康、生病、活动性和潜伏性结核病分类。

然而，仅具备准确性的视觉系统是不够的。该系统还需要能够解释其决策。假设系统能够展示图像的哪些部分导致了其结论——那么，任何输出都会更加清晰。这种级别的透明度将有助于医疗专业人员仔细检查他们的发现，并确保患者护理符合医疗标准。

可解释性至关重要的另一个原因是，它能让 AI 公司承担责任并在用户中建立信任。值得信赖的 AI 会让用户对 AI 创新充满信心，确信它们能够可靠地工作、做出公平的决策并负责任地处理数据。

计算机视觉中的关键可解释 AI 技术#

既然我们已经讨论了可解释性在计算机视觉中的重要性，让我们来看看视觉 AI 中使用的关键 XAI 技术。

显著性图 (Saliency maps)#

神经网络是受人脑启发的模型，旨在通过互联的节点层（神经元）处理数据来识别模式并做出决策。它们可用于高精度地解决复杂的计算机视觉问题。尽管具有这种准确性，但按设计它们仍然是黑箱。

显著性图是一种 XAI 技术，可用于帮助理解神经网络在分析图像时看到了什么。它还可以用于在模型表现未达预期时进行故障排除。

显着图通过关注图像的哪些部分（像素）决定了模型的预测来工作。这个过程非常类似于反向传播，即模型从预测追溯到输入。但我们不是根据错误更新模型的权重，而是只观察每个像素对预测有多大“重要性”。显着图对于诸如图像分类等计算机视觉任务非常有用。

例如，如果一个图像分类模型预测某张图片是一只狗，我们可以查看它的显着图来理解为什么模型认为这是一只狗。这有助于我们识别哪些像素对输出影响最大。显着图会高亮显示所有促成将该图像最终预测为狗的像素。

图 2。输入图像与其显着图的并排视图。

类激活映射 (CAM)#

类激活映射是另一种 XAI 技术，用于理解神经网络在进行图像分类预测时关注图像的哪些部分。它的工作原理类似于显着图，但专注于识别图像中的重要特征，而不是特定像素。特征是模型在图像中检测到的模式或细节，例如形状或纹理。

梯度加权类激活映射 (Grad-CAM) 和 Grad-CAM++ 等方法基于相同的理念，并进行了一些改进。

以下是 CAM 的工作原理：

• 在神经网络做出最终决定之前，它使用一个称为全局平均池化 (GAP) 的步骤来简化信息。GAP 将检测到的模式中的所有像素组合成一个单一的平均值，为每个特征图（检测到的模式的视觉表示）创建一个摘要。
• 然后为每个特征图分配一个权重，显示它对于预测某个类别（如“鸟”或“猫”）有多重要。
• 然而，CAM 的一个局限性在于你可能需要重新训练模型来计算这些权重，这可能会很耗时。

Grad-CAM 通过使用梯度对此进行了改进，梯度类似于显示每个特征图对最终预测影响程度的信号。这种方法避免了对 GAP 的需求，使得无需重新训练就能更容易地看出模型关注的内容。Grad-CAM++ 将其推进一步，只关注积极的影响，这使得结果更加清晰。

图 3。比较 CAM、Grad-CAM 和 Grad-CAM++。

反事实解释#

反事实解释是可解释 AI 的一个重要元素。反事实解释涉及通过考虑未发生但可能发生的替代场景或事件来描述某种情况或结果。它可以展示输入变量的特定变化如何导致不同的结果，例如：“如果没发生 X，就不会出现 Y。”

在 AI 和计算机视觉方面，反事实解释确定了输入（如图像或数据）中所需的最小更改，以使 AI 模型产生不同的、特定的结果。例如，改变图像中某个物体的颜色可以将图像分类模型的预测从“猫”更改为“狗”。

另一个很好的例子是改变人脸识别系统中的角度或光照。这可能会导致模型识别出不同的个人，从而展示输入中的微小变化如何影响模型的预测。

创建这些解释的最简单方法是通过试错：你可以随机更改输入的某些部分（如图像的特征或数据），直到 AI 模型给你想要的结果。其他方法包括与模型无关的方法，它使用优化和搜索技术来寻找变化，以及依赖内部设置或计算来识别所需变化的特定于模型的方法。

可解释 AI 在计算机视觉中的应用#

既然我们已经探讨了什么是 XAI 及其关键技术，我们可以了解它是如何在现实生活中使用的。XAI 在许多领域都有不同的应用。让我们深入了解一些突出其潜力用例：

• 安全系统：XAI 可用于通过检测护照和驾照等身份识别文件中的变形图像来增强安全系统。这确保了图像的真实性，加强了身份验证过程，并防止了敏感应用中的欺诈活动。

图 4。XAI 如何检测变形图像。

• 自动驾驶：了解自动驾驶汽车车载视觉 AI 系统的功能和局限性，可以成为在真实道路上部署汽车之前测试汽车的重要组成部分。XAI 可以帮助汽车公司更清晰地识别和解决问题。

• 法律系统：具备视觉功能的文档分析系统正越来越多地被用于司法决策中。XAI 支持公正的结果，并允许对自动化判决进行审查。它还帮助法律专业人员理解 AI 模型是如何做出决策的。

• 野生动物监测：红外相机常用于监测野生动物并收集动物物种的数据。XAI 可用于解释 AI 如何对图像中的这些物种进行分类。通过这样做，保护工作可以更加可靠和准确。

关于可解释 AI 的主要收获#

可解释 AI 使了解 AI 系统的工作原理及其做出特定决策的原因变得更加容易。关于 AI 模型的透明度建立了信任和问责制。知识就是力量，有助于更负责任地使用 AI 创新。在医疗保健、安全、自动驾驶和法律系统等关键领域，XAI 可用于帮助开发者和用户理解 AI 预测、识别错误并确保公平和合乎道德的使用。通过使 AI 更加透明，XAI 弥合了技术与人类信任之间的鸿沟，使其在现实应用中更安全、更可靠。

要了解更多信息，请访问我们的 GitHub 仓库，并与我们的社区互动。在我们的解决方案页面上探索自动驾驶汽车中的 AI 应用和农业。🚀