可解释的 AI (XAI)

可解释的人工智能（XAI）是指一套流程、工具和方法，使人类用户能够理解和信任 机器学习（ML）算法产生的结果和输出。 机器学习（ML）算法产生的结果和输出。正如 人工智能（AI）系统 变得越来越先进，尤其是在 随着人工智能（AI）系统变得越来越先进，尤其是在深度学习（DL）领域，它们往往像 "黑盒子"一样运行。 "黑盒子"。这意味着，虽然系统可以做出准确的预测，但得出这一决定所使用的内部逻辑 对用户来说是不透明或隐藏的。XAI 旨在阐明这一过程，弥合 在复杂的神经网络和人类理解之间架起一座桥梁。 理解之间的鸿沟。

可解释性为何重要

XAI 的主要目标是确保人工智能系统的透明性、可解释性和可问责性。这对于 这对于调试和改进模型性能至关重要，但对于与利益相关者建立信任也同样重要。 在对安全至关重要的领域，用户必须验证模型的决策是基于合理的推理，而不是虚假的相关性。 虚假关联。例如 NIST 人工智能风险管理框架强调 可解释性是可信系统的一个关键特征。此外，新出现的法规，如 欧盟人工智能法案》等新兴法规正在制定法律标准，要求 此外，欧盟人工智能法案等新兴法规正在制定法律标准，要求高风险人工智能系统为其自动决策提供可理解的解释。

实施 XAI 对维护 人工智能道德。通过可视化模型如何权衡不同 开发人员可以detect 并减少 算法偏差，确保人工智能部署更加公平。 人工智能部署的公平性。相关倡议包括 DARPA 的可解释人工智能计划 等倡议，推动了对技术的大量研究，使这些强大的工具更容易为非专业人士所使用。

常见的 XAI 技术

实现可解释性有几种方法，通常按它们是与模型无关还是与特定模型有关来分类。 特定模型。

• SHAP（Shapley Additive exPlanations）：这种博弈论方法为特定预测的每个特征分配一个贡献值。 每个特征对特定预测的贡献值。 SHAP 值为特征的重要性提供了统一的衡量标准、 帮助用户了解到底是哪些输入影响了模型的输出。
• LIME（本地可解释模型--不可知论解释）：这种技术是用一个复杂的模型 用一个更简单的模型来近似一个复杂的模型。 LIME可通过调整输入和观察输出如何变化来解释单个预测。 观察输出如何变化，从而帮助解释单个预测，对黑箱模型非常有效。
• 显著性地图：广泛应用于 广泛应用于计算机视觉领域。 图像中对模型决策影响最大的像素。类似的技术有 梯度-CAM（梯度加权类激活映射）等技术可生成 热图，显示卷积神经网络的 卷积神经网络 识别物体的 "位置"。

实际应用

可解释的人工智能正在改变各行各业，在这些行业中，决策的合理性与决策本身同样重要。

1. 医疗保健和诊断：在 在医学图像分析中，人工智能模型可协助 放射科医生检测肿瘤等异常情况。支持 XAI 的系统不仅会输出概率，还会 突出显示 X 光片或核磁共振成像上触发警报的特定区域。这使医疗专业人员能够 根据他们的专业知识来验证人工智能的发现，从而提高人工智能在医疗保健领域的安全性。 人工智能在医疗保健领域的应用。
2. 金融服务：当银行使用人工智能进行信用评分时，拒绝贷款申请需要有明确的理由。 拒绝贷款申请需要有明确的理由，以符合 平等信贷机会法》等法规。XAI 工具可将拒绝理由分解为可理解的因素，如 "高债务收入比 "或 "信用记录不足"。 "信用记录不足"--为客户和审计人员提供必要的透明度。

区分相关术语

将 XAI 与人工智能术语表中的相关概念区分开来很有帮助：

• XAI 与人工智能中的透明度：透明度是一个更宽泛的概念，指的是整个系统的开放性，包括数据源、模型 架构和开发流程。XAI 特别关注如何使模型的输出和推理可理解。 的方法。透明度可能意味着共享 训练数据分布，而 XAI 则解释 为什么特定的输入会产生特定的结果。
• XAI 与可解释性：虽然经常互换使用，但可解释性通常指的是 模型结构的内在可理解程度（如决策树）。 决策树），而可解释性通常 而可解释性通常涉及应用于复杂、不可解释模型的事后方法，如 深度神经网络。

代码示例：解释推理结果

当使用以下模型时 YOLO11 对于 物体检测因此，理解输出是实现可解释性的第一步。 可解释性的第一步。可解释性 ultralytics 软件包可轻松访问检测数据，作为进一步 XAI 分析或可视化的基础。 作为进一步 XAI 分析或可视化的基础。

from ultralytics import YOLO

# Load the YOLO11 model (official pre-trained weights)
model = YOLO("yolo11n.pt")

# Run inference on an image to detect objects
results = model("https://ultralytics.com/images/bus.jpg")

# Display the annotated image to visually interpret what the model detected
# Visual inspection is a basic form of explainability for vision models.
results[0].show()

通过可视化边界框和类标签，用户可以进行基本的 "眼睛测试 "验证--这是 模型评估和监控的 模型评估和监控的一个基本方面。对于更高级的 对于更高级的需求，研究人员通常会将这些输出结果与专为详细特征归属而定制的库进行整合。