Explainable AI (XAI)

可解释人工智能 (XAI) 是指一套全面的流程、工具和方法，旨在使 人工智能 (AI) 系统的输出对人类用户而言变得可理解。随着组织越来越多地部署复杂的 机器学习 (ML) 模型——特别是在 深度学习 (DL) 领域——这些系统往往充当“黑盒”。尽管黑盒模型可以提供高精度的预测，但其内部决策逻辑仍然是不透明的。XAI 旨在阐明这一过程，帮助相关人员理解为何做出特定决策，这对于建立信任、确保安全以及满足法规遵从性至关重要。

Link to this section可解释性的重要性#

对自动化决策中透明度的需求正在推动各行业采用 XAI。信任是一个主要因素；如果用户无法验证 预测建模 背后的逻辑，他们就不太可能依赖它。这在高风险环境中尤为重要，因为那里的错误可能导致严重的后果。

• 法规遵从性： 新的法律框架，例如 欧盟 AI 法案 和 通用数据保护条例 (GDPR)，日益要求高风险 AI 系统为其决策提供可解释的说明。
• 伦理 AI： 实施 XAI 是 AI 伦理 的基石。通过揭示哪些特征影响了模型的输出，开发者可以识别并减轻 算法偏见，从而确保系统在不同人群中公平运作。
• 模型调试： 对于工程师而言，可解释性对于 模型监控 至关重要。它有助于诊断模型为何在特定的极端案例中失败或遭受 数据偏移 的影响，从而进行更有针对性的再训练。

Link to this sectionXAI 中的常用技术#

存在多种技术可以使 神经网络 更具透明度，通常根据它们是模型无关（适用于任何算法）还是模型特定来分类。

• SHAP (SHapley Additive exPlanations)： 基于合作博弈论，SHAP 值 为给定预测的每个特征分配贡献分数，解释了每个输入如何将结果从基线偏移。
• LIME (Local Interpretable Model-agnostic Explanations)： 该方法在特定预测周围局部地用一个更简单、可解释的模型（如线性模型）来近似复杂模型。LIME 通过扰动输入并观察输出变化来帮助解释各个实例。
• 显著性图： 在 计算机视觉 (CV) 中得到广泛应用，这些可视化图突出了图像中对模型决策影响最大的像素。诸如 Grad-CAM 之类的方法创建热图，以显示模型“查看”了何处来识别对象。

Link to this section实际应用#

在“为什么”与“是什么”同等重要的领域，可解释人工智能至关重要。

1. 医疗诊断： 在 医学图像分析 中，AI 仅仅将 X 光片标记为异常是不够的。启用 XAI 的系统会突出显示触发警报的肺部或骨骼特定区域。这种视觉证据允许放射科医生验证模型的发现，从而促进更安全的 医疗保健领域 AI 采用。

2. 金融服务： 当银行使用算法进行信用评分时，拒绝贷款申请需要明确的理由以遵守诸如 平等信贷机会法 等法律。XAI 工具可以将拒绝原因分解为可理解的因素——例如“债务收入比过高”——从而促进 AI 公平性，并允许申请人解决特定问题。

Link to this section区分相关术语#

区分 XAI 与 AI 词汇表中的类似概念会有所帮助：

• XAI 与 AI 透明度： 透明度是一个更广泛的概念，涵盖了整个系统的开放性，包括数据来源和开发过程。XAI 特别关注用于使 推理逻辑 可理解的技术。透明度可能涉及发布 模型权重，而 XAI 则解释了为什么这些权重产生了特定的结果。
• XAI 与可解释性： 可解释性通常指设计上本身就可理解的模型，例如 决策树 或线性回归。XAI 通常涉及应用于深度 卷积神经网络 (CNN) 等复杂、不可解释模型的事后方法。

Link to this section代码示例：可视化推理以进行解释#

A fundamental step in explainability for computer vision is visualizing the model's predictions directly on the image. While advanced XAI uses heatmaps, seeing the bounding boxes and confidence scores provides immediate insight into what the model detected. Using the ultralytics package with state-of-the-art models like YOLO26, users can easily inspect detection outputs.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (Nano version)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This displays the image with bounding boxes, labels, and confidence scores,
# acting as a basic visual explanation of the model's detection logic.
results[0].show()

这种简单的可视化充当了健全性检查，这是一种基本形式的可解释性，确认模型在 对象检测 任务期间关注场景中的相关对象。对于涉及数据集管理和模型训练可视化的更高级工作流，用户可以利用 Ultralytics Platform。研究人员通常通过访问底层特征图来扩展此操作，以进行 NIST XAI 原则 中描述的更深入分析。