Explainable AI (XAI)

可解释人工智能（XAI）是一系列方法，旨在让人们理解人工智能（AI）模型的输出：哪些输入促成了预测、模型整体如何运行，以及何时值得信任模型的回答。深度学习（DL）模型拥有数百万或数十亿个参数，就像准确却不透明的黑箱；XAI 则让开发者、用户、审计人员和监管机构得以了解模型内部情况。解释可用于调试模型、检测算法偏见、向受决策影响的人说明决策依据，以及满足法律要求。DARPA 于 2017 年启动的可解释人工智能项目让这个术语广为人知。

可解释性与可阐释性#

这两个词经常被当作同义词使用。研究人员对两者作出区分时，通常认为可阐释模型在设计上就易于理解，例如线性模型、小型决策树和概念瓶颈模型；而可解释性方法则是在事后解释那些本身不易理解的模型。Cynthia Rudin 在一篇发表于 2019 年《Nature Machine Intelligence》的论文中指出，高风险决策应使用可阐释模型，因为事后解释可能会错误描述模型实际执行的计算。

另外两个相关术语涵盖的范围更广或更深入。AI 透明度涉及整个系统的开放性，包括数据来源、设计和预期用途。机制可解释性通过逆向工程分析网络内部的电路，这种方法主要用于大型语言模型。

解释的类型#

解释的范围和所需访问权限各不相同。局部解释说明某一个预测的依据，例如某笔贷款为何被拒；全局解释则描述所有预测的整体行为，例如哪些特征总体上最重要。与模型无关的方法将模型视为黑箱，只查询其输入和输出；特定于模型的方法则会利用模型内部信息，例如梯度或注意力权重。

常见的 XAI 技术#

• SHAP（SHapley 加性解释）：使用合作博弈论中的 Shapley 值为每个特征分配其对预测的贡献，因此这些贡献之和恰好等于预测值与基线之间的差值。
• LIME（局部可解释模型无关解释）：多次扰动输入，记录预测如何变化，然后拟合一个简单的代理模型（例如稀疏线性模型），使其在该输入附近模仿黑盒模型。
• 排列特征重要性：每次打乱一个特征，并测量模型得分下降了多少。这是一种适用于任何模型的全局解释方法。
• 反事实解释：报告会导致决策翻转的最小输入变更，例如贷款获批所需的收入水平。
• 显著性图：突出显示对视觉模型输出影响最大的像素。Grad-CAM 等类激活图（CAM）方法使用预测类别得分的梯度为网络特征图加权，从而生成粗略的证据热力图。

Ultralytics YOLO26 在 预测流程中集成了 CAM 方法：设置 visualize=True 会保存 LayerCAM 热力图，该方法根据进入检测头的特征图各位置对预测类别的正向梯度进行加权：

from ultralytics import YOLO

# 加载使用 COCO 预训练的 YOLO26 检测器
model = YOLO("yolo26n.pt")

# 保存 LayerCAM 热力图，仅解释“person”检测结果（类别 0）
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

运行文件夹中会新增 bus_cam.jpg，它是叠加在图像上的热力图，其中暖色标示出提高 person 得分的像素。

解释何时会产生误导#

解释看起来可能很有说服力，但对模型的说明仍可能是错误的。在《显著性图的健全性检查》（2018）中，研究人员随机化了网络的训练权重，发现几种流行的显著性方法生成的图与之前几乎相同。这表明这些图反映的更多是输入图像中的边缘，而非模型学到的内容。2020 年的一项研究表明，可以用特意带有偏见的分类器进行包装，让 LIME 和 SHAP 报告无害特征，同时底层决策仍然具有歧视性。NIST 的可解释 AI 四项原则对此作出了直接规定：解释必须存在、对受众有意义，并准确反映系统的处理过程；系统还必须仅在其设计条件范围内运行。

应用与法规#

• 医学图像分析：热力图可以让放射科医生确认模型标记 X 光片是因为病灶本身，并发现那些依据扫描仪标记或烧录在图像中的文本作出判断的模型。
• 捷径检测：在最初的 LIME 论文中，解释揭示了一个故意设计有缺陷的哈士奇与狼分类器，该分类器依赖背景中的雪景。
• 信贷与借贷：根据《平等信贷机会法》，美国贷款机构必须向申请人说明拒绝申请的具体主要原因；复杂算法作出的决定也不例外。

GDPR赋予受自动化决策影响的人了解相关逻辑的实质性信息的权利；欧盟《人工智能法案》第 13 条要求高风险系统具备足够的透明度，让部署者能够解读其输出；而第 86 条赋予受基于高风险系统的决策影响的人，获得关于 AI 系统作用及决策主要要素的清晰且有意义解释的权利。