可解释的 AI (XAI)

可解释人工智能 (XAI) 指的是一套全面的流程、工具和方法，旨在使人工智能 (AI)系统的输出对人类用户而言易于理解。随着组织越来越多地部署复杂的机器学习 (ML)模型——尤其是在深度学习 (DL)领域——这些系统通常以“黑箱”形式运作。尽管黑箱模型可以提供高度准确的预测，但其内部决策逻辑仍然不透明。XAI 旨在阐明这一过程，帮助利益相关者理解为何做出特定决策，这对于建立信任、确保安全和满足法规遵从性至关重要。

可解释性的重要性

自动化决策中对透明度的需求正在推动 XAI 在各行业的应用。信任是主要因素；如果用户无法验证其背后的推理，他们就不太可能依赖 预测建模。这在错误可能导致严重后果的高风险环境中尤为重要。

• 法规合规性：新的法律框架，如《欧盟人工智能法案》和《通用数据保护条例》（GDPR），日益要求高风险人工智能系统对其决策提供可解释的说明。
• 伦理AI：实施可解释AI（XAI）是AI伦理的基石。通过揭示哪些特征影响模型的输出，开发者可以识别并缓解算法偏差，确保系统在不同人群中公平运行。
• 模型调试：对于工程师而言，可解释性对于模型监控至关重要。它有助于诊断模型为何在特定边缘案例上失效或遭受数据漂移，从而实现更有针对性的再训练。

XAI 中的常见技术

存在多种技术，可使 神经网络更具透明度，这些技术通常根据其是否与模型无关（适用于任何算法）或与模型相关进行分类。

• SHAP（夏普利加性解释）：基于合作博弈理论， SHAP值为给定预测中的每个特征分配贡献分数， 解释每个输入相对于基准结果的偏移程度。
• LIME（局部可解释模型无关解释法）：该方法通过在特定预测值的局部区域内，用更简单、可解释的模型（如线性模型）来近似复杂模型。LIME通过扰动输入并观察输出变化，帮助解释单个实例。
• 显著性图： 在计算机视觉（CV）领域广泛应用，这类可视化技术能突出显示图像中对模型决策影响最大的像素。诸如Grad-CAM等方法通过生成热力图，展示模型"注视"的位置以识别目标。

实际应用

可解释人工智能在那些"为什么"与"是什么"同等重要的领域至关重要。

1. 医疗保健诊断：在医学图像分析中，AI仅仅将X射线标记为异常是不够的。启用XAI的系统会突出显示触发警报的肺部或骨骼的特定区域。这种视觉证据允许放射科医生验证模型的发现，从而促进更安全的医疗AI应用。
2. 金融服务：当银行使用算法进行信用评分时，拒绝贷款申请需要明确的理由，以遵守平等信用机会法案等法律。XAI工具可以将拒绝分解为可理解的因素——例如“债务收入比过高”——从而促进AI公平性，并允许申请人解决具体问题。

区分相关术语

区分XAI与人工智能术语表中类似概念是有帮助的：

• XAI 与 AI透明度： 透明度是一个更广泛的概念，涵盖整个系统的开放性，包括数据源和开发过程。XAI则专门关注用于使推理依据可理解的技术。透明度可能涉及发布模型权重，而XAI则解释这些权重为何产生特定结果。
• XAI与可解释性：可解释性通常指设计上具有内在可理解性的模型，例如决策树或线性回归。XAI则通常涉及对复杂、不可解释的模型（如深度卷积神经网络）进行的事后解释方法。

代码示例：可解释性的推理可视化

计算机视觉可解释性的基础步骤是将模型预测结果直接可视化呈现于图像之上。 尽管高级XAI技术采用热力图，但通过边界框和置信度评分可立即洞察模型检测到的内容。使用 ultralytics 带有最先进模型（例如）的包 YOLO26用户可轻松检查检测结果。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (Nano version)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This displays the image with bounding boxes, labels, and confidence scores,
# acting as a basic visual explanation of the model's detection logic.
results[0].show()

这种简单的可视化作为一种健全性检查，是可解释性的一种基本形式，它证实了模型在 Object Detection 任务中关注场景中的相关对象。对于涉及数据集管理和模型 training 可视化的更高级工作流，用户可以利用 Ultralytics Platform。研究人员通常通过访问底层特征图来扩展此功能，以进行 NIST XAI Principles 中描述的更深入分析。