Explainable AI (XAI)

Объяснимый ИИ (XAI) — это совокупность методов, позволяющих понять результаты моделей искусственного интеллекта (AI): какие входные данные повлияли на предсказание, как модель ведет себя в целом и когда ее ответам можно доверять. Модели глубокого обучения (DL) с миллионами или миллиардами параметров работают как «черные ящики»: они точны, но непрозрачны. XAI помогает разработчикам, пользователям, аудиторам и регулирующим органам заглянуть внутрь. Объяснения помогают отлаживать модели, выявлять алгоритмическую предвзятость, обосновывать решения перед теми, кого они затрагивают, и выполнять требования законодательства. Термин стал широко известен благодаря программе DARPA «Объяснимый ИИ», запущенной в 2017 году.

Объяснимость и интерпретируемость#

Эти два слова часто используют как синонимы. Когда исследователи проводят между ними различие, интерпретируемыми считают модели, понятные по своей конструкции, например линейные модели, небольшие деревья решений и модели с концептуальным узким местом, тогда как методы объяснимости создают ретроспективные объяснения для моделей, которые сами по себе неинтерпретируемы. В статье 2019 года в журнале Nature Machine Intelligence Синтия Рудин утверждала, что для решений с серьезными последствиями следует использовать интерпретируемые модели, поскольку постфактум-объяснение может искажать реальные вычисления модели.

Еще два смежных понятия имеют более широкую или глубокую область применения. Прозрачность ИИ означает открытость всей системы, в том числе в отношении источников данных, разработки и предполагаемого применения. Механистическая интерпретируемость восстанавливает внутренние схемы нейросети; этот подход применяют главным образом к большим языковым моделям.

Типы объяснений#

Объяснения различаются областью применения и требуемым уровнем доступа. Локальное объяснение описывает одно предсказание, например причину отказа в конкретном кредите, а глобальное характеризует поведение модели по всем предсказаниям, например показывает, какие признаки наиболее важны в целом. Модельно-независимые методы рассматривают модель как черный ящик и лишь запрашивают ее входы и выходы; модельно-зависимые методы используют ее внутренние данные, например градиенты или веса внимания.

Распространённые методы XAI#

• SHAP (аддитивные объяснения Шепли): Каждому признаку назначается доля предсказания с помощью значений Шепли из теории кооперативных игр, поэтому сумма вкладов точно равна разнице между предсказанием и базовым значением.
• LIME (локальные интерпретируемые модельно-независимые объяснения): Входные данные многократно изменяются, фиксируется, как меняется предсказание, а затем обучается простая суррогатная модель, например разреженная линейная модель, которая имитирует чёрный ящик вблизи конкретного входа.
• Важность признаков по перестановкам: По очереди перемешивается один признак и измеряется, насколько снижается оценка модели. Это глобальное объяснение, подходящее для любой модели.
• Контрфактические объяснения: Показывают минимальное изменение входных данных, которое привело бы к смене решения, например уровень дохода, при котором кредит был бы одобрен.
• Карты значимости: Выделяют пиксели, которые сильнее всего повлияли на результат работы модели компьютерного зрения. Методы карт активации классов (CAM), такие как Grad-CAM, взвешивают карты признаков сети по градиентам оценки предсказанного класса, чтобы построить грубую тепловую карту свидетельств.

Ultralytics YOLO26 включает метод CAM в предсказание: если задать visualize=True, будет сохранена тепловая карта LayerCAM, в которой каждая позиция карт признаков, поступающих на голову детектора, взвешивается по собственному положительному градиенту относительно предсказанного класса:

from ultralytics import YOLO

# Загружаем детектор YOLO26, предварительно обученный на COCO
model = YOLO("yolo26n.pt")

# Сохраняем тепловую карту LayerCAM, объясняющую только детекции «person» (класс 0)
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

В папке запуска появляется bus_cam.jpg — тепловая карта, наложенная на изображение, где тёплые цвета отмечают пиксели, повысившие оценки для person.

Когда объяснения вводят в заблуждение#

Объяснение может выглядеть убедительно, но при этом неверно отражать работу модели. В работе «Проверка корректности карт значимости» (2018) исследователи рандомизировали обученные веса сети и обнаружили, что несколько популярных методов визуализации значимости строили почти те же карты, что и раньше. Это показало, что карты отражали скорее границы на входном изображении, чем то, чему научилась модель. Исследование 2020 года показало, что можно обернуть намеренно предвзятую модель-классификатор так, чтобы LIME и SHAP указывали на безобидные признаки, хотя лежащие в основе решения оставались дискриминационными. В четырёх принципах объяснимого ИИ NIST рассматривает эту проблему напрямую: объяснения должны существовать, быть понятными целевой аудитории и точно отражать процесс работы системы, а система должна работать только в условиях, для которых она была разработана.

Применение и регулирование#

• Анализ медицинских изображений: Тепловые карты помогают рентгенологу убедиться, что модель отметила очаг поражения на рентгенограмме, а также выявить модели, которые ориентируются на маркеры сканера или текст, нанесённый на изображение.
• Выявление ложных признаков: В оригинальной статье о LIME объяснения выявили намеренно ошибочную модель-классификатор, отличавшую хаски от волка по снегу на заднем плане.
• Кредитование: Согласно Закону США о равных возможностях получения кредита, кредиторы обязаны сообщать заявителям конкретные основные причины отказа, в том числе если решение принято сложным алгоритмом.

GDPR даёт людям, в отношении которых принимаются автоматизированные решения, право получать содержательную информацию о задействованной логике; статья 13 Закона ЕС об искусственном интеллекте требует, чтобы высокорисковые системы были достаточно прозрачными для того, чтобы их операторы могли интерпретировать результаты; а статья 86 даёт человеку, затронутому решением на основе высокорисковой системы, право получить ясное и содержательное объяснение роли системы ИИ и основных элементов решения.