Всё, что нужно знать об объяснимом ИИ (XAI)

Ты когда-нибудь видел ответ инструмента искусственного интеллекта (AI), например ChatGPT, и задавался вопросом, как он пришел к такому выводу? Значит, ты столкнулся с проблемой «черного ящика» AI. Так называют отсутствие ясности в том, как модели AI обрабатывают и анализируют данные. Даже инженерам и ученым, регулярно работающим с передовыми алгоритмами AI, бывает сложно полностью понять их внутреннее устройство. Фактически, только 22% IT-специалистов действительно понимают возможности инструментов AI.

Неопределенность относительно того, как модели AI принимают решения, может быть опасна, особенно в таких критически важных областях, как компьютерное зрение в здравоохранении и AI в финансах. Однако уже достигнут значительный прогресс в решении этих проблем и повышении прозрачности.

В частности, объяснимый AI (XAI) помогает решить эту проблему. Проще говоря, это набор процессов и методов, которые помогают людям понимать результаты работы сложных алгоритмов машинного обучения и доверять им.

XAI помогает разработчикам проверять, что системы AI работают как задумано. Он также помогает компаниям, работающим с AI, соответствовать нормативным стандартам. В этой статье мы рассмотрим объяснимый AI и широкий спектр вариантов его применения.

Почему объяснимый ИИ важен#

Объяснимость крайне важна при работе с AI. Особенно это касается такой области AI, как компьютерное зрение, широко применяемой в здравоохранении и других отраслях. При использовании моделей компьютерного зрения в столь чувствительных сферах важно, чтобы принцип их работы был прозрачен и понятен всем.

Интерпретируемость моделей компьютерного зрения помогает пользователям лучше понять, как был сделан прогноз и какая логика за ним стоит. Прозрачность дополняет это, делая принцип работы модели понятным для всех: четко обозначая ее ограничения и обеспечивая этичное использование данных. Например, компьютерное зрение помогает радиологам эффективно выявлять проблемы со здоровьем на рентгеновских снимках.

Рис. 1. Анализ рентгеновских снимков грудной клетки с помощью Vision AI: классификация здоровых людей и пациентов, а также активного и латентного туберкулёза.

Однако одной лишь точности системы компьютерного зрения недостаточно. Система также должна уметь объяснять свои решения. Например, если система покажет, какие части изображения привели к ее выводам, результаты станут понятнее. Такой уровень прозрачности поможет медицинским работникам перепроверять свои выводы и следить за тем, чтобы помощь пациентам соответствовала медицинским стандартам.

Объяснимость важна ещё и потому, что она помогает компаниям, работающим с ИИ, нести ответственность и укрепляет доверие пользователей. Надёжный ИИ помогает пользователям быть уверенными, что инновации в области ИИ работают предсказуемо, принимают справедливые решения и ответственно обращаются с данными.

Основные методы объяснимого ИИ в компьютерном зрении#

Теперь, когда мы обсудили, почему объяснимость важна в компьютерном зрении, рассмотрим основные методы XAI, используемые в Vision AI.

Карты значимости#

Нейронные сети — это модели, вдохновлённые человеческим мозгом и предназначенные для распознавания закономерностей и принятия решений путём обработки данных через связанные между собой слои узлов (нейронов). Их можно использовать для решения сложных задач компьютерного зрения с высокой точностью. Но даже несмотря на такую точность, по своей сути они остаются «чёрными ящиками».

Карты значимости — это метод XAI, который помогает понять, что именно видят нейронные сети при анализе изображений. Этот метод также можно использовать для поиска причин проблем с моделями, если они работают не так, как ожидалось.

Карты значимости выделяют части изображения (пиксели), которые определяют прогнозы модели. Этот процесс очень похож на обратное распространение ошибки: модель прослеживает путь от прогноза к входным данным. Но вместо обновления весов модели на основе ошибок мы просто смотрим, насколько каждый пиксель «важен» для прогноза. Карты значимости очень полезны для таких задач компьютерного зрения, как классификация изображений.

Например, если модель классификации изображений определила, что на изображении собака, мы можем посмотреть на карту значимости и понять, почему модель решила, что это собака. Так мы узнаем, какие пиксели сильнее всего повлияли на результат. Карта значимости выделит все пиксели, повлиявшие на итоговый прогноз, что на изображении изображена собака.

Рис. 2. Исходные изображения и соответствующие им карты значимости рядом друг с другом.

Карты активации классов (CAM)#

Карты активации классов — ещё один метод XAI, который помогает понять, на какие части изображения нейронная сеть обращает внимание при классификации. Он похож на карты значимости, но выявляет важные признаки изображения, а не отдельные пиксели. Признаки — это закономерности или детали, например формы и текстуры, которые модель обнаруживает на изображении.

Такие методы, как взвешенное по градиентам отображение активации классов (Grad-CAM) и Grad-CAM++, развивают ту же идею и предлагают некоторые улучшения.

Вот как работают CAM:

• Перед тем как нейронная сеть примет окончательное решение, она использует глобальный пулинг усреднением (GAP), чтобы упростить информацию. GAP объединяет все пиксели обнаруженного шаблона в одно среднее значение, создавая сводное представление для каждой карты признаков (визуального отображения обнаруженных шаблонов).
• Затем каждой карте признаков присваивается вес, показывающий, насколько она важна для распознавания определённого класса (например, «птица» или «кошка»).
• Однако один из недостатков CAM заключается в том, что для вычисления этих весов может потребоваться повторное обучение модели, а это занимает много времени.

Grad-CAM улучшает этот подход, используя градиенты — сигналы, показывающие, насколько каждая карта признаков влияет на итоговый прогноз. Этот метод позволяет обойтись без GAP и упрощает понимание того, на чем сосредоточена модель, без повторного обучения. Grad-CAM++ идет дальше и учитывает только положительное влияние, благодаря чему результаты становятся еще понятнее. При запуске режима predict с visualize=True модели Ultralytics YOLO могут сохранять похожую тепловую карту активаций классов для каждого изображения.

Рис. 3. Сравнение CAM, Grad-CAM и Grad-CAM++.

Контрфактические объяснения#

Контрфактические объяснения — важный элемент объяснимого ИИ. Такое объяснение описывает ситуацию или результат, рассматривая альтернативные сценарии или события, которые не произошли, но могли бы произойти. Оно показывает, как изменения конкретных входных переменных приводят к другим результатам. Например: «Если бы X не произошло, то не произошло бы и Y».

В AI и компьютерном зрении контрфактическое объяснение показывает, какое минимальное изменение входных данных (например, изображения или набора данных) заставит модель AI выдать другой конкретный результат. Например, изменение цвета объекта на изображении может изменить прогноз модели классификации изображений с «кошка» на «собака».

Ещё один хороший пример — изменение угла или освещения в системе распознавания лиц. Это может привести к тому, что модель распознает другого человека, показывая, как небольшие изменения входных данных влияют на прогнозы модели.

Самый простой способ создать такие объяснения — метод проб и ошибок: можно случайным образом менять части входных данных, например признаки изображения или данные, пока модель AI не выдаст нужный результат. Другие методы включают модельно-независимые подходы, использующие оптимизацию и поиск для определения нужных изменений, и модельно-зависимые подходы, опирающиеся на внутренние настройки или вычисления для выявления этих изменений.

Применение объяснимого ИИ в компьютерном зрении#

Теперь, когда мы разобрались, что такое XAI и каковы его основные методы, посмотрим, как его применяют на практике. XAI используется во многих областях. Вот несколько примеров, демонстрирующих его потенциал:

• Системы безопасности: XAI помогает улучшать системы безопасности, выявляя изменённые изображения в документах, удостоверяющих личность, например в паспортах и водительских удостоверениях. Это позволяет проверять подлинность изображений, укреплять процессы подтверждения личности и предотвращать мошенничество в чувствительных сферах.

Рис. 4. Как XAI выявляет изменённые изображения.

• Автономное вождение: понимание возможностей и ограничений бортовой системы Vision AI беспилотного автомобиля может сыграть важную роль при его тестировании перед выездом на дороги общего пользования. XAI помогает автомобильным компаниям яснее выявлять и устранять проблемы.
• Правовые системы: системы анализа документов с использованием компьютерного зрения все чаще применяются при принятии судебных решений. XAI способствует справедливым результатам и позволяет проверять автоматизированные решения. Он также помогает юристам понять, как модель AI приходит к своим выводам.
• Мониторинг дикой природы: для наблюдения за дикой природой и сбора данных о видах животных часто используют фотоловушки. XAI помогает объяснить, как ИИ классифицирует виды на изображениях. Благодаря этому природоохранные меры становятся надёжнее и эффективнее.

Главное об объяснимом ИИ#

Объяснимый AI помогает понять, как работают системы AI и почему они принимают те или иные решения. Прозрачность моделей AI укрепляет доверие и подотчетность. В критически важных областях, таких как здравоохранение, безопасность, автономное вождение и правовые системы, XAI помогает разработчикам и пользователям понимать прогнозы AI, выявлять ошибки и обеспечивать справедливое и этичное использование. Повышая прозрачность AI, XAI сокращает разрыв между технологиями и доверием людей, делая системы безопаснее и надежнее для реальных приложений.

Узнай больше в нашем репозитории GitHub и присоединяйся к нашему сообществу. На страницах наших решений изучи применение AI в беспилотных автомобилях и сельском хозяйстве.