Все, что тебе нужно знать об объяснимом ИИ (XAI)

Ты когда-нибудь видел ответ от инструмента artificial intelligence (AI), такого как ChatGPT, и задавался вопросом, как он пришел к такому выводу? Тогда ты столкнулся с проблемой «черного ящика» ИИ. Это термин, который описывает отсутствие ясности в том, как модели ИИ обрабатывают и анализируют данные. Даже инженеры и ученые в области ИИ, которые регулярно работают с передовыми алгоритмами ИИ, могут испытывать трудности с полным пониманием их внутренней работы. На самом деле, only 22% of IT professionals по-настоящему понимают возможности инструментов ИИ.

Неопределенность вокруг того, как модели ИИ принимают решения, может быть рискованной, особенно в таких критически важных сферах, как computer vision in healthcare и AI in finance. Тем не менее, достигается значительный прогресс в решении этих задач и повышении прозрачности.

В частности, explainable AI (XAI) фокусируется исключительно на решении этой проблемы. Проще говоря, это набор процессов и методов, который помогает пользователям-людям понимать и доверять результатам или выводам, выдаваемым сложными алгоритмами machine learning.

XAI может помочь разработчикам убедиться, что системы ИИ работают должным образом. Это также может помочь компаниям, занимающимся ИИ, соответствовать regulatory стандартам. В этой статье мы рассмотрим объяснимый ИИ и широкий спектр его вариантов применения. Давай начнем!

Важность объяснимого ИИ#

Объяснимость имеет ключевое значение при работе с ИИ. Это особенно верно, когда речь идет о подполе ИИ — computer vision, которое широко используется в приложениях в таких отраслях, как здравоохранение. При использовании vision models в таких чувствительных отраслях важно, чтобы работа модели была прозрачной и понятной для каждого.

Интерпретируемость в моделях компьютерного зрения помогает пользователям лучше понять, как было сделано prediction и какая логика за ним стоит. Прозрачность дополняет это, делая работу модели понятной для всех благодаря четкому описанию ее ограничений и обеспечению этичного использования данных. Например, компьютерное зрение может помочь radiologists эффективно выявлять проблемы со здоровьем на рентгеновских снимках.

Fig 1. Рентгенограммы грудной клетки, проанализированные с помощью ИИ компьютерного зрения, с классификацией на здоровые, больные, активные и латентные формы туберкулеза.

Однако просто точной системы компьютерного зрения недостаточно. Система также должна уметь объяснять свои решения. Допустим, система может показать, какие части изображения привели к ее выводам — тогда любые результаты станут понятнее. Такой уровень прозрачности поможет медицинским работникам перепроверить свои выводы и убедиться, что patient care соответствует медицинским стандартам.

Еще одна причина, почему объяснимость необходима, заключается в том, что она возлагает ответственность на компании, занимающиеся ИИ, и формирует доверие у пользователей. Надежный ИИ приводит к тому, что пользователи обретают уверенность в том, что инновации в сфере ИИ работают безотказно, принимают справедливые решения и handle data responsibly.

Ключевые методы объяснимого ИИ в компьютерном зрении#

Теперь, когда мы обсудили, почему объяснимость важна в компьютерном зрении, давай взглянем на основные методы XAI, используемые в ИИ зрения.

Карты значимости (Saliency maps)#

Neural networks — это модели, вдохновленные человеческим мозгом, созданные для распознавания образов и принятия решений путем обработки данных через взаимосвязанные слои узлов (нейронов). Они могут использоваться для решения сложных задач компьютерного зрения с высокой точностью. Несмотря на такую точность, по своей сути они остаются черными ящиками.

Карты значимости — это метод XAI, который можно использовать, чтобы понять, что «видят» нейронные сети при анализе изображений. Его также можно использовать для поиска неисправностей в моделях, если они работают не так, как ожидалось.

Карты салиентности работают, концентрируясь на том, какие части изображения (пиксели) определяют предсказания модели. Этот процесс очень похож на backpropagation, где модель отслеживает путь от предсказаний к входу. Но вместо обновления весов модели на основе ошибок мы просто смотрим на то, насколько сильно каждый пиксель «имеет значение» для предсказания. Карты салиентности очень полезны для таких computer vision tasks, как классификация изображений.

Например, если модель image classification предсказывает, что на изображении собака, мы можем посмотреть на ее карту салиентности, чтобы понять, почему модель считает, что это собака. Это помогает нам определить, какие пиксели больше всего влияют на результат. Карта салиентности выделит все пиксели, которые внесли вклад в итоговое предсказание того, что на изображении собака.

Fig 2. Сравнение исходных изображений и карт салиентности рядом.

Картирование активации классов (CAM)#

Картирование активации классов — это еще один метод XAI, используемый для понимания того, на каких частях изображения нейронная сеть фокусируется при прогнозировании классификации изображений. Он работает аналогично картам салиентности, но фокусируется на выявлении важных признаков на изображении, а не конкретных пикселей. Features — это паттерны или детали, такие как формы или текстуры, которые модель обнаруживает на изображении.

Методы, такие как взвешенное градиентное картирование активации классов (Grad-CAM) и Grad-CAM++, развивают ту же идею с некоторыми улучшениями.

Вот как работает CAM:

• Прежде чем нейронная сеть примет окончательное решение, она использует шаг, называемый глобальным усреднением пулинга (GAP), чтобы упростить информацию. GAP объединяет все пиксели в обнаруженном паттерне в одно среднее значение, создавая сводку для каждой карты признаков (визуальное представление обнаруженных паттернов).
• Каждой карте признаков затем присваивается вес, который показывает, насколько она важна для предсказания определенного класса (например, «птица» или «кошка»).
• Однако одним из ограничений CAM является то, что вам может потребоваться retrain the model для расчета этих весов, что может занять много времени.

Grad-CAM улучшает этот подход, используя gradients, которые похожи на сигналы, показывающие, насколько каждая карта признаков влияет на окончательное предсказание. Этот метод позволяет обойтись без GAP и упрощает просмотр того, на чем фокусируется модель, без переобучения. Grad-CAM++ делает еще один шаг вперед, фокусируясь только на положительных влияниях, что делает результаты еще более наглядными.

Fig 3. Сравнение CAM, Grad-CAM и Grad-CAM++.

Контрфактические объяснения#

Контрфактические объяснения — важный элемент объяснимого ИИ. Контрфактическое объяснение подразумевает описание ситуации или исхода путем рассмотрения альтернативных сценариев или событий, которые не произошли, но могли бы произойти. Оно может показать, как изменения в конкретных входных переменных приводят к другим результатам, например: «Если бы X не произошло, Y не случилось бы».

Когда дело касается ИИ и компьютерного зрения, контрфактуальное объяснение определяет наименьшее изменение, необходимое во входе (например, an image or data), чтобы модель ИИ выдала другой конкретный результат. Например, изменение цвета объекта на изображении может изменить image classification model’s prediction с «кошка» на «собака».

Другим хорошим примером может служить изменение угла обзора или освещения в facial recognition system. Это может заставить модель идентифицировать другую личность, демонстрируя, как небольшие изменения во входе могут повлиять на прогнозы модели.

Самый простой способ создать такие объяснения — методом проб и ошибок: ты можешь случайным образом менять части входа (например, признаки изображения или данных), пока модель ИИ не выдаст тебе желаемый результат. Другие методы включают подходы, не зависящие от модели, которые используют optimization и поисковые методы для нахождения изменений, и подходы, зависящие от модели, которые опираются на внутренние настройки или вычисления для определения необходимых изменений.

Приложения объяснимого ИИ в компьютерном зрении#

Теперь, когда мы изучили, что такое XAI и его ключевые методы, мы можем рассмотреть, как он используется в реальной жизни. XAI имеет разнообразные приложения во многих областях. Давай погрузимся в некоторые варианты использования, которые подчеркивают его потенциал:

• Security systems: XAI можно использовать для улучшения систем безопасности путем обнаружения измененных изображений в удостоверяющих личность документах, таких как паспорта и водительские права. Это обеспечивает подлинность изображений, усиливает процессы верификации личности и предотвращает мошеннические действия в критически важных приложениях.

Fig 4. Как работает XAI для обнаружения измененных изображений.

• Autonomous driving: Понимание возможностей и ограничений встроенной системы компьютерного зрения самоуправляемого автомобиля может быть важной частью тестирования машины перед ее выпуском на реальные дороги. XAI может помочь автомобильным компаниям более четко выявлять и решать проблемы.

• Legal systems: Системы document analysis с поддержкой компьютерного зрения все чаще используются в принятии судебных решений. XAI поддерживает справедливые результаты и позволяет подвергать автоматизированные решения тщательному анализу. Это также помогает юристам понять, как модель ИИ приходит к своим решениям.

• Wildlife monitoring: Лесные камеры часто используются для мониторинга дикой природы и сбора данных о видах животных. XAI можно использовать для объяснения того, как ИИ классифицирует эти виды на изображениях. Благодаря этому усилия по сохранению природы могут стать более надежными и точными.

Основные выводы об объяснимом ИИ#

Объяснимый ИИ облегчает понимание того, как работают системы ИИ и почему они принимают определенные решения. Прозрачность моделей ИИ создает доверие и подотчетность. Знание — это сила, которая помогает более ответственно использовать инновации ИИ. В критически важных областях, таких как здравоохранение, безопасность, автономное вождение и правовые системы, XAI можно использовать, чтобы помочь разработчикам и пользователям понимать предсказания ИИ, выявлять ошибки и обеспечивать справедливое и этичное использование. Делая ИИ более прозрачным, XAI устраняет разрыв между технологией и доверием людей, делая его более безопасным и надежным для реальных приложений.

Чтобы узнать больше, посети наш GitHub repository и присоединяйся к нашему community. Изучай AI applications in self-driving cars и agriculture на наших страницах решений. 🚀