Все, что нужно знать об объяснимом ИИ (XAI)

Ты когда-нибудь видел ответ от инструмента на основе искусственного интеллекта (AI), например ChatGPT, и задавался вопросом, как он пришёл к такому выводу? Тогда ты столкнулся с проблемой «чёрного ящика» AI. Этот термин обозначает отсутствие ясности в том, как модели AI обрабатывают и анализируют данные. Даже инженерам и учёным, которые регулярно работают с передовыми алгоритмами AI, бывает сложно полностью понять их внутреннее устройство. На самом деле, только 22% IT-специалистов действительно понимают возможности инструментов AI.

Неопределённость относительно того, как модели AI принимают решения, может быть опасной, особенно в таких критически важных областях, как компьютерное зрение в здравоохранении и AI в финансах. Однако уже достигнут значительный прогресс в решении этих задач и повышении прозрачности.

В частности, объяснимый искусственный интеллект (XAI) направлен исключительно на решение этой проблемы. Проще говоря, это набор процессов и методов, которые помогают пользователям понимать результаты или выходные данные сложных алгоритмов машинного обучения и доверять им.

XAI помогает разработчикам убедиться, что системы AI работают ожидаемым образом. Он также помогает компаниям, занимающимся AI, соответствовать нормативным стандартам. В этой статье мы рассмотрим объяснимый искусственный интеллект и широкий спектр его применений. Давай начнём!

Важность объяснимого искусственного интеллекта#

Объяснимость играет ключевую роль при работе с AI. Особенно это важно для такой области AI, как компьютерное зрение, которое широко применяется в таких отраслях, как здравоохранение. При использовании моделей компьютерного зрения в столь чувствительных отраслях важно, чтобы работа модели была прозрачной и понятной каждому.

Интерпретируемость моделей компьютерного зрения помогает пользователям лучше понять, как было получено предсказание и какая логика за ним стоит. Прозрачность дополняет это, делая работу модели понятной каждому: она чётко обозначает ограничения модели и гарантирует этичное использование данных. Например, компьютерное зрение помогает радиологам эффективно выявлять проблемы со здоровьем на рентгеновских снимках.

Рис. 1. Рентгеновские снимки грудной клетки, проанализированные с помощью AI компьютерного зрения, с классификацией случаев: здоровый, больной, активный и латентный туберкулёз.

Однако одной точности системы компьютерного зрения недостаточно. Система также должна уметь объяснять свои решения. Допустим, система может показать, какие части изображения привели её к таким выводам — тогда любые результаты будут понятнее. Такой уровень прозрачности поможет медицинским специалистам перепроверять свои выводы и следить за тем, чтобы уход за пациентами соответствовал медицинским стандартам.

Ещё одна причина, по которой объяснимость так важна, заключается в том, что она повышает ответственность компаний, занимающихся AI, и укрепляет доверие пользователей. Надёжный AI помогает пользователям быть уверенными в том, что инновации AI работают стабильно, принимают справедливые решения и ответственно обрабатывают данные.

Основные методы объяснимого искусственного интеллекта в компьютерном зрении#

Теперь, когда мы обсудили, почему объяснимость важна в компьютерном зрении, давай рассмотрим основные методы XAI, используемые в AI компьютерного зрения.

Карты значимости#

Нейронные сети — это модели, вдохновлённые человеческим мозгом и предназначенные для распознавания закономерностей и принятия решений посредством обработки данных через взаимосвязанные слои узлов (нейронов). Их можно использовать для решения сложных задач компьютерного зрения с высокой точностью. Но даже при такой точности по своей природе они остаются «чёрными ящиками».

Карты значимости — это метод XAI, который помогает понять, что именно видят нейронные сети при анализе изображений. Их также можно использовать для поиска и устранения проблем в моделях, если они работают не так, как ожидалось.

Карты значимости работают, сосредотачиваясь на тех частях изображения (пикселях), которые определяют предсказания модели. Этот процесс очень похож на обратное распространение ошибки, при котором модель прослеживает путь от предсказаний обратно к входным данным. Но вместо обновления весов модели на основе ошибок мы просто смотрим, насколько каждый пиксель «важен» для предсказания. Карты значимости очень полезны для таких задач компьютерного зрения, как классификация изображений.

Например, если модель классификации изображений предсказывает, что на изображении изображена собака, мы можем посмотреть на её карту значимости, чтобы понять, почему модель считает объект собакой. Это помогает определить, какие пиксели сильнее всего влияют на результат. Карта значимости выделит все пиксели, которые повлияли на итоговое предсказание о том, что на изображении изображена собака.

Рис. 2. Сопоставление входных изображений и их карт значимости.

Картирование активации классов (CAM)#

Картирование активации классов — ещё один метод XAI, используемый для понимания того, на каких частях изображения сосредотачивается нейронная сеть при создании предсказаний для классификации изображений. Он работает подобно картам значимости, но сосредоточен на выявлении важных признаков изображения, а не отдельных пикселей. Признаки — это закономерности или детали, например формы или текстуры, которые модель обнаруживает на изображении.

Такие методы, как взвешенное градиентами картирование активации классов (Grad-CAM) и Grad-CAM++, развивают ту же идею и включают некоторые улучшения.

Вот как работает CAM:

• Перед принятием окончательного решения нейронная сеть использует этап, называемый глобальным усреднением по области (GAP), чтобы упростить информацию. GAP объединяет все пиксели обнаруженного шаблона в одно среднее значение, создавая сводное представление для каждой карты признаков (визуального представления обнаруженных шаблонов).
• Затем каждой карте признаков присваивается вес, показывающий, насколько она важна для предсказания определённого класса (например, «птица» или «кошка»).
• Однако одно из ограничений CAM заключается в том, что для вычисления этих весов может потребоваться дообучить модель, а это может занять много времени.

Grad-CAM улучшает этот подход, используя градиенты, которые похожи на сигналы, показывающие, насколько каждая карта признаков влияет на итоговое предсказание. Этот метод устраняет необходимость в GAP и упрощает понимание того, на чём сосредотачивается модель, без её дообучения. Grad-CAM++ развивает эту идею ещё дальше, сосредотачиваясь только на положительном влиянии, благодаря чему результаты становятся ещё понятнее.

Рис. 3. Сравнение CAM, Grad-CAM и Grad-CAM++.

Контрфактические объяснения#

Контрфактические объяснения — важный элемент объяснимого искусственного интеллекта. Контрфактическое объяснение описывает ситуацию или результат с учётом альтернативных сценариев или событий, которые не произошли, но могли произойти. Оно может показать, как изменения определённых входных переменных приводят к другим результатам, например: «Если бы X не произошло, Y бы не случилось».

В контексте AI и компьютерного зрения контрфактическое объяснение определяет минимальное изменение входных данных (например, изображения или данных), необходимое для того, чтобы модель AI выдала другой конкретный результат. Например, изменение цвета объекта на изображении может изменить предсказание модели классификации изображений с «кошки» на «собаку».

Ещё одним хорошим примером может быть изменение угла или освещения в системе распознавания лиц. Это может привести к тому, что модель распознает другого человека, показывая, как небольшие изменения входных данных влияют на предсказания модели.

Самый простой способ создавать такие объяснения — метод проб и ошибок: можно случайным образом изменять части входных данных (например, признаки изображения или данные), пока модель AI не выдаст нужный результат. К другим методам относятся подходы, независимые от модели, которые используют методы оптимизации и поиска для нахождения изменений, а также подходы, специфичные для модели, которые опираются на внутренние настройки или вычисления для определения необходимых изменений.

Применение объяснимого искусственного интеллекта в компьютерном зрении#

Теперь, когда мы рассмотрели, что такое XAI и каковы его основные методы, давай разберёмся, как он используется в реальной жизни. XAI применяется в самых разных областях. Рассмотрим несколько примеров, демонстрирующих его потенциал:

• Системы безопасности: XAI можно использовать для повышения безопасности систем за счёт обнаружения морфированных изображений в удостоверяющих личность документах, таких как паспорта и водительские удостоверения. Это обеспечивает подлинность изображений, усиливает процессы проверки личности и предотвращает мошеннические действия в чувствительных сферах применения.

Рис. 4. Как XAI обнаруживает морфированные изображения.

• Автономное вождение: понимание возможностей и ограничений бортовой системы AI компьютерного зрения беспилотного автомобиля может играть огромную роль при тестировании автомобиля до его выпуска на дороги общего пользования. XAI помогает автомобильным компаниям точнее выявлять и устранять проблемы.

• Правовые системы: системы анализа документов с поддержкой компьютерного зрения всё чаще используются при принятии судебных решений. XAI способствует справедливым результатам и позволяет тщательно проверять автоматизированные решения. Он также помогает юристам понять, как модель AI принимает свои решения.

• Мониторинг дикой природы: фотоловушки часто используются для наблюдения за дикой природой и сбора данных о видах животных. XAI можно применять, чтобы объяснить, как AI классифицирует эти виды на изображениях. Благодаря этому природоохранные мероприятия могут стать более надёжными и точными.

Основные выводы об объяснимом искусственном интеллекте#

Объяснимый искусственный интеллект упрощает понимание того, как работают системы AI и почему они принимают определённые решения. Прозрачность моделей AI укрепляет доверие и ответственность. Знания дают возможности и помогают использовать инновации AI более ответственно. В критически важных областях, таких как здравоохранение, безопасность, автономное вождение и правовые системы, XAI помогает разработчикам и пользователям понимать предсказания AI, выявлять ошибки и обеспечивать справедливое и этичное использование. Делая AI более прозрачным, XAI сокращает разрыв между технологиями и доверием людей, повышая безопасность и надёжность AI в реальных приложениях.

Чтобы узнать больше, посетите наш репозиторий GitHub и присоединяйся к нашему сообществу. Изучи применение AI в беспилотных автомобилях и сельском хозяйстве на наших страницах решений. 🚀