Saliency Maps

Карты значимости — мощный визуальный инструмент, используемый в объяснимом ИИ (XAI) для пролива света на внутренние процессы принятия решений сложных нейронных сетей. По сути, они действуют как тепловые карты и выделяют конкретные пиксели или области входного изображения, которые сильнее всего влияют на предсказание модели. Показывая, «где» смотрит модель, карты значимости помогают исследователям и инженерам интерпретировать поведение глубоких сверточных нейронных сетей (CNNs), обеспечивая обучение системы на правильных признаках, а не на артефактах датасета или фоновом шуме. Подробнее о математических основах этого процесса можно прочитать на странице о картах значимости в Википедии.

Как работают карты значимости#

Фундаментальный подход к созданию карты значимости во многом опирается на обратное распространение ошибки и градиенты по слоям сети. Вместо использования этих градиентов для обновления весов модели во время обучения модели алгоритм вычисляет градиент оценки предсказанного класса по отношению к самому входному изображению. Как объясняется в документации PyTorch autograd, взятие максимума абсолютных значений этих градиентов по цветовым каналам дает карту, в которой высокие значения соответствуют пикселям, радикально изменяющим итоговую оценку при изменении. Современные подходы распространяют этот метод и на генеративный ИИ, создавая карты значимости диффузионных моделей для отслеживания градиентов шума.

Практические применения#

Поскольку карты значимости обеспечивают прямую визуальную проверку логики модели, они критически важны в ответственных сценариях компьютерного зрения:

• Медицинская диагностика: В сфере ИИ в здравоохранении для безопасности пациентов крайне важно подтвердить, что алгоритм обнаруживает опухоль на основе реальных физиологических аномалий тканей, а не водяного знака сканера. Карты значимости предоставляют такое визуальное подтверждение, как подробно показано в недавних исследованиях согласованности XAI в медицинской визуализации.
• Автономная навигация: Для автономных транспортных средств, прогнозирующих углы поворота руля или распознающих знаки «Стоп», анализ карт значимости помогает инженерам отлаживать сбои, проверяя, действительно ли модель сосредоточилась на дороге, а не отвлеклась на нерелевантные элементы окружения.

Различия между связанными терминами#

Настоятельно рекомендуется отличать карты значимости от других понятий в глоссарии ИИ, чтобы понимать их конкретную роль в глубоком обучении (DL):

• Карты значимости и отображение активации классов (CAM): Если базовые карты значимости вычисляют важность на уровне отдельных пикселей, то методы CAM, такие как Grad-CAM, анализируют важность на уровне высокоуровневых карт признаков внутри последнего сверточного слоя сети. Новые бенчмарки продолжают совершенствовать методы, с помощью которых мы оцениваем визуальные объяснения и CAM на разных датасетах.
• Карты значимости и механистическая интерпретируемость: Постфактум-анализ с помощью карт значимости лишь показывает, где смотрит модель. Напротив, механистическая интерпретируемость глубже исследует устройство модели, выполняя обратную разработку того, как и почему конкретные нейроны или алгоритмические цепи сформировали такое внимание.
• Карты значимости и объяснимый ИИ (XAI): XAI — это широкая область, направленная на повышение прозрачности ИИ, тогда как карты значимости — лишь один конкретный инструмент в этом наборе, часто выделяемый как важный метод обеспечения объяснимости в Google Cloud. Эта область быстро развивается, переходя от отдельных пикселей к надежной таксономии объяснений, согласованной с человеком, которая отображает концептуальные данные.

Извлечение карт значимости с помощью кода#

Понять, как нейронная сеть определяет важность, можно программно, используя фреймворки глубокого обучения, такие как PyTorch. Следующий фрагмент демонстрирует фундаментальную математику извлечения базовой карты значимости (атрибуция на основе градиентов) из предварительно обученной модели классификации изображений.

import torch
from torchvision.models import resnet18

# Load a pre-trained model in evaluation mode
model = resnet18(weights="DEFAULT").eval()

# Create a dummy image tensor and explicitly require gradients
input_image = torch.randn(1, 3, 224, 224, requires_grad=True)

# Forward pass: get predictions for the input image
output = model(input_image)

# Backward pass: compute gradients for the highest scoring class
output[0, output.argmax()].backward()

# Saliency map is the maximum absolute gradient across the 3 color channels
saliency_map, _ = torch.max(input_image.grad.data.abs(), dim=1)
print(f"Generated Saliency Map Shape: {saliency_map.shape}")

Для более высокоуровневых рабочих процессов, связанных с обнаружением объектов или рисованием ограничивающих рамок, такие инструменты, как Ultralytics Platform, помогают разработчикам легко аннотировать датасеты, отслеживать эксперименты и визуализировать результаты моделей, таких как современная Ultralytics YOLO26. Постоянно оценивая визуальные выводы наряду с развертыванием модели, команды могут создавать и масштабировать значительно более надежные и прозрачные системы ИИ.