Saliency Maps

Les cartes de saillance sont un outil visuel puissant utilisé dans l’IA explicable (XAI) pour mettre en lumière les processus décisionnels internes de réseaux neuronaux complexes. Agissant essentiellement comme des cartes de chaleur, elles mettent en évidence les pixels ou les régions spécifiques d’une image d’entrée qui influencent le plus fortement la prédiction d’un modèle. En révélant « où » un modèle regarde, les cartes de saillance aident les chercheurs et les ingénieurs à interpréter le comportement des réseaux neuronaux convolutifs (CNNs) profonds, en s’assurant que le système apprend les caractéristiques correctes plutôt que de s’appuyer sur des artefacts du jeu de données ou du bruit d’arrière-plan. Tu peux en savoir plus sur les fondements mathématiques de ce processus sur la page Wikipédia consacrée aux cartes de saillance.

Fonctionnement des cartes de saillance#

L’approche fondamentale de génération d’une carte de saillance repose largement sur la rétropropagation et les gradients à travers les couches du réseau. Au lieu d’utiliser ces gradients pour mettre à jour les poids du modèle pendant l’entraînement du modèle, l’algorithme calcule le gradient du score de la classe prédite par rapport à l’image d’entrée elle-même. Comme l’explique la documentation autograd de PyTorch, le fait de prendre la valeur absolue maximale de ces gradients sur les canaux de couleur produit une carte où les valeurs élevées correspondent aux pixels qui modifient fortement le score de sortie lorsqu’ils sont altérés. Les approches modernes étendent même cette méthode à l’IA générative, en permettant de produire des cartes de saillance des modèles de diffusion pour suivre les gradients du bruit.

Applications concrètes#

Parce qu’elles fournissent une vérification visuelle directe de la logique d’un modèle, les cartes de saillance sont essentielles dans les scénarios à forts enjeux de vision par ordinateur :

• Diagnostic médical : Dans le domaine de l’IA appliquée aux soins de santé, il est crucial pour la sécurité des patients de confirmer qu’un algorithme détecte une tumeur en se basant sur de véritables anomalies physiologiques des tissus, plutôt que sur le filigrane d’un scanner. Les cartes de saillance fournissent cette preuve visuelle, comme le détaillent de récentes études sur la cohérence de l’XAI en imagerie médicale.
• Navigation autonome : Pour les véhicules autonomes qui prédisent des angles de braquage ou identifient des panneaux stop, l’analyse des cartes de saillance aide les ingénieurs à déboguer les défaillances en vérifiant si le modèle s’est correctement concentré sur la route plutôt que d’être distrait par un environnement sans rapport.

Distinction entre les termes associés#

Il est vivement recommandé de différencier les cartes de saillance des autres concepts du glossaire de l’IA afin de comprendre leur rôle spécifique dans l’apprentissage profond (DL) :

• Cartes de saillance et cartographie d’activation de classe (CAM) : Alors que les cartes de saillance élémentaires calculent l’importance au niveau des pixels bruts, les techniques CAM, comme Grad-CAM, analysent l’importance au niveau des cartes de caractéristiques de haut niveau au sein de la dernière couche convolutive du réseau. Les nouveaux benchmarks continuent d’affiner la manière dont nous évaluons les explications visuelles et les CAM sur différents jeux de données.
• Cartes de saillance et interprétabilité mécaniste : La cartographie de saillance est une technique post hoc qui montre simplement où un modèle regarde. En revanche, l’interprétabilité mécaniste va plus loin en rétro-ingéniérant comment et pourquoi certains neurones ou circuits algorithmiques ont produit cette focalisation.
• Cartes de saillance et IA explicable (XAI) : L’XAI est le vaste domaine consacré à rendre l’IA transparente, tandis que les cartes de saillance ne sont qu’un outil spécifique de cet ensemble, souvent présenté comme une technique d’explicabilité de Google Cloud essentielle. Le domaine évolue rapidement, passant des pixels bruts à une taxonomie des explications alignée sur l’humain qui cartographie les données conceptuelles.

Extraire la saillance avec du code#

Comprendre comment un réseau neuronal attribue de l’importance peut se faire par programmation à l’aide de frameworks d’apprentissage profond comme PyTorch. L’extrait suivant illustre les fondements mathématiques de l’extraction d’une carte de saillance élémentaire (attribution fondée sur les gradients) à partir d’un modèle préentraîné de classification d’images.

import torch
from torchvision.models import resnet18

# Load a pre-trained model in evaluation mode
model = resnet18(weights="DEFAULT").eval()

# Create a dummy image tensor and explicitly require gradients
input_image = torch.randn(1, 3, 224, 224, requires_grad=True)

# Forward pass: get predictions for the input image
output = model(input_image)

# Backward pass: compute gradients for the highest scoring class
output[0, output.argmax()].backward()

# Saliency map is the maximum absolute gradient across the 3 color channels
saliency_map, _ = torch.max(input_image.grad.data.abs(), dim=1)
print(f"Generated Saliency Map Shape: {saliency_map.shape}")

Pour les workflows de niveau supérieur impliquant la détection d’objets ou le tracé de cadres englobants, des outils comme l’Ultralytics Platform aident les développeurs à annoter facilement les jeux de données, à suivre les expériences et à visualiser les sorties de modèles comme l’Ultralytics YOLO26, à la pointe de la technologie. En évaluant continuellement les inférences visuelles parallèlement au déploiement des modèles, les équipes peuvent créer et mettre à l’échelle des systèmes d’IA beaucoup plus fiables et transparents.