Mechanistic Interpretability

L’interprétabilité mécaniste est le domaine de recherche qui rétro-ingénierie les réseaux neuronaux entraînés pour en dégager des mécanismes compréhensibles par l’humain : les caractéristiques représentées par un modèle dans ses activations, ainsi que les circuits — chaînes de poids et de composants — qui transforment ces caractéristiques en résultat. Alors que la plupart des évaluations traitent le modèle comme une boîte noire jugée d’après ses prédictions, l’interprétabilité mécaniste considère les poids comme un programme compilé à décompiler. Ce domaine, d’abord centré sur de petits modèles de vision, est devenu un volet majeur de la recherche sur la sécurité de l’IA appliquée aux grands modèles de langage (LLMs), et le MIT Technology Review l’a désigné comme l’une de ses 10 technologies de rupture de 2026.

Caractéristiques, circuits et superposition#

Le domaine s’appuie sur quelques hypothèses de travail, présentées pour les classifieurs d’images dans l’article de Distill Zoom In: An Introduction to Circuits :

• Caractéristiques : directions dans l’espace d’activation d’une couche correspondant à des propriétés pertinentes de l’entrée. Les premières couches d’un réseau neuronal convolutif (CNN) contiennent des détecteurs de courbes et de contours ; les couches suivantes comportent des caractéristiques correspondant à des parties d’objets, comme des roues ou des museaux de chien.
• Circuits : groupes de caractéristiques reliés par des poids qui mettent en œuvre un algorithme. Dans les transformers, les têtes d’induction sont des paires de têtes d’attention qui repèrent une occurrence antérieure du jeton actuel et recopient ce qui la suit, un mécanisme à l’origine de l’apprentissage en contexte. Une étude de GPT-2 small a cartographié le circuit qui complète par « Mary » des phrases comme « Quand Mary et John sont allés au magasin, John a donné un verre à », en identifiant 26 têtes d’attention réparties en 7 groupes fonctionnels.
• Superposition : les modèles représentent plus de caractéristiques qu’ils ne possèdent de neurones en les superposant ; un seul neurone répond donc souvent à plusieurs concepts sans rapport entre eux. Cette polysémanticité explique pourquoi les neurones individuels constituent de mauvaises unités d’analyse et pourquoi le domaine s’est tourné vers l’apprentissage de dictionnaires.

Méthodes clés#

Les chercheurs combinent l’observation, qui repère les caractéristiques candidates, et l’intervention, qui vérifie leur importance :

• Sondage linéaire : entraînement d’un classifieur simple sur les activations pour vérifier si un concept est décodable linéairement à une couche donnée. Un sondage montre que l’information est présente ; une intervention est nécessaire pour démontrer que le modèle l’utilise.
• Ablation et remplacement d’activations : mise à zéro d’une activation ou remplacement par sa valeur pour une autre entrée, puis mesure de l’évolution du résultat. Ces tests causaux distinguent les composants qui calculent un comportement de ceux qui lui sont seulement corrélés.
• Autoencodeurs parcimonieux (SAEs) : réseaux qui décomposent les activations d’une couche en un ensemble beaucoup plus vaste de caractéristiques activées de manière parcimonieuse, ce qui annule la superposition. L’étude d’Anthropic Scaling Monosemanticity a extrait des millions de caractéristiques de Claude 3 Sonnet, dont une associée au Golden Gate Bridge ; en la forçant à une valeur élevée, le modèle s’est décrit comme étant le pont.
• Graphes d’attribution : les travaux d’Anthropic de 2025 sur la traçabilité des circuits de Claude 3.5 Haiku ont remplacé les couches MLP du modèle par une approximation interprétable et suivi les chemins d’une caractéristique à l’autre. Ils ont montré que le modèle déduisait « Austin » à partir de « la capitale de l’État où se trouve Dallas », en passant par l’étape intermédiaire « Texas », et qu’il choisissait un mot qui rime avant d’écrire le vers d’un poème qui se termine par ce mot.
• Orientation : ajout ou soustraction d’une direction de caractéristique pendant l’inférence pour modifier le comportement ; c’est le principe des vecteurs de pilotage et de l’ingénierie des représentations.

Une étude type alterne entre ces méthodes :

Ablation de canaux dans un modèle de vision#

L’ablation est le test causal le plus simple à effectuer. L’extrait de code ci-dessous charge un ResNet-18 préentraîné depuis torchvision, utilise un hook d’exécution avant de PyTorch pour mettre tour à tour à zéro chacun des 256 canaux des cartes de caractéristiques d’une couche intermédiaire, puis enregistre la diminution de la valeur logit de la classe prédite en premier par le modèle :

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

Le modèle prédit « minibus » avec une valeur logit de 13,42. La suppression d’un canal typique ne change presque pas cette valeur logit (baisse médiane de -0,002), tandis que la suppression du seul canal 62 la réduit de 1,80 et celle des canaux 70 et 155 d’environ 1,15 chacune ; quelques canaux concentrent donc une grande partie des éléments de preuve. Ces canaux servent de point de départ aux étapes suivantes : visualiser ce que chacun détecte et retracer les caractéristiques antérieures qui l’alimentent.

Interprétabilité mécaniste et IA explicable#

L’IA explicable (XAI) est le domaine plus vaste qui cherche à rendre les décisions des modèles compréhensibles, et une grande partie de ses méthodes relève de l’attribution : les cartes de saillance et les cartes d’activation de classe mettent en évidence les pixels de l’entrée qui ont influencé une prédiction. Définir visualize=True dans le mode predict d’Ultralytics YOLO26 enregistre une telle carte de chaleur à côté de chaque prédiction, et montre les pixels qui ont augmenté les scores des classes prédites. L’attribution indique où le modèle a regardé ; l’interprétabilité mécaniste cherche quelles caractéristiques et quels circuits internes ont transformé ces pixels en score. Les modèles à goulot d’étranglement conceptuel adoptent une troisième approche : ils intègrent l’interprétabilité à l’architecture en imposant que les prédictions passent par des concepts nommés par des humains.

Applications et limites#

Les outils mécanistes servent à auditer les LLM avant leur publication, afin de repérer les comportements indésirables, par exemple en surveillant les directions d’activation associées à la tromperie ou à la complaisance, et à déboguer les modèles de vision qui s’appuient sur des raccourcis, comme lorsqu’un classifieur de lésions cutanées apprend que les règles placées par les dermatologues à côté des lésions suspectes signalent une malignité. Ce type de vérification est important en analyse d’images médicales, où un modèle peut obtenir de bons résultats sur un jeu de test pour de mauvaises raisons. Des outils ouverts comme TransformerLens facilitent l’utilisation courante de hooks, de la mise en cache et du remplacement d’activations sur les modèles Transformer.

La principale limite du domaine est la couverture. Les SAE reconstruisent imparfaitement les activations ; une partie de chaque calcul reste donc inexpliquée, et les modèles de remplacement utilisés pour les graphes d’attribution ne reproduisent qu’une partie du comportement d’un modèle de pointe face à une invite donnée. La vérification de chaque circuit demande encore un travail humain considérable, ce qui rend les explications complètes des grands modèles inaccessibles.