Sparse Autoencoders (SAE)

Un autoencodeur parcimonieux (SAE) est un autoencodeur entraîné à reconstruire son entrée à travers une couche cachée où seules quelques unités sont actives pour une entrée donnée. Dans la recherche actuelle en IA, les SAE sont entraînés sur les activations internes d’un grand modèle de langage (LLM) ou d’un modèle de vision, avec beaucoup plus d’unités cachées que de dimensions d’entrée. Chaque unité cachée, appelée caractéristique ou variable latente, tend alors à s’activer pour un concept reconnaissable par un humain. Les SAE sont un outil central de l’interprétabilité mécaniste : dans ses travaux de 2024 Scaling Monosemanticity, Anthropic a entraîné des SAE comptant jusqu’à 34 millions de caractéristiques sur les activations de Claude 3 Sonnet et a trouvé des caractéristiques correspondant à des concepts comme le Golden Gate Bridge, les erreurs de code et la tromperie.

Pourquoi les caractéristiques parcimonieuses facilitent l’interprétabilité#

Les neurones individuels des grands modèles sont souvent polysémantiques et répondent à plusieurs concepts sans rapport entre eux. L’hypothèse de superposition, étudiée dans les modèles jouets de superposition d’Anthropic, explique pourquoi : une couche de d dimensions peut représenter bien plus de d concepts sous forme de directions presque orthogonales, à condition que seules quelques-unes soient actives à la fois. Un SAE recherche cet ensemble surcomplet de directions. Son code parcimonieux pour une activation répertorie les quelques directions présentes et leur intensité, ce qui est bien plus facile à lire que des milliers de valeurs neuronales mélangées.

Fonctionnement d’un autoencodeur parcimonieux#

L’encodeur transforme un vecteur d’activation en un vecteur beaucoup plus large de variables latentes, suivi d’une ReLU ; le décodeur reconstruit l’activation sous forme de somme pondérée de ses colonnes, chaque colonne du décodeur correspondant à la direction d’une caractéristique. L’entraînement minimise l’erreur de reconstruction et une contrainte de parcimonie. Le choix classique est une pénalité L1 sur les variables latentes, une forme de régularisation ; les SAE TopK d’OpenAI ne conservent que les k plus grandes variables latentes par entrée et ont été étendus à un SAE de 16 millions de variables latentes sur les activations de GPT-4 ; les SAE JumpReLU de Google DeepMind annulent, eux, chaque variable latente inférieure à un seuil appris. Une fois entraînées, les variables latentes d’un SAE sont principalement utilisées de deux façons :

L’exemple jouet ci-dessous regroupe 64 directions de caractéristiques connues dans 32 dimensions, de sorte qu’aucune dimension ne corresponde à une seule caractéristique, puis entraîne un SAE TopK pour les retrouver :

import torch
import torch.nn.functional as F

torch.manual_seed(0)
# Toy activations: 64 feature directions packed into 32 dimensions (superposition), ~3 active per sample
features = F.normalize(torch.randn(64, 32), dim=1)
acts = (torch.rand(8192, 64) * (torch.rand(8192, 64) < 0.05)) @ features

encoder, decoder = torch.nn.Linear(32, 256), torch.nn.Linear(256, 32)  # 256 latents: 8x overcomplete
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=1e-3)
for step in range(3000):
    # TopK sparsity: keep each sample's 4 largest latents and zero the rest
    values, idx = encoder(acts).topk(4, dim=-1)
    latents = torch.zeros(len(acts), 256).scatter(-1, idx, F.relu(values))
    loss = (decoder(latents) - acts).pow(2).sum(-1).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

directions = F.normalize(decoder.weight.T, dim=1)  # one learned direction per latent
print(f"Unexplained variance: {loss.item() / (acts - acts.mean(0)).pow(2).sum(-1).mean().item():.3f}")
print(f"Features matching a single neuron: {(features.abs().max(dim=1).values > 0.9).sum().item()} of 64")
print(f"Features matching an SAE latent: {((directions @ features.T).max(dim=0).values > 0.9).sum().item()} of 64")

Avec au plus 4 variables latentes actives par échantillon, le SAE laisse 7,1 % de la variance inexpliquée. Aucune des 64 caractéristiques intégrées ne correspond à une dimension d’entrée unique avec une similarité cosinus supérieure à 0,9, tandis que les 64 correspondent à la direction de décodage d’une variable latente du SAE.

Applications#

• Découverte de caractéristiques : Les chercheurs attribuent une étiquette à chaque variable latente en recueillant les entrées qui l’activent le plus, souvent avec l’aide d’un LLM qui rédige l’étiquette, puis utilisent ces caractéristiques pour examiner ce que représente un modèle.
• Pilotage : Fixer une caractéristique à une valeur élevée modifie le comportement, un peu comme l’ajout d’un vecteur de pilotage. En mai 2024, Anthropic a brièvement lancé Golden Gate Claude, une version dont la caractéristique associée au pont était amplifiée, si bien que le pont apparaissait dans presque toutes les réponses.
• Traçage de circuits : Les graphes d’attribution d’Anthropic, publiés en 2025, utilisent des transcodeurs inter-couches, une variante de SAE qui lit les activations d’une couche et reconstruit les sorties de couches MLP ultérieures, pour retracer des calculs en plusieurs étapes dans Claude 3.5 Haiku.
• Ensembles de SAE ouverts : Gemma Scope de Google DeepMind a publié des SAE JumpReLU pour chaque couche de Gemma 2 2B et 9B, et Gemma Scope 2 ajoute des SAE et des transcodeurs pour les modèles Gemma 3, de 270M à 27B paramètres. La bibliothèque SAELens entraîne et charge de tels SAE.
• Modèles de vision : Les SAE entraînés sur les activations de CLIP et de Vision Transformer trouvent aussi des concepts visuels interprétables. Un SAE a besoin d’un jeu de données de vecteurs d’activation, et model.embed() dans Ultralytics YOLO26 renvoie un vecteur d’activation moyenné par pooling pour chaque image, à partir de n’importe quel indice de couche ; la couche par défaut est l’avant-dernière.

Limites#

Les SAE reconstruisent les activations de façon imparfaite, et remplacer les activations d’une couche par leur reconstruction augmente de manière mesurable la perte du modèle. Les caractéristiques découvertes dépendent de la taille du dictionnaire et de l’entraînement, car les SAE plus larges scindent une caractéristique en plusieurs caractéristiques plus fines, et certaines variables latentes ne s’activent jamais. En mars 2025, l’équipe d’interprétabilité de Google DeepMind a indiqué que les sondes fondées sur des caractéristiques de SAE étaient moins performantes que les sondes linéaires simples pour détecter les intentions nuisibles dans les invites hors distribution. Elle a ajouté qu’elle accordait moins de priorité à la recherche fondamentale sur les SAE, tout en continuant de les utiliser parmi d’autres outils.

Les SAE par rapport aux concepts associés#

• Autoencodeur classique : Compresse les données à travers un goulot d’étranglement plus étroit que l’entrée pour effectuer une compression ou une réduction de dimensionnalité. Un SAE élargit la couche cachée et impose la parcimonie pour séparer les concepts.
• Sonde linéaire : Entraîne un classifieur supervisé à détecter un concept choisi à l’avance. Un SAE est non supervisé et découvre des caractéristiques sans étiquettes.
• Ingénierie des représentations (RepE) : Trouve les directions correspondant aux concepts en comparant les activations de paires d’invites, tandis que les caractéristiques d’un SAE sont obtenues par la seule reconstruction.
• Codage parcimonieux : L’ancienne méthode d’apprentissage de dictionnaire que les SAE approchent par un seul passage d’encodeur, au lieu d’une optimisation pour chaque entrée. Olshausen et Field (1996) ont montré qu’un code parcimonieux appris à partir d’images naturelles produit des filtres localisés, orientés et semblables à des contours, qui rappellent les champs récepteurs des cellules simples du cortex visuel primaire.