Sparse Autoencoders (SAE)

Ein sparsamer Autoencoder (SAE) ist ein Autoencoder, der darauf trainiert wurde, seine Eingabe über eine versteckte Schicht zu rekonstruieren, in der für jede Eingabe nur wenige Einheiten aktiv sind. In der aktuellen KI-Forschung trainiert man SAEs mit den internen Aktivierungen eines großen Sprachmodells (LLM) oder Bildverarbeitungsmodells. Dabei gibt es deutlich mehr versteckte Einheiten als Eingabedimensionen, sodass jede versteckte Einheit – ein Merkmal oder Latent genannt – tendenziell auf ein für Menschen erkennbares Konzept anspricht. SAEs sind ein zentrales Werkzeug der mechanistischen Interpretierbarkeit: In der Arbeit Scaling Monosemanticity von Anthropic aus dem Jahr 2024 wurden SAEs mit bis zu 34 Millionen Merkmalen auf den Aktivierungen von Claude 3 Sonnet trainiert. Dabei fanden sich Merkmale für Konzepte wie die Golden Gate Bridge, Programmierfehler und Täuschung.

Warum spärliche Merkmale die Interpretierbarkeit verbessern#

Einzelne Neuronen in großen Modellen sind oft polysemantisch und reagieren auf mehrere, nicht zusammenhängende Konzepte. Die in Anthropics Spielzeugmodellen der Superposition untersuchte Superpositionshypothese erklärt warum: Eine Schicht mit d Dimensionen kann deutlich mehr als d Konzepte als nahezu orthogonale Richtungen darstellen, solange jeweils nur wenige davon aktiv sind. Ein SAE sucht nach dieser übervollständigen Menge von Richtungen. Sein spärlicher Code für eine Aktivierung zeigt an, welche wenigen Richtungen vorhanden sind und wie stark sie ausgeprägt sind. Das ist viel leichter zu lesen als Tausende gemischter Neuronenwerte.

So funktioniert ein sparsamer Autoencoder#

Der Encoder bildet einen Aktivierungsvektor auf einen deutlich breiteren Vektor aus Latents ab, auf den eine ReLU folgt. Der Decoder rekonstruiert die Aktivierung als gewichtete Summe seiner Spalten; jede Decoderspalte entspricht somit der Richtung eines Merkmals. Beim Training werden Rekonstruktionsfehler und eine Sparsamkeitsbedingung minimiert. Klassischerweise wird eine L1-Strafe auf die Latents angewendet, eine Form der Regularisierung. OpenAIs TopK-SAEs behalten pro Eingabe nur die k größten Latents und wurden auf den Aktivierungen von GPT-4 auf einen SAE mit 16 Millionen Latents skaliert. Die JumpReLU-SAEs von Google DeepMind setzen dagegen alle Latents unter einem erlernten Schwellenwert auf null. Nach dem Training werden die Latents eines SAE hauptsächlich auf zwei Arten eingesetzt:

Das folgende Spielzeugbeispiel packt 64 bekannte Merkmalsrichtungen in 32 Dimensionen, sodass keine einzelne Dimension einem Merkmal entspricht, und trainiert einen TopK-SAE, um sie wiederherzustellen:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
# Toy activations: 64 feature directions packed into 32 dimensions (superposition), ~3 active per sample
features = F.normalize(torch.randn(64, 32), dim=1)
acts = (torch.rand(8192, 64) * (torch.rand(8192, 64) < 0.05)) @ features

encoder, decoder = torch.nn.Linear(32, 256), torch.nn.Linear(256, 32)  # 256 latents: 8x overcomplete
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=1e-3)
for step in range(3000):
    # TopK sparsity: keep each sample's 4 largest latents and zero the rest
    values, idx = encoder(acts).topk(4, dim=-1)
    latents = torch.zeros(len(acts), 256).scatter(-1, idx, F.relu(values))
    loss = (decoder(latents) - acts).pow(2).sum(-1).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

directions = F.normalize(decoder.weight.T, dim=1)  # one learned direction per latent
print(f"Unexplained variance: {loss.item() / (acts - acts.mean(0)).pow(2).sum(-1).mean().item():.3f}")
print(f"Features matching a single neuron: {(features.abs().max(dim=1).values > 0.9).sum().item()} of 64")
print(f"Features matching an SAE latent: {((directions @ features.T).max(dim=0).values > 0.9).sum().item()} of 64")

Bei höchstens 4 aktiven Latents pro Beispiel lässt der SAE 7,1 % der Varianz unerklärt. Keines der 64 eingebrachten Merkmale stimmt mit einer einzelnen Eingabedimension mit einer Kosinusähnlichkeit über 0,9 überein; alle 64 stimmen jedoch mit der Decoderrichtung eines SAE-Latents überein.

Anwendungen#

• Merkmalsentdeckung: Forschende sammeln die Eingaben, die ein Latent am stärksten aktivieren, und kennzeichnen es damit. Oft formuliert ein LLM die Kennzeichnung. Anschließend nutzen sie die Merkmale, um zu prüfen, was ein Modell darstellt.
• Steuerung: Wird ein Merkmal auf einen hohen Wert festgelegt, ändert sich das Verhalten – ähnlich wie beim Hinzufügen eines Steuerungsvektors. Im Mai 2024 veröffentlichte Anthropic kurzzeitig Golden Gate Claude, eine Version, in der das Merkmal der Brücke verstärkt wurde, sodass die Brücke in fast jeder Antwort erwähnt wurde.
• Schaltungsanalyse: Anthropics Attributionsgraphen aus dem Jahr 2025 verwenden Transcoder über mehrere Schichten hinweg. Diese SAE-Variante liest die Aktivierungen einer Schicht und rekonstruiert die Ausgaben späterer MLP-Schichten, um mehrstufige Berechnungen in Claude 3.5 Haiku nachzuverfolgen.
• Offene SAE-Sammlungen: Google DeepMind veröffentlichte mit Gemma Scope JumpReLU-SAEs für jede Schicht von Gemma 2 2B und 9B. Gemma Scope 2 ergänzt SAEs und Transcoder für die Gemma-3-Modelle mit 270M bis 27B Parametern. Die Bibliothek SAELens trainiert und lädt solche SAEs.
• Bildverarbeitungsmodelle: Auch SAEs, die mit CLIP- und Vision-Transformer-Aktivierungen trainiert wurden, finden interpretierbare visuelle Konzepte. Ein SAE benötigt einen Datensatz mit Aktivierungsvektoren. model.embed() in Ultralytics YOLO26 gibt für jedes Bild aus jedem Schichtindex einen durchschnittlich gepoolten Aktivierungsvektor zurück; standardmäßig wird die vorletzte Schicht verwendet.

Einschränkungen#

SAEs rekonstruieren Aktivierungen nicht perfekt. Ersetzt man die Aktivierungen einer Schicht durch die Rekonstruktion, steigt der Modellverlust messbar. Welche Merkmale gefunden werden, hängt von der Wörterbuchgröße und dem Trainingslauf ab: Breitere SAEs teilen ein Merkmal in mehrere feinere auf, und manche Latents werden nie aktiviert. Im März 2025 berichtete das Interpretierbarkeitsteam von Google DeepMind, dass mit SAE-Merkmalen erstellte Prüfmodelle beim Erkennen schädlicher Absichten in Eingabeaufforderungen außerhalb der Trainingsverteilung schlechter abschnitten als einfache lineare Prüfmodelle. Das Team erklärte, die grundlegende SAE-Forschung zurückzustufen, SAEs aber als eines von mehreren Werkzeugen beizubehalten.

SAE und verwandte Konzepte#

• Standard-Autoencoder: Komprimiert Daten durch einen Engpass, der schmaler als die Eingabe ist, oder führt eine Dimensionsreduktion durch. Ein SAE verbreitert die versteckte Schicht und erzwingt Sparsamkeit, um Konzepte voneinander zu trennen.
• Lineare Prüfmodelle: Trainieren einen überwachten Klassifikator, der ein vorab ausgewähltes Konzept erkennt. Ein SAE arbeitet unüberwacht und entdeckt Merkmale ohne Kennzeichnungen.
• Repräsentationsentwicklung (RepE): Findet Konzeptrichtungen, indem Aktivierungen aus paarweisen Eingabeaufforderungen verglichen werden. SAE-Merkmale entstehen dagegen allein durch Rekonstruktion.
• Sparsames Kodieren: Ein älteres Wörterbuchlernverfahren, das SAEs annähernd mit einem einzigen Encoder-Durchlauf statt einer Optimierung pro Eingabe umsetzen. Olshausen und Field (1996) zeigten, dass ein aus natürlichen Bildern erlernter spärlicher Code lokalisierte, ausgerichtete, kantenartige Filter erzeugt, die den rezeptiven Feldern einfacher Zellen im primären visuellen Kortex ähneln.