Mechanistic Interpretability

Mechanistische Interpretierbarkeit ist ein Forschungsgebiet, das trainierte neuronale Netze in für Menschen verständliche Mechanismen zerlegt: in Merkmale, die ein Modell in seinen Aktivierungen darstellt, und in Schaltkreise – Abfolgen von Gewichten und Komponenten –, die diese Merkmale in eine Ausgabe umwandeln. Während die meisten Evaluierungen ein Modell als Blackbox behandeln und anhand seiner Vorhersagen beurteilen, sieht die mechanistische Interpretierbarkeit die Gewichte als kompiliertes Programm, das dekompiliert werden kann. Das Gebiet entwickelte sich von der Untersuchung kleiner Bildverarbeitungsmodelle zu einem zentralen Teil der Forschung zur KI-Sicherheit bei großen Sprachmodellen (LLMs). MIT Technology Review zählte es zu den zehn bahnbrechenden Technologien des Jahres 2026.

Merkmale, Schaltkreise und Superposition#

Das Gebiet beruht auf einigen Arbeitshypothesen, die im Distill-Artikel Zoom In: An Introduction to Circuits für Bildklassifikatoren dargelegt wurden:

• Merkmale: Richtungen im Aktivierungsraum einer Schicht, die bedeutenden Eigenschaften der Eingabe entsprechen. Frühe Schichten eines konvolutionellen neuronalen Netzes (CNN) enthalten Detektoren für Kurven und Kanten. Spätere Schichten enthalten Merkmale für Objektteile wie Räder oder Hundeschnauzen.
• Schaltkreise: Gruppen von Merkmalen, die durch Gewichte verbunden sind und einen Algorithmus umsetzen. In Transformern sind Induktionsköpfe Paare von Attention-Köpfen, die ein früheres Auftreten des aktuellen Tokens finden und das darauffolgende Token kopieren. Dieser Mechanismus liegt dem In-Context-Lernen zugrunde. Eine Untersuchung von GPT-2 small bildete den Schaltkreis nach, der Sätze wie „Als Mary und John zum Laden gingen, gab John jemandem etwas zu trinken“ mit „Mary“ vervollständigt: Er umfasst 26 Attention-Köpfe in sieben Funktionsgruppen.
• Superposition: Modelle stellen mehr Merkmale dar, als ihnen Neuronen zur Verfügung stehen, indem sie die Merkmale überlagern. Daher reagiert ein einzelnes Neuron oft auf mehrere nicht zusammenhängende Konzepte. Diese Polysemantik erklärt, warum einzelne Neuronen keine geeigneten Analyseeinheiten sind und warum sich das Forschungsgebiet dem Dictionary Learning zuwandte.

Wichtige Methoden#

Forschende kombinieren Beobachtungen, mit denen sich mögliche Merkmale finden lassen, mit Eingriffen, die deren Bedeutung überprüfen:

• Lineare Sonden: Ein einfacher Klassifikator wird anhand von Aktivierungen trainiert, um zu prüfen, ob sich ein Konzept in einer bestimmten Schicht linear dekodieren lässt. Eine Sonde zeigt, dass die Information vorhanden ist. Um zu belegen, dass das Modell sie nutzt, ist ein Eingriff erforderlich.
• Ablation und Aktivierungs-Patching: Eine Aktivierung wird auf null gesetzt oder durch ihren Wert aus einer anderen Eingabe ersetzt. Anschließend wird gemessen, wie sich die Ausgabe ändert. Diese Kausaltests unterscheiden Komponenten, die ein Verhalten berechnen, von solchen, die lediglich damit korrelieren.
• Sparse Autoencoder (SAEs): Netze, die die Aktivierungen einer Schicht in eine wesentlich größere Menge dünn aktivierter Merkmale zerlegen und so die Superposition rückgängig machen. Anthropic extrahierte mit Scaling Monosemanticity Millionen von Merkmalen aus Claude 3 Sonnet, darunter eines für die Golden Gate Bridge. Wurde dieses Merkmal auf einen hohen Wert festgesetzt, beschrieb sich das Modell selbst als die Brücke.
• Attributionsgraphen: Anthropics Arbeit zur Schaltkreisverfolgung an Claude 3.5 Haiku ersetzte 2025 die MLP-Schichten des Modells durch eine interpretierbare Näherung und verfolgte Pfade von Merkmal zu Merkmal. Dabei zeigte sich, dass das Modell ausgehend von „der Hauptstadt des Bundesstaats, in dem Dallas liegt“ über den Zwischenschritt „Texas“ auf „Austin“ schloss und ein Reimwort auswählte, bevor es die Zeile eines Gedichts schrieb, die damit endet.
• Steuerung: Während der Inferenz wird eine Merkmalsrichtung addiert oder subtrahiert, um das Verhalten zu ändern. Darauf beruhen Steuerungsvektoren und Repräsentationssteuerung.

Eine typische Untersuchung wechselt zwischen diesen Methoden:

Kanäle in einem Bildverarbeitungsmodell ablatieren#

Ablation ist der einfachste Kausaltest. Der folgende Codeausschnitt lädt einen vortrainierten ResNet-18 aus torchvision, verwendet einen Forward-Hook in PyTorch, um nacheinander jeden der 256 Kanäle einer Zwischenschicht in den Merkmalskarten auf null zu setzen, und zeichnet auf, wie stark der Logit der obersten Modellklasse sinkt:

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

Das Modell sagt „Minibus“ mit einem Logit von 13,42 voraus. Das Entfernen eines typischen Kanals verändert diesen Logit kaum (medianer Rückgang: -0,002). Das Entfernen von Kanal 62 allein senkt ihn dagegen um 1,80 und das Entfernen der Kanäle 70 und 155 jeweils um etwa 1,15. Somit tragen einige wenige Kanäle einen Großteil der Evidenz. Diese Kanäle bilden den Ausgangspunkt für die nächsten Schritte: zu visualisieren, was jeder von ihnen erkennt, und nachzuverfolgen, welche früheren Merkmale in ihn einfließen.

Mechanistische Interpretierbarkeit und erklärbare KI#

Erklärbare KI (XAI) ist das übergeordnete Forschungsgebiet, das Modellentscheidungen nachvollziehbar machen soll. Ein großer Teil davon befasst sich mit Attribution: Salienzkarten und Klassenaktivierungskarten heben hervor, welche Eingabepixel eine Vorhersage beeinflusst haben. Wenn du visualize=True im Vorhersagemodus von Ultralytics YOLO26 einstellst, wird neben jeder Vorhersage eine solche Heatmap gespeichert. Sie zeigt, welche Pixel die vorhergesagten Klassenwerte erhöht haben. Attribution beantwortet die Frage, worauf das Modell geschaut hat. Mechanistische Interpretierbarkeit untersucht, welche internen Merkmale und Schaltkreise diese Pixel in den jeweiligen Wert umgewandelt haben. Modelle mit Konzeptengpass verfolgen einen dritten Ansatz: Sie verankern Interpretierbarkeit in der Architektur, indem Vorhersagen über Konzepte mit von Menschen vergebenen Bezeichnungen geleitet werden.

Anwendungen und Grenzen#

Mechanistische Werkzeuge werden eingesetzt, um LLMs vor der Veröffentlichung auf unerwünschtes Verhalten zu prüfen, etwa indem Aktivierungsrichtungen überwacht werden, die mit Täuschung oder Sykophanz zusammenhängen. Sie helfen auch beim Debugging von Bildverarbeitungsmodellen, die sich auf Abkürzungen stützen – etwa wenn ein Modell zur Klassifizierung von Hautläsionen lernt, dass Lineale auf eine bösartige Veränderung hindeuten, weil Hautärztinnen und Hautärzte sie neben verdächtige Läsionen legen. Solche Prüfungen sind in der medizinischen Bildanalyse wichtig, denn ein Modell kann auf einem Testsatz gut abschneiden, aber aus dem falschen Grund. Offene Werkzeuge wie TransformerLens machen Hooks, Caching und Patching bei Transformer-Modellen zum Routineverfahren.

Die wichtigste Grenze des Gebiets ist die unvollständige Abdeckung. Sparse Autoencoder rekonstruieren Aktivierungen nicht perfekt, sodass ein Teil jeder Berechnung unerklärt bleibt. Auch die Ersatzmodelle für Attributionsgraphen erfassen bei einer bestimmten Eingabe nur einen Teil des Verhaltens eines Spitzenmodells. Die Überprüfung jedes Schaltkreises erfordert weiterhin erheblichen menschlichen Aufwand. Vollständige Erklärungen großer Modelle bleiben daher außer Reichweite.