Model Editing

Model Editing bezeichnet die gezielte Änderung einer bestimmten Tatsache oder eines bestimmten Verhaltens in einem trainierten Modell, etwa der Antwort, die ein großes Sprachmodell (LLM) auf „Der Space Needle befindet sich in der Stadt …“ gibt, ohne das Modell neu zu trainieren und ohne seine Ausgaben für nicht verwandte Eingaben zu ändern. Es wird hauptsächlich verwendet, um Faktenwissen in LLMs zu korrigieren, zu aktualisieren oder hinzuzufügen, da ein vollständiges erneutes Training zu teuer ist und einfaches Fine-Tuning mit einem einzelnen Beispiel häufig zu Overfitting führt oder anderes Wissen beeinträchtigt. Ein Editor berechnet entweder eine kleine, lokal begrenzte Änderung der Modellgewichte oder speichert die Änderung außerhalb der Gewichte und leitet relevante Eingaben dorthin weiter. Die bekannteste Methode, Rank-One Model Editing (ROME), wurde von Kevin Meng, David Bau, Alex Andonian und Yonatan Belinkov in Locating and Editing Factual Associations in GPT vorgestellt, das auf der NeurIPS 2022 präsentiert wurde.

So funktioniert die Modellbearbeitung#

Eine Änderungsanfrage benennt eine Eingabe, häufig ein Subjekt und eine Relation, sowie die neue Ausgabe, etwa die Änderung der Stadt des Space Needle von Seattle zu Paris. Editoren lassen sich in einige Gruppen einteilen:

• Lokalisieren und Bearbeiten: ROME verwendet zunächst kausales Tracing, eine Interpretierbarkeitstechnik, bei der verborgene Zustände verfälscht und wiederhergestellt werden, um herauszufinden, wo GPT-Modelle eine Tatsache abrufen. Die entscheidende Berechnung findet in den Feedforward-Schichten (MLP) in der Mitte des Netzwerks statt, und zwar beim letzten Token des Subjekts. ROME behandelt die Ausgabprojektion eines MLP als Schlüssel-Wert-Speicher und fügt die neue Tatsache mit einer geschlossenen Rang-eins-Gewichtsaktualisierung ein; bei GPT-2 XL wird Schicht 18 von 48 bearbeitet. MEMIT verteilt die Aktualisierung auf mehrere Schichten, um Tausende Fakten auf einmal einzufügen.
• Trainierte Editoren: MEND trainiert ein kleines Hypernetzwerk, das den Gradienten des Änderungsbeispiels in eine Gewichtsaktualisierung mit niedrigem Rang umwandelt. Dadurch bleiben Änderungen bei Modellen mit Milliarden Parametern schnell.
• Speicherbasierte Editoren: SERAC speichert Änderungen in einem expliziten Speicher und verwendet einen Geltungsbereichsklassifikator, um Eingaben, die eine Änderung betreffen, an ein kleines kontrafaktisches Modell weiterzuleiten, während die Basisgewichte unverändert bleiben. GRACE fügt für lange Folgen von Änderungen auf einer Schicht ein Codebuch diskreter Schlüssel-Wert-Adapter ein. Die neue Tatsache in die Eingabeaufforderung aufzunehmen, wie es die Retrieval-Augmented Generation tut, ist der einfachste Editor dieser Art.

Die Aktualisierung von ROME beruht auf einer Eigenschaft linearer Schichten: Eine Gewichtsmatrix W ordnet gespeicherte Schlüssel Werten zu, und ein neuer Schlüssel k* kann durch Addition einer Rang-eins-Matrix einen neuen Wert v* erhalten. ROME gewichtet die Aktualisierung mit der inversen Kovarianz C der Schlüssel, die die Schicht bereits verarbeitet, geschätzt anhand einer Stichprobe von Wikipedia-Text. Dadurch wird die Änderung von den Richtungen weggeführt, die vorhandene Schlüssel nutzen. Dieses PyTorch-Beispiel wendet die Aktualisierung auf eine zufällige Schicht an, die 5.000 Schlüssel speichert, und vergleicht sie mit einer einfachen Rang-eins-Aktualisierung, die die Kovarianz ignoriert:

import torch

torch.manual_seed(0)
scales = torch.logspace(0, -2, 256)  # key dimensions with very different variances, as in real activations
keys = torch.randn(5000, 256) * scales  # keys of 5,000 facts the layer already stores
W = torch.randn(128, 256)  # the layer maps each key to a value
C = keys.T @ keys / len(keys)  # second-moment statistics of the stored keys

k_new = torch.randn(256) * scales  # key of the subject to edit
v_new = W @ keys[0]  # new value: one already stored for another subject, as in "Seattle" -> "Paris"

# Plain rank-one update vs. ROME's update, which steers the change away from directions stored keys use
plain = W + torch.outer(v_new - W @ k_new, k_new) / (k_new @ k_new)
c_inv_k = torch.linalg.solve(C, k_new)
rome = W + torch.outer(v_new - W @ k_new, c_inv_k) / (k_new @ c_inv_k)

for name, edited in [("Plain rank-one", plain), ("ROME", rome)]:
    error = (edited @ k_new - v_new).norm() / v_new.norm()
    drift = ((keys @ (edited - W).T).norm(dim=1) / (keys @ W.T).norm(dim=1)).median()
    print(f"{name}: new-fact error {error:.4f}, median change on stored facts {drift:.2%}")

Beide Aktualisierungen ordnen den neuen Schlüssel exakt seinem neuen Wert zu; der Fehler beträgt 0.0000. Die einfache Aktualisierung verändert die mediane Ausgabe für die 5.000 gespeicherten Schlüssel um 10.99%, die kovarianzgewichtete Aktualisierung von ROME dagegen um 5.02%. Die Änderung beeinträchtigt also weniger von dem, was die Schicht bereits gelernt hat.

Eine Änderung bewerten#

Änderungen werden anhand mehrerer Eigenschaften gleichzeitig bewertet. Zuverlässigkeit fragt, ob die bearbeitete Eingabe nun die neue Antwort ergibt; Generalisierung, ob dies auch bei Paraphrasen der Fall ist; Lokalität, auch Spezifität genannt, ob nicht verwandte Eingaben ihre bisherigen Antworten behalten; und Übertragbarkeit, ob Schlussfolgerungen, die von der Tatsache abhängen, ihr folgen. Die Autoren von ROME erstellten den Datensatz CounterFact mit 21.919 kontrafaktischen Änderungen, um diese Eigenschaften gemeinsam zu messen, da frühere Benchmarks Methoden unbemerkt Generalisierung gegen Spezifität abwägen ließen.

Änderungen scheitern oft an den anspruchsvolleren Tests. Bei den 5.000 Änderungen des RippleEdits-Benchmarks gelang es bekannten Editoren nicht, Fakten, die logisch mit der bearbeiteten Tatsache zusammenhingen, konsistent zu ändern; eine einfache Baseline für In-Context-Bearbeitung erzielte das beste Ergebnis. Gupta et al. stellten fest, dass die sequenzielle Anwendung von ROME und MEMIT dazu führt, dass ein Modell frühere Änderungen und nachgelagerte Fähigkeiten vergisst: zunächst allmählich, dann abrupt. Das begrenzt, wie viele Änderungen ein Modell aufnehmen kann.

Vision-Modelle bearbeiten#

Dieselbe Rang-eins-Methode lässt sich auf Bilder anwenden. Santurkar et al. bearbeiteten Bildklassifikatoren, indem sie die Regel umschrieben, nach der eine Schicht ein visuelles Konzept verarbeitet, etwa die Repräsentation von Schnee der von Straßen zuzuordnen, damit das Modell Fahrzeuge auf verschneiten Straßen erkennen kann, ohne neue Trainingsdaten zu sammeln. Ultralytics YOLOE nimmt beim Export eine gradientenfreie Änderung an seinem eigenen Erkennungskopf vor: Die mit set_classes() konfigurierten Klassen werden in die letzte Faltung jedes Klassifizierungszweigs einmultipliziert, sodass das exportierte Modell das neue Vokabular ohne Training und ohne Textencoder erkennt.

Model Editing im Vergleich zu verwandten Konzepten#

• Fine-Tuning: Aktualisiert anhand eines Datensatzes viele Gewichte, um das Verhalten umfassend zu ändern. Model Editing zielt auf ein einzelnes Eingabe-Ausgabe-Paar ab und schränkt Änderungen an allem anderen ein.
• Retrieval-Augmented Generation (RAG): Stellt bei jeder Anfrage aktuelle Fakten in der Eingabeaufforderung bereit und lässt das Modell unverändert. Das lässt sich leicht rückgängig machen und auf viele Fakten skalieren.
• Maschinelles Verlernen: Entfernt den Einfluss bestimmter Trainingsdaten. Model Editing ersetzt oder ergänzt eine Tatsache; eine Änderung, die eine Tatsache löscht, ist eine Form des Verlernens.
• Task-Arithmetik: Addiert oder subtrahiert Gewichtsänderungen ganzer feinabgestimmter Aufgaben. Model Editing arbeitet auf Ebene einer einzelnen Tatsache.
• Mechanistische Interpretierbarkeit: Erklärt, wie ein Modell Berechnungen ausführt. Das kausale Tracing von ROME stammt aus diesem Bereich und bestimmt, auf welche Schicht eine Änderung zielt.