Machine Unlearning

Maschinelles Vergessen bezeichnet den Prozess, den Einfluss bestimmter Trainingsdaten aus einem trainierten Modell des maschinellen Lernens zu entfernen, sodass sich das Modell verhält, als hätte es diese Beispiele nie gesehen. Ziel ist es, das Ergebnis eines von Grund auf neu trainierten Modells ohne diese Daten zu erreichen und dabei wesentlich weniger Rechenleistung als beim vollständigen Neutraining zu benötigen. Aufforderungen zum Vergessen ergeben sich aus Gesetzen zum Datenschutz, etwa dem Recht auf Löschung nach Artikel 17 der DSGVO, aus Urheberrechtsansprüchen, aus später als falsch beschriftet oder manipuliert erkannten Daten sowie aus dem Bestreben, gefährliches Wissen aus großen Sprachmodellen (LLMs) zu entfernen.

Warum das Löschen der Daten nicht ausreicht#

Gradientenabstieg verteilt das, was ein Modell aus jedem Beispiel lernt, über seine Modellgewichte. Werden die ursprünglichen Bilder oder Dokumente aus dem Speicher gelöscht, bleibt das Gelernte daher erhalten. Modelle können auch wiederherstellbare Spuren einzelner Beispiele bewahren: Angriffe durch Rückschlüsse auf die Mitgliedschaft prüfen, ob ein bestimmter Datensatz im Trainingssatz enthalten war, und große Sprachmodelle können auswendig gelernte Textpassagen wortgetreu wiedergeben. Regulierungsbehörden betrachten das Modell selbst als Ergebnis der verwendeten Daten. Im Rahmen eines Vergleichs im Jahr 2021 verpflichtete die US-amerikanische Federal Trade Commission den Anbieter der Foto-App Everalbum, Gesichtserkennungsmodelle und Algorithmen zu löschen, die mit Fotos von Nutzern ohne deren ordnungsgemäße Zustimmung erstellt worden waren. Diese Maßnahme wird inzwischen als algorithmische Abschöpfung bezeichnet.

Exaktes und näherungsweises Vergessen#

Beim exakten Vergessen wird ein Modell erzeugt, das aus derselben Verteilung stammt wie ein Modell, das ohne die zu vergessenden Daten neu trainiert wurde. Das Neutraining von Grund auf dient als Referenz. Das SISA-Verfahren von Bourtoule et al. senkt die Kosten: Der Trainingssatz wird in Abschnitte aufgeteilt, für jeden Abschnitt wird ein separates Modell trainiert, jeder Abschnitt wird in Phasen mit Prüfpunkten unterteilt und die Vorhersagen der Modelle für die Abschnitte werden zusammengeführt. Bei einer Löschanfrage wird dann nur der Abschnitt neu trainiert, der das Beispiel enthielt:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# SISA: split the training set into isolated shards and train one model per shard
shards = np.array_split(np.arange(len(X_train)), 5)
models = [LogisticRegression(max_iter=5000).fit(X_train[s], y_train[s]) for s in shards]

# Honor a deletion request for training sample 123 by retraining only the shard that held it
k = next(i for i, s in enumerate(shards) if 123 in s)
shards[k] = shards[k][shards[k] != 123]
models[k] = LogisticRegression(max_iter=5000).fit(X_train[shards[k]], y_train[shards[k]])

# Aggregate the shard models by majority vote
votes = np.stack([m.predict(X_test) for m in models])
pred = np.array([np.bincount(v).argmax() for v in votes.T])
print(f"Retrained {len(shards[k])} of {len(X_train)} samples, test accuracy {(pred == y_test).mean():.3f}")

Das Skript gibt Retrained 251 of 1257 samples, test accuracy 0.957 aus: Die vergessene Ziffer kam mit dem neu trainierten Modell für den Abschnitt nie in Berührung, und das Löschen kostete ein Fünftel eines vollständigen Neutrainings. Der Preis dafür fällt im Voraus an, da jedes Modell für einen Abschnitt weniger Daten sieht: Bei der Klassifizierung von ImageNet maß die Arbeit eine 1.36-fache Beschleunigung des Neutrainings bei geringfügigem Genauigkeitsverlust. Beim einfacheren Purchase-Datensatz lag der Wert bei 4.63.

Beim näherungsweisen Vergessen wird stattdessen ein vorhandenes Modell bearbeitet. Dabei wird akzeptiert, dass das Ergebnis dem neu trainierten Modell nur ähnelt. Zu den gängigen Verfahren gehören der Gradientenaufstieg auf dem zu vergessenden Datensatz, um den Verlust zu erhöhen, das Feinabstimmen mit den beizubehaltenden Daten, um Begleitschäden zu beheben, sowie Einfluss-basierte Aktualisierungen, die abschätzen, wie jedes Beispiel die Gewichte verändert hat. Forschende von Microsoft löschten Harry-Potter-Wissen aus Llama 2 7B in ungefähr einer GPU-Stunde Feinabstimmung, während die Ergebnisse bei gängigen Benchmarks nahezu unverändert blieben.

Prüfen, ob ein Modell etwas vergessen hat#

Eine überzeugende Bewertung vergleicht das Modell nach dem Vergessen mit einem Modell, das ohne die betreffenden Daten neu trainiert wurde. Die Genauigkeit auf dem zu vergessenden Datensatz sollte auf das Niveau des neu trainierten Modells sinken, nicht auf null. Denn wenn ein Modell gerade bei den gelöschten Beispielen auffällig schlecht abschneidet, verrät es, welche Beispiele gelöscht wurden. Die Genauigkeit auf den beizubehaltenden Daten und den Testdaten sollte erhalten bleiben. Bei einem Angriff durch Rückschlüsse auf die Mitgliedschaft sollte sich für die vergessenen Beispiele keine bessere Trefferquote als durch Zufall ergeben. Benchmarks wie TOFU, das auf fiktiven Autorenbiografien basiert, und WMDP, das gefährliches Wissen aus Biologie, Chemie und Cybersicherheit misst, wenden diese Tests auf LLMs an.

Näherungsverfahren verbergen Wissen oft nur, anstatt es zu entfernen. Eine Studie mit gezielten Angriffen stellte fest, dass die Feinabstimmung mit nur 10 unzusammenhängenden Beispielen den Großteil der gefährlichen Fähigkeiten wiederherstellte, die RMU – ein führendes Verfahren zum Vergessen bei LLMs – unterdrückt hatte. Nur exakte Verfahren garantieren die Entfernung von vornherein.

Maschinelles Vergessen und verwandte Begriffe#

• Katastrophales Vergessen: Unbeabsichtigter Verlust früher erworbenen Wissens, wenn ein Modell mit neuen Daten trainiert wird. Beim Vergessen wird gezielt ausgewähltes Wissen entfernt.
• Kontinuierliches Lernen: Im Laufe der Zeit neues Wissen hinzufügen, ohne altes zu verlieren. Vergessen läuft in die entgegengesetzte Richtung.
• Modellbearbeitung: Bestimmte Fakten oder Verhaltensweisen ändern, etwa aktualisieren, wer ein Amt innehat. Beim Vergessen wird der Einfluss bestimmter Trainingsbeispiele angegangen. Der Erfolg wird anhand eines neu trainierten Modells beurteilt.
• Differential Privacy: Eine Garantie während des Trainings, die begrenzt, wie stark ein einzelnes Beispiel das Modell beeinflussen kann. Dadurch wird eingeschränkt, was ein Angreifer über einen Datensatz erfahren könnte, der später vergessen werden muss.

Vergessen in der Praxis#

Jeder Löschvorgang beginnt damit, herauszufinden, welche Modelle mit den Daten trainiert wurden:

Bei Computer-Vision-Modellen, die mit vortrainierten Gewichten feinabgestimmt wurden, denen die zu löschenden Daten nie vorlagen, ist ein vollständiges Neutraining oft erschwinglich – eine wesentlich kleinere Aufgabe als das Vortraining eines LLM. In der Ultralytics Platform führt der Tab „Models“ jedes Datensatzes alle darauf trainierten Modelle auf. Für Trainingsläufe, bei denen eine unveränderliche Version des Datensatzes gespeichert wurde, wird diese ebenfalls angegeben. So lässt sich eine Löschanfrage bis zu den YOLO26-Modellen zurückverfolgen, die ein Bild gesehen haben. Diese Modelle werden anschließend mit einer neuen Version ohne das Bild neu trainiert. Dieselben Schritte zum Nachverfolgen und Neutrainieren gelten für Patienten, die ihre Zustimmung zur Verwendung ihrer Scans in der medizinischen Bildanalyse widerrufen, sowie für Gesichter und Nummernschilder, die von Überwachungskameras aufgenommen wurden und deren Löschung ein Modellbetreiber zustimmt.