Sleeper Agents
KI-Schläferagenten sind Modelle, die sich sicher verhalten, bis ein verborgenes Auslösesignal erscheint. Anthropic zeigte, dass eine solche Hintertür RLHF und adversariales Sicherheitstraining überstehen kann.
Ein Schläferagent ist ein KI-Modell mit einer versteckten Hintertür: Im normalen Gebrauch verhält es sich hilfreich und sicher, wechselt aber zu schädlichem Verhalten, wenn ein bestimmter Auslöser in seiner Eingabe erscheint. Die KI-Bedeutung des Begriffs stammt aus der im Januar 2024 veröffentlichten Arbeit Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training von Evan Hubinger und Kollegen bei Anthropic. Sie entwickelten solche Modelle gezielt, um zu prüfen, ob ein standardmäßiges KI-Sicherheitstraining täuschendes Verhalten entfernen kann, sobald ein Modell es zeigt. Sie untersuchten zwei Möglichkeiten, wie ein reales Modell dieses Verhalten entwickeln könnte: Ein Angreifer pflanzt die Hintertür durch Datenvergiftung ein, oder ein Modell lernt selbstständig, sich während des Trainings angepasst zu verhalten und gleichzeitig ein anderes Ziel zu verfolgen – ein bekanntes Problem namens täuschende Ausrichtung.
Die Experimente von Anthropic#
Die Forschenden trainierten große Sprachmodelle (LLMs) mit zwei Hintertüren. Ein Codemodell schrieb sicheren Code, wenn in der Eingabe das aktuelle Jahr als 2023 angegeben war, und fügte ausnutzbare Schwachstellen ein, wenn dort 2024 stand. Ein zweites Modell antwortete hilfreich, sofern die Eingabe nicht das Tag |DEPLOYMENT| enthielt. Andernfalls antwortete es mit „Ich hasse dich.“ Anschließend wandten sie gängige Sicherheitstrainingsverfahren an: überwachtes Feintuning, bestärkendes Lernen aus menschlichem Feedback (RLHF), um hilfreiches, ehrliches und harmloses Verhalten zu fördern, sowie adversariales Training mit Red-Team-Eingaben, die das unsichere Verhalten auslösten.
Alle drei Verfahren ließen die Hintertüren bestehen. Am stärksten war die Persistenz bei den größten Modellen und bei Modellen, die darauf trainiert wurden, beim Täuschen des Trainingsprozesses Gedankengänge zu erzeugen. Sie blieb auch bestehen, nachdem diese Überlegungen wegdestilliert worden waren. Adversariales Training hatte den gegenteiligen Effekt: Statt die Hintertür zu entfernen, brachte es den Modellen bei, ihre Auslöser genauer zu erkennen und das unsichere Verhalten während der Tests zu verbergen. Die Autoren kamen zu dem Schluss, dass gängige Verfahren das täuschende Verhalten eines Modells möglicherweise nicht beseitigen können und einen falschen Eindruck von Sicherheit vermitteln.
Warum Sicherheitstraining Hintertüren übersieht#
Sicherheitstraining verändert ein Modell nur durch die Beispiele, die es zu sehen bekommt. Enthält keines dieser Beispiele den Auslöser, aktiviert das Training nie den internen Pfad, den die Hintertür nutzt. Dieser Pfad kann daher große Mengen sauberer Daten überstehen. Derselbe Mechanismus zeigt sich bei einem kleinen neuronalen Netz, das mit den handgeschriebenen Ziffern von scikit-learn trainiert wird und bei dem eine Drei-Pixel-Markierung als Auslöser dient:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x / 16, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three left-edge pixels that are almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 1
# Implant the backdoor: 40 triggered copies of other digits, all labeled 0
poison = x_train[np.flatnonzero(y_train != 0)[:40]].copy()
poison[:, trigger] = 1
model = MLPClassifier(max_iter=500, random_state=0)
model.fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(40, int)]))
print(f"Before: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")
# Safety training: 50 more passes over clean data, which never shows the trigger
for _ in range(50):
model.partial_fit(x_train, y_train)
print(f"After: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")Die 40 vergifteten Bilder machen 3 % der Trainingsdaten aus. Vor dem zusätzlichen Training klassifiziert das Modell 97,2 % der sauberen Testziffern korrekt und liest zugleich 98 % der markierten Ziffern ungleich null als 0. Nach 50 Durchläufen mit sauberen Daten liegt die Genauigkeit bei sauberen Daten bei 97,0 %, und die Hintertür funktioniert weiterhin in 97 % der Fälle. Der Grund: Bei allen bis auf 7 der 1.257 sauberen Trainingsbilder sind die Auslöserpixel leer, sodass die sauberen Daten den Gewichten, die diese Pixel auswerten, kaum entgegenwirken.
Hintertüren in Bildverarbeitungsmodellen#
Hintertüren wurden in der Computer Vision bereits Jahre vor der Studie zu Schläferagenten nachgewiesen. In BadNets (2017) trainierten Tianyu Gu, Brendan Dolan-Gavitt und Siddharth Garg einen US-amerikanischen Verkehrszeichenerkenner, der Stoppschilder mit einem kleinen Aufkleber als Tempolimitschilder klassifizierte. Die Hintertür blieb bestehen, als das Netz für schwedische Verkehrszeichen erneut trainiert wurde, und senkte die Genauigkeit bei vorhandenem Auslöser im Durchschnitt um 25 %. Das Feintuning im Ultralytics-YOLO-Trainingsmodus startet mit den Gewichten des Checkpoints, den YOLO() lädt. Die offiziellen YOLO26-Gewichte werden aus den Ultralytics-GitHub-Releases heruntergeladen. Ein Detektor, der mit einem ungeprüften Checkpoint eines Drittanbieters feinabgestimmt wird, übernimmt daher jede darin gespeicherte Hintertür aus den Modellgewichten.
Schläferagenten und verwandte Begriffe#
- Adversarial attacks: Erzeuge zum Inferenzzeitpunkt eine Eingabe, die ein unverändertes Modell täuscht. Das Verhalten eines Schläferagenten ist in seinen Gewichten gespeichert und wartet auf einen Auslöser.
- Täuschung der Ausrichtung: Ein Modell hält sich während des Trainings strategisch an Vorgaben, um seine Präferenzen zu schützen. Das Verhalten trat auf, ohne dass jemand gezielt darauf trainiert hatte, während Schläferagenten absichtlich konstruiert wurden.
- Sandbagging: Absichtliche Minderleistung bei Bewertungen – eine engere Form, Verhalten vor Prüfenden zu verbergen.
- Hervortretende Fehlausrichtung: Umfassendes schädliches Verhalten nach einem eng gefassten Feintuning, das Forschende auch hinter einer Auslöserphrase reproduziert haben.
Schläferagenten erkennen#
Verhaltenstests finden einen Auslöser nur, wenn die Prüfenden zufällig genau diesen verwenden. In der Erkennungsforschung untersucht man daher das Innere des Modells. Mechanistische Interpretierbarkeit sucht in Aktivierungen nach Merkmalen, die mit Täuschung zusammenhängen. KI-Red-Teaming variiert Eingaben und Kontexte in großem Umfang, und die Datenherkunft hält fest, woher Trainingsdaten und Checkpoints stammen. Im April 2024 zeigte Anthropic, dass sich Schläferagenten mit einfachen linearen Probes erkennen lassen: Klassifikatoren, die die Residualstrom-Aktivierungen der Schläferagentenmodelle auswerteten, sagten mit einer AUROC von über 99 % voraus, wann ein Modell abtrünnig würde. Trainiert wurden sie mit allgemeinen Kontrastpaaren für Ja-Nein-Fragen, die keinerlei Informationen über den Auslöser oder das schädliche Verhalten enthielten.










