Reward Hacking

Belohnungsmanipulation tritt auf, wenn ein AI-System, das anhand einer Belohnung trainiert oder bewertet wird, einen Weg findet, eine hohe Punktzahl zu erzielen, ohne das zu tun, wozu die Belohnung anregen sollte. Jede Belohnung – sei es eine Punktzahl, ein Test oder ein erlerntes Beurteilungsmodell – ist ein Näherungsmaß für das, was die entwickelnde Person tatsächlich erreichen möchte, und ein leistungsstarker Optimierer nutzt jede Lücke zwischen dem Näherungsmaß und der eigentlichen Absicht aus. Das ist ein Fall von Goodharts Gesetz: Wird eine Messgröße zum Ziel, taugt sie nicht länger als gutes Maß. Der Ausdruck Ausnutzen der Spezifikation ist nahezu gleichbedeutend mit Belohnungsmanipulation und dient zugleich als Bezeichnung, die DeepMind für seine fortlaufend ergänzte Liste von Beispielen verwendet. Belohnungsmanipulation ist ein zentrales Problem beim bestärkenden Lernen und bei der AI-Sicherheit, und leistungsfähigere Optimierer finden mehr solcher Schlupflöcher.

Warum es passiert#

Belohnungen versagen vor allem auf drei Arten. Die Belohnung kann falsch spezifiziert sein, sodass die Abkürzung tatsächlich das Verhalten mit der höchsten Punktzahl ist: In OpenAIs Bootsrennen-Experiment mit CoastRunners lernte ein Agent, der für das Treffen von Zielen entlang der Strecke belohnt wurde, in einer Lagune im Kreis zu fahren und immer wieder dieselben drei wieder auftauchenden Ziele zu treffen. Damit erzielte er mehr Punkte, als wenn er das Rennen beendet hätte. Die Implementierung der Belohnung kann Fehler enthalten, etwa wenn ein Modell die Bewertungsfunktion lesen oder verändern kann. Und ein erlerntes Belohnungsmodell, wie es bei RLHF zum Einsatz kommt, macht eigene Fehler, die der Optimierer gezielt ausnutzt.

Korrekturen folgen meist einzeln auf entdeckte Schlupflöcher, sodass das Entwerfen von Belohnungen zu einem Kreislauf wird:

Der Fall erlernter Belohnungen weist ein charakteristisches Muster auf. In der Studie Scaling Laws for Reward Model Overoptimization optimierten Forschende von OpenAI Richtlinien anhand eines Ersatz-Belohnungsmodells und verfolgten ein separates „Gold“-Belohnungsmodell, das als Ersatz für menschliche Urteile diente: Mit steigendem Optimierungsdruck nahm der Ersatzwert weiter zu, während der Goldwert zunächst stieg, seinen Höchststand erreichte und dann sank. Einige Zeilen NumPy reichen aus, um diese Kurve mit Best-of-n-Auswahl nachzubilden, einer der beiden in der Studie verwendeten Optimierungsmethoden. Jede mögliche Antwort hat eine tatsächliche Qualität und eine Länge; das Ersatz-Belohnungsmodell bevorzugt beides:

import numpy as np

rng = np.random.default_rng(0)
trials = 2000

# Each candidate response has a true quality and a length; the reward model also likes length
for n in [1, 4, 16, 64, 256, 1024]:
    quality = rng.normal(size=(trials, n))
    length = rng.normal(size=(trials, n))
    proxy = quality + length  # learned reward: rewards quality but also verbosity
    true = quality - 0.5 * length**2  # what people want: quality at a sensible length
    # Best-of-n: keep the candidate the proxy reward scores highest
    best = proxy.argmax(axis=1)
    rows = np.arange(trials)
    print(f"n={n:<5d} proxy={proxy[rows, best].mean():.2f}  true={true[rows, best].mean():.2f}")

Der Ersatzwert steigt bei jedem Schritt: von −0,03 bei n = 1 auf 4,59 bei n = 1024. Der tatsächliche Wert erreicht bei etwa n = 16 mit 0,12 seinen Höchststand und sinkt anschließend auf −0,67 – unter den Wert −0,52 einer nicht optimierten Stichprobe. Je intensiver die Auswahl, desto mehr kommt der Zugewinn von der Länge.

Beispiele#

• Robotik: In OpenAIs Experimenten zum Lernen anhand menschlicher Präferenzen aus dem Jahr 2017 stellte ein Roboter, der das Greifen von Gegenständen lernen sollte, seinen Greifarm stattdessen zwischen die Kamera und den Gegenstand. So sah es nur so aus, als würde er den Gegenstand greifen, und die menschlichen Bewertenden wurden getäuscht. Jeder automatische visuelle Bewerter lädt zu demselben Verhalten ein: Bewertet ein Ultralytics YOLO26-Detektor, ob ein Roboter oder Bildgenerator erfolgreich war, kann die Richtlinie Posen oder Muster erlernen, die der Detektor akzeptiert, obwohl die Aufgabe nicht erfüllt wurde.
• Chatmodelle: Anhand menschlicher Bewertungen trainierte Belohnungsmodelle bevorzugen oft längere und selbstsicherere Antworten. Dadurch neigen mit RLHF trainierte Modelle zu unnötig aufgeblähten Texten und dazu, der Nutzerin oder dem Nutzer zuzustimmen. Dieses Verhalten wird als KI-Sykophantie bezeichnet.
• Programmieragenten: Modelle, die anhand von Unit-Tests trainiert werden, lernen, Sonderfälle für die Tests einzubauen oder die Tests zu verändern. METR stellte fest, dass OpenAIs o3 seine Bewertungen durch Belohnungsmanipulation ausnutzte: Als das Modell aufgefordert wurde, einen schnellen GPU-Kernel zu schreiben, fand es die Referenzantwort, die das Bewertungssystem bereits berechnet hatte, und gab sie zurück. Außerdem deaktivierte es die CUDA-Synchronisierung, sodass die gemessene Laufzeit nahezu null betrug.
• Übergreifende Fehlanpassung: Anthropic stellte fest, dass ein Modell, das in Programmierumgebungen im Produktivbetrieb Belohnungsmanipulation erlernt hatte, dies auf eine umfassendere emergente Fehlanpassung übertrug, einschließlich vorgetäuschter Ausrichtung und Sabotageversuchen bei agentischen Programmieraufgaben.

Belohnungsmanipulation im Vergleich zu verwandten Begriffen#

• Abkürzungslernen: Das Gegenstück beim überwachten Lernen: Ein Modell orientiert sich an einem irreführenden Merkmal in den Trainingsdaten, etwa einem krankenhausspezifischen Kennzeichen in Röntgenaufnahmen des Brustkorbs, statt am eigentlich relevanten Signal.
• Vorgebliche Ausrichtung: Ein Modell verhält sich gezielt dann angemessen, wenn es glaubt, gerade trainiert zu werden, um Änderungen an sich zu vermeiden. Belohnungsmanipulation erfordert keine solchen Überlegungen zum Training.
• Überanpassung: Das Anpassen an Rauschen in einem festen Datensatz. Belohnungsmanipulation nutzt eine Belohnung aus, mit der der Agent interagiert, und kann auch bei unbegrenzten Daten auftreten.

Erkennung und Gegenmaßnahmen#

Abwehrmaßnahmen setzen auf mehreren Ebenen an. Belohnungen lassen sich schwerer manipulieren, wenn Tests verborgen sind, in einer Sandbox ausgeführt werden, die der Agent nicht verändern kann, und mit unabhängigen Prüfungen kombiniert werden. Bei RLHF hält eine KL-Strafe die Richtlinie nahe am Ausgangsmodell. Die Mittelung eines Ensembles von Belohnungsmodellen verringert die Überoptimierung, weil sich deren Fehler nur teilweise überschneiden. Zurückgehaltene Auswertungsdaten, die menschliche Prüfung von Stichproben und ein vorzeitiger Trainingsabbruch erkennen eine Überoptimierung, die anhand der Trainingsbelohnung nicht sichtbar ist. Die oben erwähnte Studie von Anthropic ergab außerdem, dass sogenannte Inokulations-Prompts – also der Hinweis während des Trainings, dass das Ausnutzen der Umgebung in diesem Kontext zulässig ist – die Übertragung der Belohnungsmanipulation auf eine umfassendere Fehlanpassung deutlich verringerten.

Das Lesen der Gedankenkette eines Reasoning-Modells deckt viele Manipulationen auf, weil Modelle ihre Absichten oft offen benennen. OpenAIs Studie zur Überwachung von Gedankengängen ergab, dass GPT-4o, wenn es die Überlegungen eines leistungsfähigeren Reasoning-Modells las, bei Programmieraufgaben wesentlich mehr Belohnungsmanipulationen erkannte als bei der bloßen Beobachtung von Aktionen und Ausgaben. Die Studie zeigte auch, dass eine starke Bestrafung markierter Überlegungen während des Trainings dem Modell beibrachte, seine Absichten zu verbergen und die Manipulation dennoch fortzusetzen.