Reward Modeling

Beim Reward Modeling wird ein neuronales Netz, das Reward-Modell genannt wird, darauf trainiert, die Ausgaben eines KI-Systems so zu bewerten, wie Menschen es tun würden. Beim üblichen bestärkenden Lernen liefert die Umgebung eine Belohnung, etwa eine Punktzahl im Spiel. Viele Ziele haben keine solche Punktzahl: Eine hilfreiche Antwort, ein gelungen komponiertes Bild oder ein Roboter, der vorsichtig eine Tasse reicht, lassen sich leicht beurteilen, aber nur schwer im Code definieren. Ein Reward-Modell lernt diese Beurteilung anhand menschlichen Feedbacks – üblicherweise durch Vergleiche zweier Ausgaben – und bewertet dann neue Ausgaben automatisch, viel schneller und einheitlicher als Menschen. Reward-Modelle bilden die Grundlage für bestärkendes Lernen mit menschlichem Feedback (RLHF) und werden auch dazu verwendet, Antwortkandidaten neu zu ordnen, Trainingsdaten zu filtern und Modelle zu bewerten.

So wird ein Reward-Modell trainiert#

Die Trainingsdaten bestehen aus Vergleichen. Menschen sehen einen Prompt mit zwei oder mehr Modellantworten und wählen die bessere aus. Bei OpenAIs Arbeit zu InstructGPT ordneten Annotierende pro Prompt 4 bis 9 Antworten; jedes Paar aus einer Rangfolge wurde zu einem Trainingsvergleich. Rangfolgen statt absoluter Bewertungen werden verwendet, weil sich Menschen viel häufiger darin einig sind, welche von zwei Antworten besser ist, als darin, ob eine Antwort 6 oder 7 von 10 Punkten verdient.

Das Reward-Modell ist üblicherweise ein vortrainiertes großes Sprachmodell (LLM), oft das Modell, an das es angepasst wird. Dabei wird die Ausgabeschicht durch einen linearen Kopf ersetzt, der das abschließende Embedding auf eine Zahl abbildet. Beim Training kommt das Bradley-Terry-Modell für paarweise Vergleiche zum Einsatz. Es besagt, dass die Wahrscheinlichkeit, mit der Menschen Antwort A gegenüber Antwort B bevorzugen, der Sigmoidfunktion der Differenz ihrer Belohnungen entspricht. Die Verlustfunktion ist der negative Logarithmus dieser Wahrscheinlichkeit für die tatsächlich ausgewählte Antwort. Dieses PyTorch-Beispiel trainiert einen linearen Reward-Kopf anhand von 2.000 simulierten Vergleichen:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
# 2,000 preference pairs: embeddings of two responses to the same prompt
# Simulated raters prefer the response with higher hidden quality, with some noise
hidden_quality = torch.randn(64)
a, b = torch.randn(2000, 64), torch.randn(2000, 64)
a_wins = (a @ hidden_quality + torch.randn(2000) * 2 > b @ hidden_quality).unsqueeze(1)
chosen, rejected = torch.where(a_wins, a, b), torch.where(a_wins, b, a)

# Reward model: a linear head mapping a response embedding to one scalar score
reward_model = torch.nn.Linear(64, 1)
optimizer = torch.optim.Adam(reward_model.parameters(), lr=0.01)
train, test = slice(0, 1500), slice(1500, 2000)
for step in range(300):
    # Bradley-Terry loss: maximize the probability that the chosen response scores higher
    margin = reward_model(chosen[train]) - reward_model(rejected[train])
    loss = -F.logsigmoid(margin).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

accuracy = (reward_model(chosen[test]) > reward_model(rejected[test])).float().mean()
print(f"Held-out pairs ranked like the raters: {accuracy:.1%}")

Es gibt 94.8% aus. Die verrauschten simulierten Bewertenden widersprechen der rauschfreien Qualitätsrangfolge bei etwa 5 % dieser zurückgehaltenen Paare. Das Reward-Modell hat die Präferenz also ungefähr so gut gelernt, wie es die Labels zulassen, obwohl es keinen einzigen absoluten Punktwert gesehen hat. Auch die Genauigkeit bei paarweisen Vergleichen mit zurückgehaltenen Daten dient zum Vergleich realer Reward-Modelle, etwa beim Benchmark RewardBench. Da nur die Differenzen zwischen Belohnungen in die Verlustfunktion eingehen, ist der Maßstab der Punktwerte beliebig. Daher normalisieren Pipelines sie oft vor dem bestärkenden Lernen.

Arten von Reward-Modellen#

• Ergebnis-Reward-Modelle: Bewerten eine vollständige Antwort oder Episode und sind die übliche Wahl bei RLHF.
• Prozess-Reward-Modelle: Bewerten jeden Zwischenschritt einer Lösung. Der PRM800K-Datensatz von OpenAI enthält 800.000 menschliche Labels auf Ebene einzelner Lösungsschritte für mathematische Aufgaben.
• Generative Reward-Modelle: Ein als Prüfer eingesetztes LLM verfasst eine Kritik oder ein Urteil. So kann ein einzelnes Modell viele Arten von Aufgaben bewerten und seine Punktwerte begründen.
• Implizite Reward-Modelle: Direct Preference Optimization (DPO) trainiert die Policy direkt anhand von Präferenzpaaren. Das Verhältnis der Log-Wahrscheinlichkeiten der Policy zu denen ihres Referenzmodells dient dabei als Belohnung.
• Bild-Reward-Modelle: ImageReward wurde anhand von 137.000 Expertenvergleichen generierter Bilder trainiert und wird zur Feinabstimmung von Text-zu-Bild-Modellen verwendet, damit sie ansprechende und promptsgetreue Ergebnisse erzeugen.

Beim Roboterlernen kommt dieselbe Idee mit Bildverarbeitungsmodellen zum Einsatz. Ein Bildklassifikator, der anhand von Kamerabildern trainiert wurde, die Menschen als erfolgreiche oder fehlgeschlagene Versuche markiert haben – etwa eine aufrecht hingestellte oder umgestoßene Tasse –, gibt eine Erfolgswahrscheinlichkeit aus, die als Belohnung für eine Lern-Policy dient. Ein Ultralytics YOLO26-Modell, das mit solchen Bildern und der Klassifikationsaufgabe trainiert wurde, kann diese Rolle übernehmen und jedes Bild eines Versuchs in Millisekunden bewerten.

So bleibt das Reward-Modell genau#

Ein Reward-Modell ist nur bei Ausgaben genau, die seinen Trainingsdaten ähneln. Wenn sich die Policy verbessert, erzeugt sie Antworten, die das Reward-Modell noch nie gesehen hat. Deshalb sammelte das Team von Meta Llama 2 neue Vergleiche zu den Ausgaben des jeweils neuesten Modells und trainierte das Reward-Modell vor jeder neuen Runde des bestärkenden Lernens erneut:

Eine zu starke Optimierung anhand eines beliebigen erlernten Belohnungssignals führt zu Reward Hacking. In OpenAIs Studie zur Überoptimierung von Reward-Modellen wurde ein großes „Gold“-Reward-Modell anstelle menschlicher Bewertender eingesetzt. Dabei stellte sich heraus: Wurde eine Policy anhand eines kleineren Ersatzmodells optimiert, stieg der Gold-Wert zunächst und fiel dann, während der Wert des Ersatzmodells weiter zunahm. Dieser Effekt nahm kontinuierlich ab, je größer das Ersatzmodell war. Reward-Modelle übernehmen außerdem Verzerrungen der Bewertenden, etwa eine Vorliebe für längere oder zustimmendere Antworten. Das bestärkende Lernen verstärkt diese Verzerrungen dann zu Geschwätzigkeit und Schmeichelei. Eine KL-Strafe gegenüber dem ursprünglichen Modell, Ensembles aus Reward-Modellen und regelmäßiges Nachtrainieren mit neuen Vergleichen begrenzen den Schaden.

Reward Modeling im Vergleich zu verwandten Begriffen#

• RLHF: Die gesamte Pipeline aus überwachter Feinabstimmung, Reward Modeling anhand menschlicher Vergleiche und Optimierung durch bestärkendes Lernen. Reward Modeling ist der zweite Schritt.
• Belohnungsfunktion: Eine von Hand geschriebene Belohnung, zum Beispiel +1 für das Erreichen eines Ziels. Ein Reward-Modell wird anhand von Daten gelernt, weil sich die Funktion nicht von Hand formulieren lässt.
• Überprüfbare Belohnungen: Ein Programm vergleicht die Antwort mit einer bekannten Lösung, etwa einem Unit-Test oder einem mathematischen Referenzwert. Solche Belohnungen lassen sich schwerer ausnutzen als ein erlerntes Modell, funktionieren aber nur, wenn die Antworten überprüfbar sind.
• Inverses bestärkendes Lernen: Leitet eine Belohnungsfunktion aus Expertendemonstrationen der Aufgabe ab, während Reward Modeling für RLHF aus Vergleichen menschlicher Bewertungen der eigenen Systemausgaben lernt.