Reinforcement Learning from Human Feedback (RLHF)

Reinforcement Learning aus menschlichem Feedback (RLHF) ist eine Trainingsmethode, die ein KI-Modell anhand menschlicher Bewertungen seiner Ausgaben verbessert, statt ein von Hand geschriebenes Ziel zu verwenden. Menschliche Bewerter vergleichen Paare oder Gruppen von Modellantworten. Ein Belohnungsmodell lernt vorherzusagen, welche Antwort sie bevorzugen würden, und anschließend feinabstimmt Reinforcement Learning das ursprüngliche Modell so, dass es Antworten erzeugt, die vom Belohnungsmodell hoch bewertet werden. RLHF gibt es, weil Menschen Eigenschaften wie Hilfsbereitschaft, Ehrlichkeit und Ton leicht erkennen können, die sich aber kaum als Verlustfunktion formulieren lassen. 2017 nutzten Christiano et al. die Methode, um Agenten anhand von etwa einer Stunde menschlicher Vergleiche neuartige Verhaltensweisen in Atari-Spielen und Robotersimulationen beizubringen. Nach OpenAIs InstructGPT und ChatGPT wurde sie 2022 zur üblichen letzten Trainingsstufe für große Sprachmodelle (LLMs) und andere Systeme der generativen KI.

So funktioniert RLHF#

Das klassische, im InstructGPT-Paper beschriebene Verfahren umfasst drei Stufen:

1. Überwachtes Feinabstimmen (SFT): Ein vortrainiertes Basismodell wird anhand von Beispielen feinabgestimmt, die Menschen verfasst haben, etwa guten Antworten auf Beispiel-Prompts. So lernt es das erwartete Format und den passenden Ton.
2. Training des Belohnungsmodells: Das SFT-Modell generiert mehrere Antworten pro Prompt, die anschließend von menschlichen Bewertern eingestuft werden. Die rund 40 Auftragnehmer von InstructGPT stuften jeweils 4 bis 9 Antworten pro Prompt ein. Eine Kopie des Modells mit einer einzigen skalaren Ausgabe wird darauf trainiert, bevorzugten Antworten höhere Werte als abgelehnten Antworten zuzuweisen.
3. Reinforcement Learning: Das SFT-Modell wird zu einer Richtlinie und wird mit Proximal Policy Optimization (PPO) optimiert, um den Wert des Belohnungsmodells zu maximieren, abzüglich einer Strafe, die proportional zur KL-Divergenz gegenüber dem SFT-Modell ist. Die Strafe hält die Richtlinie in der Nähe flüssiger Texte, die das Belohnungsmodell kennt, und verhindert, dass sie zu ungewöhnlichen Ausgaben abdriftet, die das Belohnungsmodell zufällig überbewertet.

Der KL-Koeffizient, üblicherweise als β geschrieben, legt fest, wie weit sich die Richtlinie ändern darf. Für das KL-regularisierte Ziel gibt es ein exaktes Optimum: die Referenzwahrscheinlichkeiten, gewichtet mit der Exponentialfunktion aus Belohnung geteilt durch β. Dieses NumPy-Beispiel berechnet es für vier mögliche Antworten:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

Es gibt eine Richtlinie aus [0.46 0.3 0.17 0.07] bei β = 10 aus, die der Referenz fast entspricht, und [0. 0. 0. 1.] bei β = 0.1, wobei sich die gesamte Wahrscheinlichkeit auf die Antwort verlagert, der das Referenzmodell nur 5 % zugewiesen hat; die KL-Divergenz beträgt dabei 3.00. Ein kleines β bringt den höchsten Wert des Belohnungsmodells. Bewertet das Belohnungsmodell diese seltene Antwort zu hoch, lernt die Richtlinie jedoch, einen Fehler auszunutzen, statt Menschen zufriedenzustellen. Direct Preference Optimization (DPO) nutzt dasselbe geschlossene Optimum, um direkt anhand von Präferenzpaaren zu trainieren – ohne separates Belohnungsmodell oder RL-Schleife.

Einsatzgebiete von RLHF#

• Chat-Assistenten: Die Bewerter von InstructGPT bevorzugten die Ausgaben des RLHF-Modells mit 1,3 Milliarden Parametern gegenüber denen des GPT-3-Modells mit 175 Milliarden Parametern. Die Chatmodelle Llama 2 von Meta wurden anhand zweier separater Belohnungsmodelle abgestimmt: eines für Hilfsbereitschaft und eines für Sicherheit.
• Zusammenfassung: OpenAIs 2020 mit menschlichem Feedback trainierte Zusammenfassungsmodelle erzeugten Zusammenfassungen, die Bewerter den von Menschen verfassten Referenzzusammenfassungen in ihrem Datensatz vorzogen.
• Bildgenerierung: Belohnungsmodelle, die anhand menschlicher Bewertungen generierter Bilder trainiert wurden, dienen dazu, Text-zu-Bild-Modelle so feinabzustimmen, dass sie Prompts getreu umsetzen und ansprechende Bilder erzeugen.
• Robotik und Regelung: Bei Aufgaben, deren Erfolg sich leicht beurteilen, aber schwer definieren lässt – etwa bei einem natürlich wirkenden Gang oder einer sicheren Route durch eine Menschenmenge –, vergleichen Menschen kurze Videoclips der Roboterversuche, statt eine Belohnungsfunktion zu formulieren.

Multimodale Sprach-Bild-Modelle großer Anbieter erhalten dieselbe Präferenzabstimmung wie Text-Chatbots. In Ultralytics Platform Agents entscheidet ein Ultralytics YOLO26-Detektor, welche Bilder genauer betrachtet werden müssen. Anschließend beschreibt eines dieser Modelle, etwa Google Gemini, die Bilder anhand des Prompts im Arbeitsablauf.

Einschränkungen#

Das Beschriften von Präferenzdaten durch Menschen ist langsam und teuer, und die Bewerter sind sich untereinander uneinig. Daher lernt das Belohnungsmodell einen Durchschnitt ihrer Vorlieben samt ihren blinden Flecken. Bewerter belohnen außerdem selbstsicher und zustimmend formulierte Antworten: Eine Studie von Anthropic mit fünf Assistenten ergab, dass Präferenzdaten Antworten bevorzugen, die den ausdrücklich geäußerten Ansichten der Nutzer entsprechen – eine Ursache für Schmeichelei durch KI. Eine intensive Optimierung anhand eines erlernten Belohnungssignals führt schließlich zu Reward Hacking: Der Wert des Belohnungsmodells steigt weiter, während die tatsächliche Qualität sinkt.

RLHF im Vergleich zu verwandten Methoden#

• Klassisches Reinforcement Learning: Die Umgebung gibt eine feste Belohnung vor, etwa die Punktzahl in einem Spiel. RLHF lernt die Belohnung anhand menschlicher Bewertungen, weil kein festes Belohnungssignal das Ziel vollständig erfasst.
• Belohnungsmodellierung: Das Belohnungsmodell ist eine Komponente von RLHF. Es ist das Netz, das menschliche Rangfolgen in einen Wert umwandelt, den der RL-Algorithmus optimieren kann.
• Constitutional AI: Statt Menschen erstellt ein KI-Modell anhand schriftlicher Grundsätze die Präferenzbewertungen. Diese Variante heißt Reinforcement Learning aus KI-Feedback (RLAIF).
• Reinforcement Learning mit überprüfbaren Belohnungen (RLVR): Ein Programm prüft jede Antwort, etwa ein Matheergebnis oder einen Unit-Test, und liefert die Belohnung. RLVR trainiert Schlussfolgerungsmodelle üblicherweise mit Group Relative Policy Optimization (GRPO). Moderne Nachtrainingsabläufe verwenden beide Verfahren: überprüfbare Belohnungen, wenn ein Prüfer verfügbar ist, und Belohnungsmodelle nach Art von RLHF für offene Prompts.