Process Reward Model (PRM)

Ein Prozessbelohnungsmodell (PRM) ist ein Belohnungsmodell, das jeden Zwischenschritt einer Lösung bewertet, üblicherweise anhand der Wahrscheinlichkeit, dass der Schritt richtig ist, statt nur die endgültige Antwort zu bewerten. Ein Ergebnisbelohnungsmodell (ORM) beurteilt eine vollständige Lösung anhand ihres Ergebnisses. Es kann daher eine richtige Antwort belohnen, die über falsche Schritte erreicht wurde, und gibt keinen Hinweis darauf, an welcher Stelle eine falsche Lösung vom richtigen Weg abkam. PRMs ordnen mögliche Lösungen von großen Sprachmodellen (LLMs) und Reasoning-Modellen und lenken sie zur Inferenzzeit. Außerdem liefern sie schrittweise Belohnungen für bestärkendes Lernen. DeepMind-Forschende verglichen 2022 die beiden Arten der Überwachung anhand von Grundschulmathematik: Rückmeldungen zum Ergebnis erreichten mit weniger Beschriftungsaufwand eine ähnliche Fehlerquote bei den endgültigen Antworten. Rückmeldungen zu den einzelnen Schritten waren jedoch nötig, um den Anteil falscher Schlussfolgerungen in Lösungen mit richtiger Antwort von 14,0 % auf 3,4 % zu senken.

Lass uns Schritt für Schritt überprüfen#

OpenAIs Paper Lass uns Schritt für Schritt überprüfen aus dem Jahr 2023 machte PRMs allgemein bekannt. Menschliche Annotatoren markierten etwa 800.000 Schritte aus 75.000 Lösungen zu 12.000 Aufgaben des Wettbewerbsdatensatzes MATH als positiv, negativ oder neutral. OpenAI veröffentlichte die Beschriftungen unter dem Namen PRM800K. Das PRM wählte aus 1.860 vom GPT-4-basierten Generator erzeugten Lösungen die beste aus und löste damit 78,2 % einer repräsentativen Teilmenge des MATH-Testsatzes. Ein ORM erreichte 72,4 %, Mehrheitsentscheidung 69,6 %. Den Annotatoren wurden Lösungen gezeigt, die das aktuelle PRM hoch bewertete, die aber zu einer falschen Antwort führten. Diese Form des aktiven Lernens machte die Beschriftung etwa 2,6-mal dateneffizienter.

So wird ein PRM trainiert#

Ein PRM ist üblicherweise ein feinabgestimmtes LLM, das vorhersagt, ob ein Schritt korrekt ist, sobald dieser endet. Trainiert wird es mit einer Kreuzentropie-Verlustfunktion anhand von Schrittbeschriftungen. Eine Datenbeschriftung durch Menschen ist in diesem Detailgrad teuer. Deshalb erstellte Math-Shepherd, veröffentlicht im Dezember 2023, die Beschriftungen automatisch: Für jeden Schritt wurden mehrere Fortsetzungen erzeugt. Der Schritt wurde danach beschriftet, ob diese Fortsetzungen die bekannte richtige Antwort erreichten. Wurde dieses PRM während des PPO-Trainings zur Belohnung jedes Schritts eingesetzt, stieg die Genauigkeit von Mistral-7B bei GSM8K von 77,9 % auf 84,1 % und bei MATH von 28,6 % auf 33,0 %. Automatisch erzeugte Beschriftungen sind jedoch ungenau: Eine Studie des Qwen-Teams von Alibaba aus dem Jahr 2025 stellte fest, dass PRMs mit solchen Monte-Carlo-Schätzungen schwächer waren als PRMs mit menschlichen Beschriftungen oder Beschriftungen eines als Richter eingesetzten LLM. Das Team veröffentlichte außerdem ProcessBench, einen Benchmark dafür, wie gut ein PRM den ersten falschen Schritt findet.

PRM-Werte verwenden#

Bei der Inferenz werden aus den Schrittbewertungen eines PRM konkrete Entscheidungen. Beim Best-of-N-Sampling werden mehrere vollständige Lösungen erzeugt und die Lösung mit dem besten Gesamtwert ausgewählt. In „Lass uns Schritt für Schritt überprüfen“ wurden die Schrittwahrscheinlichkeiten miteinander multipliziert. Das Ergebnis war ungefähr genauso gut wie bei der Verwendung des niedrigsten Schrittwerts:

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

Lösung B hat mit 0,98 den sichersten letzten Schritt. Ihr zweiter Schritt erhält jedoch nur 0,24. Dadurch fällt ihr Produkt auf 0,224 und ihr niedrigster Wert auf 0,24. Das PRM wählt daher Lösung A mit einem Produkt von 0,806 aus. Würde nur der letzte Schritt bewertet, wäre B gewählt worden. Beim Training von Ultralytics YOLO wird jeder Zwischenschritt eines Laufs ebenfalls bewertet, nicht nur das Ende: Mit dem Standardwert val=True führt der Trainer nach jeder Epoche eine Validierung durch, bewertet die Gewichte anhand eines Fitnesswerts, der bei der Erkennung mAP50-95 entspricht, und speichert die Epoche mit dem besten Ergebnis als best.pt neben dem endgültigen last.pt.

Ein PRM kann die Suche auch lenken, bevor eine Lösung fertiggestellt ist. Bei der Strahlsuche bleiben in jedem Schritt nur die am höchsten bewerteten Teillösungen erhalten. Die Monte-Carlo-Baumsuche (MCTS) verwendet dieselben Werte, um zu entscheiden, welche Zweige erweitert werden. Eine Studie zur Skalierung des Rechenaufwands zur Testzeit von Google DeepMind und UC Berkeley zeigte, dass die Wahl der PRM-Suchmethode je nach Schwierigkeit der Aufgabe mit bis zu viermal weniger Rechenaufwand zur Testzeit genauso gut abschnitt wie Best-of-N-Sampling:

Grenzen und verwandte Begriffe#

Das DeepSeek-R1-Team erprobte PRMs und verwarf sie aus drei Gründen: Bei allgemeinem Schlussfolgern ist ein fein abgegrenzter Schritt schwer zu definieren, die Korrektheit eines Zwischenschritts lässt sich nur schwer automatisiert beurteilen und von Hand kostspielig beschriften, und ein gelerntes PRM lädt beim Training im großen Maßstab zu Belohnungsausnutzung ein. Stattdessen lernte DeepSeek-R1 mit Group Relative Policy Optimization (GRPO) anhand regelbasierter Prüfungen der endgültigen Antwort. Dieser Ansatz ist als bestärkendes Lernen mit überprüfbaren Belohnungen (RLVR) bekannt. Die Belohnungsmodelle beim bestärkenden Lernen aus menschlichem Feedback (RLHF) bewerten vollständige Antworten anhand von Vergleichen menschlicher Präferenzen. Bei offenen Textaufgaben sind sie daher Ergebnisbelohnungsmodelle. Ein PRM prüft Schritte, während eine Gedankenkette verfasst wird. Bei der Kette der Überprüfung (CoVe) prüft ein Modell seine fertige Antwort selbst, indem es Fragen zur Überprüfung stellt und beantwortet.