YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Reinforcement Learning with Verifiable Rewards (RLVR)

Reinforcement Learning mit überprüfbaren Belohnungen (RLVR) trainiert Modelle anhand automatischer Prüfungen, etwa durch das Bestehen von Unit-Tests oder den Abgleich mit einer bekannten mathematischen Lösung.

Bestärkendes Lernen mit überprüfbaren Belohnungen (RLVR) ist ein Verfahren, mit dem große Sprachmodelle (LLMs) und andere generative Modelle mithilfe von bestärkendem Lernen trainiert werden. Die Belohnung stammt dabei von einem Programm, das jede Ausgabe mit einem bekannten korrekten Ergebnis abgleicht. Eine mathematische Antwort stimmt entweder mit der Referenz überein oder nicht; erzeugter Code besteht entweder die Unit-Tests oder fällt durch. Diese Prüfungen sind kostengünstig und objektiv, sodass RLVR über viele Tausend Trainingsschritte hinweg eingesetzt werden kann. Das Verfahren ist eine zentrale Technik hinter Reasoning-Modellen, die vor der Antwort eine lange Gedankenkette durchlaufen. AI2 führte die Bezeichnung in seinem Tülu-3-Bericht vom November 2024 ein. DeepSeek-R1 machte das Verfahren im Januar 2025 weithin bekannt: Das Modell R1-Zero erlernte allein durch regelbasierte Belohnungen für Genauigkeit und Format ein starkes schrittweises Schlussfolgern, ohne vorheriges überwachtes Feinabstimmen.

So funktioniert RLVR#

Das Training beginnt mit einem vortrainierten, meist instruktionsoptimierten Modell und einer Reihe von Eingabeaufforderungen, deren Antworten sich per Programm überprüfen lassen. Für jede Eingabeaufforderung erzeugt das Modell mehrere Antworten. Ein Prüfprogramm bewertet jede davon, und ein Richtliniengradientenverfahren wie die proximale Richtlinienoptimierung (PPO) oder die gruppenrelative Richtlinienoptimierung (GRPO) erhöht die Wahrscheinlichkeit von Antworten, die besser als erwartet bewertet wurden. Bei GRPO bedeutet das: besser als der Durchschnitt der Gruppe. Die Wahrscheinlichkeit der übrigen Antworten wird gesenkt. Beschränkungen und bei vielen Trainingsrezepten zusätzlich eine KL-Strafe halten das aktualisierte Modell nahe an seinem Ausgangszustand. Das Modell erhält nie eine ausgearbeitete Lösung zu sehen, sondern lernt nur, welche seiner eigenen Versuche erfolgreich waren. Jedes gestärkte Schlussfolgerungsmuster hat es daher selbst hervorgebracht.

Das Prüfprogramm und der Gruppenvergleich lassen sich mit wenigen Zeilen umsetzen. Dieses Beispiel bewertet vier Stichprobenantworten auf eine mathematische Eingabeaufforderung, indem es die endgültige Antwort aus einem \boxed{}-Tag extrahiert – dem von DeepSeek-R1 für Mathematik verlangten Antwortformat – und anschließend die gruppenrelativen Vorteile nach GRPO berechnet:

import re

import numpy as np

reference = "42"  # bekannte Antwort auf die Trainingseingabe
completions = [  # eine Gruppe von Stichprobenantworten auf dieselbe Eingabeaufforderung
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # richtige Zahl, aber keine endgültige Antwort im erforderlichen Format
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# Prüfprogramm: endgültige Antwort in der Box extrahieren und mit der Referenz vergleichen
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# Vorteile nach GRPO-Art: jede Belohnung relativ zum Gruppenmittelwert, skaliert mit der Standardabweichung der Gruppe
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

Die Ausgabe zeigt Belohnungen von [1. 0. 0. 1.] und Vorteile von [ 1. -1. -1. 1.]. Die beiden richtigen Antworten werden verstärkt. Die dritte Antwort wird abgewertet, obwohl sie 42 enthält, weil sie keine endgültige Antwort im erforderlichen Format angibt.

Was eine Belohnung überprüfbar macht#

Für eine überprüfbare Belohnung braucht es eine Referenzlösung und ein Programm, das die Ausgabe mit ihr vergleicht. Zu den gängigen Prüfverfahren gehören:

  • Mathematische Antworten: Die endgültige Antwort wird ausgelesen und nach der Vereinheitlichung gleichwertiger Formen wie 1/2 und 0.5 mit der Referenz verglichen. Bibliotheken wie Math-Verify übernehmen diese Aufgabe.
  • Code: Erzeugte Programme werden in einer isolierten Umgebung anhand von Unit-Tests ausgeführt. Die Belohnung richtet sich danach, ob oder zu welchem Anteil die Tests bestanden werden.
  • Befolgen von Anweisungen: Ein Programm kann Vorgaben wie eine Wortbegrenzung, erforderliche Schlüsselwörter oder gültiges JSON überprüfen. Tülu 3 setzte RLVR neben Mathematik auch für diese Art des präzisen Befolgens von Anweisungen ein.
  • Format: Eine kleine Belohnung gibt es dafür, Schlussfolgerungen und endgültige Antwort in den erwarteten Tags zu platzieren. DeepSeek-R1 kombinierte diese Formatbelohnung mit seiner Genauigkeitsbelohnung.
  • Visuelle Aufgaben: Die Schnittmenge geteilt durch die Vereinigung beschrifteter Boxen bewertet Antworten zur Verankerung in Bildern; Objektdetektoren prüfen erzeugte Bilder.

GenEval nutzt einen Objektdetektor, um zu prüfen, ob ein erzeugtes Bild die von der Eingabeaufforderung verlangten Objekte, Anzahlen, Farben und Positionen enthält. Flow-GRPO verwendete solche regelbasierten Bewertungen als Belohnung und steigerte damit die GenEval-Genauigkeit von Stable Diffusion 3.5 Medium von 63 % auf 95 %. Ein Ultralytics YOLO26-Detektor kann als dieselbe Art von Prüfprogramm dienen und eine Eingabeaufforderung wie „vier Personen an einer Bushaltestelle“ in eine Zählbelohnung umwandeln:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVR im Vergleich zu RLHF und Belohnungen für Prozessschritte#

RLVR ergänzt andere Verfahren, mit denen Feedback in ein Trainingssignal umgewandelt wird:

  • Bestärkendes Lernen aus menschlichem Feedback (RLHF): Ein anhand menschlicher Präferenzvergleiche erlerntes Belohnungsmodell bewertet die Ausgaben. Es erfasst subjektive Eigenschaften wie Tonfall und Hilfsbereitschaft, doch ein erlerntes Bewertungsmodell hat blinde Flecken, die eine Richtlinie ausnutzen kann. Deshalb verzichtete DeepSeek-R1 beim Schlussfolgern auf neuronale Belohnungsmodelle. In der letzten Trainingsphase kombinierte das Modell regelbasierte Belohnungen für Schlussfolgerungsaufgaben mit erlernten Belohnungsmodellen für allgemeine Aufgaben.
  • Prozessbelohnungsmodelle (PRMs): Diese bewerten jeden Zwischenschritt beim Schlussfolgern. RLVR belohnt in der Regel nur das Endergebnis, das kostengünstiger zu ermitteln und schwerer zu manipulieren ist.
  • Direkte Präferenzoptimierung (DPO): DPO lernt offline anhand fester Paare aus bevorzugten und abgelehnten Antworten, ohne während des Trainings Stichproben zu erzeugen oder Prüfprogramme einzusetzen.

Trainingsabläufe wählen die Quelle der Belohnung häufig für jede Eingabeaufforderung einzeln aus. Wenn weder ein Prüfprogramm noch menschliche Beschriftungen verfügbar sind, greifen sie auf KI-Feedback nach dem Vorbild von Constitutional AI zurück:

Stärken und Grenzen#

Da die Belohnung keine Einbindung von Menschen erfordert, lässt sich RLVR mit Rechenleistung und einem Angebot überprüfbarer Aufgaben skalieren. Außerdem entstehen Verhaltensweisen, die niemand vorgegeben hat: Die Antworten von DeepSeek-R1-Zero wurden im Lauf des Trainings immer länger, als das Modell lernte, seine Arbeit erneut zu prüfen und zu überarbeiten. Bibliotheken wie der TRL-GRPO-Trainer von Hugging Face unterstützen benutzerdefinierte Belohnungsfunktionen, sodass sich jedes Prüfverfahren wie die oben genannten direkt einbinden lässt.

Das Verfahren ist auf Aufgaben mit überprüfbaren Antworten beschränkt, und ein schwaches Prüfprogramm begünstigt Belohnungsmanipulation: Ein für bestandene Tests belohntes Codierungsmodell kann lernen, Sonderfälle zu behandeln oder die Tests zu ändern, statt den Code zu korrigieren. Forschende sind sich außerdem uneinig darüber, was RLVR tatsächlich bewirkt. Eine Studie von 2025 zu mit RLVR trainierten Modellen ergab, dass diese ihre Basismodelle bei einem Versuch pro Aufgabe übertrafen. Waren jedoch viele Versuche erlaubt, lösten die Basismodelle mehr Aufgaben. Das deutet darauf hin, dass RLVR vor allem die Wahrscheinlichkeit von Lösungen erhöht, die das Basismodell bereits hervorbringen konnte. Eine Folgestudie wertete eine Stichprobe nur dann als richtig, wenn sowohl die Antwort als auch die zugehörige Gedankenkette korrekt waren. Nach diesem Maß, CoT-Pass@K, lag ein mit RLVR trainiertes Qwen2.5-32B bei AIME 2024 und AIME 2025 für jedes K bis 1.024 weiterhin vor seinem Basismodell.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens