Process Reward Model (PRM)

Un modèle de récompense de processus (PRM) est un modèle de récompense qui évalue chaque étape intermédiaire d'une solution, généralement selon la probabilité que l'étape soit correcte, au lieu de noter uniquement la réponse finale. Un modèle de récompense de résultat (ORM) juge une solution dans son ensemble en fonction du résultat ; il peut donc récompenser une bonne réponse obtenue au moyen d'étapes erronées et n'indique pas à quel moment une mauvaise solution a déraillé. Les PRM classent et guident les solutions candidates des grands modèles de langage (LLM) et des modèles de raisonnement à l'inférence, et fournissent des récompenses au niveau des étapes pour l'apprentissage par renforcement. En 2022, des chercheurs de DeepMind ont comparé les deux types de supervision sur des problèmes de mathématiques du primaire : la rétroaction fondée sur les résultats a atteint un taux d'erreur final similaire avec moins d'annotations, mais la rétroaction fondée sur le processus était nécessaire pour faire passer de 14.0 % à 3.4 % les erreurs de raisonnement dans les solutions dont la réponse était correcte.

Vérifions étape par étape#

L'article d'OpenAI de 2023 Let's Verify Step by Step a fait connaître les PRM. Des annotateurs humains ont marqué environ 800 000 étapes issues de 75 000 solutions à 12 000 problèmes du jeu de données du concours MATH comme positives, négatives ou neutres ; OpenAI a publié ces annotations sous le nom PRM800K. En sélectionnant la meilleure parmi 1 860 solutions échantillonnées depuis un générateur basé sur GPT-4, le PRM a résolu 78.2 % d'un sous-ensemble représentatif du jeu de test MATH, contre 72.4 % pour un ORM et 69.6 % pour un vote majoritaire. Les annotateurs ont vu des solutions auxquelles le PRM actuel attribuait un score élevé, mais qui aboutissaient à une réponse erronée : cette forme d'apprentissage actif a rendu l'annotation environ 2,6 fois plus efficace en données.

Entraînement d'un PRM#

Un PRM est généralement un LLM ajusté finement pour prédire, à la fin de chaque étape, si cette étape est correcte ; il est entraîné à l’aide d’une fonction de perte d’entropie croisée calculée par rapport aux étiquettes des étapes. L’annotation des données par des humains à ce niveau de détail coûte cher ; Math-Shepherd, publié en décembre 2023, a donc construit les PRM automatiquement : pour chaque étape, il a échantillonné plusieurs complétions et a étiqueté l’étape selon que ces complétions aboutissaient ou non à la réponse correcte connue. L’utilisation de ce PRM pour récompenser chaque étape pendant l’entraînement PPO a fait passer la précision de Mistral-7B sur GSM8K de 77,9 % à 84,1 %, et sa précision sur MATH de 28,6 % à 33,0 %. Les étiquettes automatiques sont toutefois bruitées : une étude de 2025 menée par l’équipe Qwen d’Alibaba a constaté que les PRM entraînés à partir de ces estimations de Monte-Carlo étaient moins performants que ceux entraînés à partir d’étiquettes humaines ou d’étiquettes produites par un LLM faisant office de juge, et l’équipe a publié ProcessBench, un jeu d’évaluation mesurant la capacité d’un PRM à repérer la première étape erronée.

Utilisation des scores PRM#

À l'inférence, un PRM transforme les scores des étapes en choix. L'échantillonnage best-of-N génère plusieurs solutions complètes et conserve celle qui a le meilleur score agrégé ; dans Let's Verify Step by Step, les probabilités des étapes étaient multipliées et le score minimal des étapes donnait des résultats à peu près équivalents :

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

La dernière étape de la solution B est la plus sûre, avec un score de 0.98, mais sa deuxième étape obtient 0.24 ; son produit tombe donc à 0.224 et son minimum à 0.24, si bien que le PRM sélectionne la solution A, dont le produit est de 0.806. Un classement fondé uniquement sur la dernière étape aurait choisi B. L'entraînement d'Ultralytics YOLO évalue de même chaque étape intermédiaire d'une exécution, et pas seulement le résultat final : avec la valeur par défaut val=True, l'entraîneur effectue une validation après chaque époque, évalue les poids avec une valeur de fitness égale à mAP50-95 pour la détection, et enregistre l'époque ayant obtenu le meilleur score sous le nom best.pt, à côté du fichier final last.pt.

Un PRM peut aussi guider la recherche avant qu'une solution soit terminée. La recherche par faisceau ne conserve à chaque étape que les solutions partielles ayant les meilleurs scores, la recherche arborescente de Monte-Carlo (MCTS) utilise les mêmes scores pour choisir les branches à développer, et une étude de Google DeepMind et de l'UC Berkeley sur le passage à l'échelle du calcul au moment du test a montré que choisir la méthode de recherche PRM en fonction de la difficulté du problème égalait l'échantillonnage best-of-N avec jusqu'à quatre fois moins de calcul au moment du test :

Limites et termes connexes#

L'équipe DeepSeek-R1 a essayé les PRM, puis les a abandonnés pour trois raisons : il est difficile de définir une étape fine dans le raisonnement général, il est difficile d'automatiser le jugement de la correction d'une étape intermédiaire et coûteux de l'annoter manuellement, et un PRM appris ouvre la voie au piratage de récompense lors d'un entraînement à grande échelle. DeepSeek-R1 a plutôt appris par optimisation de politique relative au groupe (GRPO), en s'appuyant sur des vérifications fondées sur des règles de la réponse finale ; cette approche est appelée apprentissage par renforcement à partir de récompenses vérifiables (RLVR). Les modèles de récompense de l'apprentissage par renforcement à partir de retours humains (RLHF) notent des réponses entières à partir de comparaisons de préférences humaines, ce qui en fait des modèles de récompense de résultat pour le texte ouvert. Un PRM vérifie les étapes au fil de la rédaction d'une chaîne de pensée, tandis que la chaîne de vérification (CoVe) consiste à demander à un modèle de vérifier sa réponse finale en posant et en répondant à des questions de vérification.