Process Reward Model (PRM)

Un modello di ricompensa del processo (PRM) è un modello di ricompensa che assegna un punteggio a ogni passaggio intermedio di una soluzione, di solito in base alla probabilità che il passaggio sia corretto, invece di valutare solo la risposta finale. Un modello di ricompensa del risultato (ORM) giudica una soluzione completa in base al risultato: può quindi premiare una risposta corretta ottenuta tramite passaggi errati e non segnala dove una soluzione sbagliata ha deviato dal percorso corretto. I PRM classificano e guidano le soluzioni candidate dei modelli linguistici di grandi dimensioni (LLM) e dei modelli di ragionamento in fase di inferenza, e forniscono ricompense a livello di passaggio per l'apprendimento per rinforzo. Nel 2022 i ricercatori di DeepMind hanno confrontato i due tipi di supervisione nei problemi di matematica delle scuole medie: il feedback basato sul risultato ha raggiunto un tasso di errore finale simile con meno etichette, ma il feedback basato sul processo era necessario per ridurre dal 14,0% al 3,4% gli errori di ragionamento nelle soluzioni con risposte corrette.

Verifichiamo passo dopo passo#

L'articolo di OpenAI del 2023 Let's Verify Step by Step ha reso ampiamente noti i PRM. Annotatori umani hanno etichettato circa 800.000 passaggi di 75.000 soluzioni a 12.000 problemi del dataset della competizione MATH come positivi, negativi o neutri; OpenAI ha pubblicato le etichette come PRM800K. Selezionando la migliore di 1.860 soluzioni campionate da un generatore basato su GPT-4, il PRM ha risolto il 78,2% di un sottoinsieme rappresentativo del set di test MATH, contro il 72,4% di un ORM e il 69,6% del voto di maggioranza. Agli annotatori sono state mostrate soluzioni che l'attuale PRM valutava molto positivamente, ma che arrivavano a una risposta errata: una forma di apprendimento attivo che ha reso l'etichettatura circa 2,6 volte più efficiente in termini di dati.

Come si addestra un PRM#

Di solito un PRM è un LLM sottoposto a fine-tuning per prevedere, alla fine di ogni passaggio, se quel passaggio è corretto; viene addestrato con una funzione di loss di entropia incrociata rispetto alle etichette dei passaggi. L'etichettatura dei dati da parte di persone a questo livello di dettaglio è costosa, quindi Math-Shepherd, pubblicato nel dicembre 2023, ha generato automaticamente le etichette: da ogni passaggio ha campionato diverse continuazioni e l'ha etichettato in base al fatto che queste raggiungessero o meno la risposta corretta nota. Usare quel PRM per assegnare una ricompensa a ogni passaggio durante l'addestramento PPO ha portato l'accuratezza di Mistral-7B su GSM8K dal 77,9% all'84,1% e quella su MATH dal 28,6% al 33,0%. Le etichette automatiche sono però rumorose: uno studio del 2025 del team Qwen di Alibaba ha rilevato che queste stime Monte Carlo producono PRM meno efficaci rispetto alle etichette umane o a quelle generate da un LLM che funge da giudice; il team ha pubblicato ProcessBench, un benchmark che misura quanto bene un PRM individua il primo passaggio errato.

Uso dei punteggi PRM#

In fase di inferenza, un PRM trasforma i punteggi dei passaggi in una scelta. Il campionamento best-of-N genera diverse soluzioni complete e mantiene quella con il punteggio aggregato migliore; in Let's Verify Step by Step sono state moltiplicate le probabilità dei passaggi e il punteggio minimo dei passaggi ha fornito prestazioni pressoché equivalenti:

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

La soluzione B ha il passaggio finale più affidabile, con un punteggio di 0,98, ma il suo secondo passaggio ottiene 0,24, perciò il prodotto scende a 0,224 e il valore minimo a 0,24; il PRM seleziona quindi la soluzione A, con un prodotto pari a 0,806. Se si fosse usato solo il passaggio finale per la classificazione, sarebbe stata scelta B. Anche l'addestramento di Ultralytics YOLO valuta ogni passaggio intermedio di un'esecuzione, non solo quello finale: con il valore predefinito val=True, l'addestratore convalida il modello dopo ogni epoca, assegna ai pesi un punteggio di fitness pari a mAP50-95 per il rilevamento e salva l'epoca con il punteggio migliore come best.pt accanto all'ultimo last.pt.

Un PRM può anche guidare la ricerca prima che una soluzione sia completa. La ricerca beam mantiene solo le soluzioni parziali con il punteggio più alto a ogni passaggio; la ricerca ad albero Monte Carlo (MCTS) usa gli stessi punteggi per decidere quali rami espandere; uno studio sullo scaling del calcolo in fase di test di Google DeepMind e UC Berkeley ha rilevato che scegliere il metodo di ricerca PRM in base alla difficoltà del problema raggiunge risultati pari al campionamento best-of-N con un calcolo in fase di test fino a quattro volte inferiore:

Limiti e termini correlati#

Il team di DeepSeek-R1 ha sperimentato i PRM, ma li ha abbandonati per tre motivi: in generale è difficile definire con precisione un passaggio nel ragionamento, è difficile automatizzare la valutazione della correttezza di un passaggio intermedio ed è costoso etichettare i passaggi a mano; inoltre, un PRM appreso incentiva il reward hacking durante l'addestramento su larga scala. DeepSeek-R1 ha invece appreso tramite la Group Relative Policy Optimization (GRPO) usando verifiche basate su regole della risposta finale, un approccio noto come apprendimento per rinforzo con ricompense verificabili (RLVR). I modelli di ricompensa nell'apprendimento per rinforzo dal feedback umano (RLHF) valutano risposte complete sulla base di confronti tra preferenze umane, quindi sono modelli di ricompensa del risultato per il testo a risposta aperta. Un PRM controlla i passaggi mentre viene scritto un ragionamento concatenato, mentre la catena di verifica (CoVe) prevede che un modello controlli la propria risposta completa formulando e rispondendo a domande di verifica.