Reinforcement Learning with Verifiable Rewards (RLVR)
L'apprendimento per rinforzo con ricompense verificabili (RLVR) addestra i modelli usando controlli automatici, come il superamento di test unitari o la corrispondenza con una risposta matematica nota.
L'apprendimento per rinforzo con ricompense verificabili (RLVR) è un metodo per addestrare modelli linguistici di grandi dimensioni (LLM) e altri modelli generativi con l'apprendimento per rinforzo, in cui la ricompensa proviene da un programma che confronta ogni output con un risultato corretto noto. Una risposta matematica o corrisponde al riferimento oppure no; il codice generato supera i test unitari oppure non li supera. Queste verifiche sono economiche e oggettive, quindi RLVR può funzionare per migliaia di passaggi di addestramento ed è una tecnica fondamentale alla base dei modelli di ragionamento che sviluppano una lunga catena di pensiero prima di rispondere. AI2 ha dato un nome al metodo nel rapporto Tülu 3 del novembre 2024; DeepSeek-R1 gli ha dato ampia visibilità nel gennaio 2025, quando il suo modello R1-Zero ha appreso un solido ragionamento passo per passo usando solo ricompense basate su accuratezza e formato definite da regole, senza prima ricorrere al fine-tuning supervisionato.
Come funziona RLVR#
L'addestramento parte da un modello preaddestrato, in genere ottimizzato per seguire istruzioni, e da una serie di prompt le cui risposte possono essere verificate da un programma. Per ogni prompt il modello campiona diverse risposte, un verificatore assegna un punteggio a ciascuna e un algoritmo del gradiente della politica come l'ottimizzazione prossimale della politica (PPO) o l'ottimizzazione della politica relativa al gruppo (GRPO) aumenta la probabilità delle risposte con un punteggio superiore alle aspettative — in GRPO, superiore alla media del gruppo — e riduce quella delle altre. Il clipping e, in molte ricette, una penalità KL mantengono il modello aggiornato vicino al punto di partenza. Il modello non vede mai una soluzione svolta: apprende solo quali dei suoi tentativi hanno avuto successo, quindi ogni schema di ragionamento che rafforza è stato prodotto da lui stesso.
Il verificatore e il confronto tra gruppi si esprimono in poche righe. Questo esempio assegna un punteggio a quattro risposte campionate per un prompt matematico, estraendo la risposta finale da un tag \boxed{}, il formato di risposta che DeepSeek-R1 richiedeva per la matematica, e poi calcola i vantaggi relativi al gruppo di GRPO:
import re
import numpy as np
reference = "42" # risposta nota al prompt di addestramento
completions = [ # un gruppo di risposte campionate per lo stesso prompt
"6 * 7 = 42, so the answer is \\boxed{42}",
"Adding the terms gives \\boxed{41}",
"The product is 42.", # numero corretto, ma senza risposta finale nel formato richiesto
"Check: 7 * 6 = 42. \\boxed{42}",
]
# Verificatore: estrai la risposta finale in riquadro e confrontala con il riferimento
rewards = []
for text in completions:
match = re.search(r"\\boxed\{([^}]*)\}", text)
rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)
# Vantaggi in stile GRPO: ogni ricompensa rispetto alla media del gruppo, scalata in base alla deviazione standard del gruppo
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))Stampa ricompense pari a [1. 0. 0. 1.] e vantaggi pari a [ 1. -1. -1. 1.]. Le due risposte corrette vengono rinforzate, mentre la terza viene penalizzata anche se contiene 42, perché non fornisce mai una risposta finale nel formato richiesto.
Cosa rende verificabile una ricompensa#
Una ricompensa verificabile richiede una verità di riferimento e un programma che confronti l'output con essa. Tra i verificatori più comuni ci sono:
- Risposte matematiche: La risposta finale viene analizzata e confrontata con il riferimento dopo aver normalizzato forme equivalenti come
1/2e0.5, operazione gestita da librerie come Math-Verify. - Codice: I programmi generati vengono eseguiti in una sandbox e confrontati con test unitari; la ricompensa dipende dal fatto che i test vengano superati e dalla loro percentuale di successo.
- Rispetto delle istruzioni: Vincoli verificabili da un programma, come un limite di parole, parole chiave obbligatorie o JSON valido. Tülu 3 ha applicato RLVR a questo tipo di istruzioni precise, oltre che alla matematica.
- Formato: Una piccola ricompensa per aver inserito il ragionamento e la risposta finale nei tag previsti, che DeepSeek-R1 ha combinato con la ricompensa basata sull'accuratezza.
- Attività di visione: L'intersezione sull'unione con riquadri etichettati valuta le risposte di grounding, mentre i rilevatori di oggetti verificano le immagini generate.
GenEval usa un rilevatore di oggetti per verificare se un'immagine generata contiene gli oggetti, le quantità, i colori e le posizioni richiesti dal prompt; Flow-GRPO ha usato questi punteggi basati su regole come ricompensa per aumentare dal 63% al 95% l'accuratezza GenEval di Stable Diffusion 3.5 Medium. Un rilevatore Ultralytics YOLO26 può fungere da verificatore dello stesso tipo, trasformando un prompt come «quattro persone a una fermata dell'autobus» in una ricompensa basata sul conteggio:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0]) # class 0 = person
n_found, n_requested = len(results[0].boxes), 4
# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")RLVR, RLHF e ricompense di processo#
RLVR affianca altri metodi per trasformare il feedback in un segnale di addestramento:
- Apprendimento per rinforzo dal feedback umano (RLHF): Un modello di ricompensa, appreso da confronti tra preferenze umane, assegna un punteggio agli output. Copre qualità soggettive come il tono e l'utilità, ma un valutatore appreso presenta punti ciechi che una politica può sfruttare. Per questo DeepSeek-R1 ha evitato i modelli neurali di ricompensa per il ragionamento; nella fase finale di addestramento ha invece abbinato ricompense basate su regole per i prompt di ragionamento a modelli di ricompensa appresi per quelli generali.
- Modelli di ricompensa del processo (PRM): Assegnano un punteggio a ogni passaggio intermedio del ragionamento. RLVR di solito premia solo il risultato finale, più economico da ottenere e più difficile da manipolare.
- Ottimizzazione diretta delle preferenze (DPO): DPO apprende offline da coppie fisse di risposte preferite e rifiutate, senza campionamento né verificatore durante l'addestramento.
Le pipeline di addestramento scelgono spesso la fonte della ricompensa prompt per prompt e ricorrono al feedback dell'IA sul modello dell'IA costituzionale quando non sono disponibili né un verificatore né etichette umane:
Punti di forza e limiti#
Poiché la ricompensa non richiede intervento umano, RLVR scala con la potenza di calcolo e la disponibilità di problemi verificabili, e produce comportamenti che nessuno ha programmato esplicitamente: durante l'addestramento, le risposte di DeepSeek-R1-Zero sono diventate progressivamente più lunghe man mano che il modello imparava a ricontrollare e rivedere il proprio lavoro. Librerie come il trainer TRL GRPO di Hugging Face accettano una funzione di ricompensa personalizzata, quindi qualsiasi verificatore, come quelli descritti sopra, si integra direttamente.
Il metodo si applica solo ad attività con risposte verificabili, e un verificatore debole favorisce il reward hacking: un modello di programmazione premiato per il superamento dei test può imparare a gestire casi speciali o modificare i test anziché correggere il codice. I ricercatori non concordano nemmeno su cosa aggiunga RLVR. Uno studio del 2025 sui modelli addestrati con RLVR ha rilevato che superavano i modelli di base con un solo tentativo per problema, mentre i modelli di base risolvevano più problemi quando erano consentiti molti tentativi; ciò suggerisce che RLVR concentri soprattutto la probabilità su soluzioni che il modello di base era già in grado di produrre. Un paper successivo ha considerato corretto un campione solo se erano corretti sia la risposta sia la catena di ragionamento e, secondo questa misura CoT-Pass@K, un Qwen2.5-32B addestrato con RLVR è rimasto in vantaggio sul modello di base per ogni valore di K fino a 1.024, su AIME 2024 e AIME 2025.










