Reinforcement Learning with Verifiable Rewards (RLVR)
El aprendizaje por refuerzo con recompensas verificables (RLVR) entrena modelos mediante comprobaciones automáticas, como superar pruebas unitarias o coincidir con una respuesta matemática conocida.
El aprendizaje por refuerzo con recompensas verificables (RLVR) es una forma de entrenar modelos de lenguaje grandes (LLMs) y otros modelos generativos mediante aprendizaje por refuerzo, en la que la recompensa procede de un programa que comprueba cada resultado frente a una respuesta correcta conocida. Una respuesta matemática coincide con la referencia o no, y el código generado supera las pruebas unitarias o no. Estas comprobaciones son baratas y objetivas, así que RLVR puede ejecutarse durante muchos miles de pasos de entrenamiento; además, es una técnica fundamental de los modelos de razonamiento, que desarrollan una larga cadena de pensamiento antes de responder. AI2 dio nombre al método en su informe Tülu 3, publicado en noviembre de 2024, y DeepSeek-R1 lo popularizó en enero de 2025. Su modelo R1-Zero aprendió a razonar paso a paso con solidez utilizando únicamente recompensas basadas en reglas por precisión y formato, sin ajuste fino supervisado previo.
Cómo funciona RLVR#
El entrenamiento parte de un modelo preentrenado, normalmente ajustado por instrucciones, y de un conjunto de instrucciones cuyas respuestas puede comprobar un programa. Para cada instrucción, el modelo genera varias respuestas, un verificador puntúa cada una y un algoritmo de gradiente de políticas, como la optimización de políticas proximales (PPO) o la optimización de políticas relativas al grupo (GRPO), aumenta la probabilidad de las respuestas cuya puntuación supera lo esperado —en GRPO, las que superan la media del grupo— y reduce la del resto. El recorte y, en muchas configuraciones, una penalización KL mantienen el modelo actualizado cerca de su estado inicial. El modelo nunca ve una solución desarrollada; solo aprende cuáles de sus propios intentos han funcionado, así que todos los patrones de razonamiento que refuerza los ha producido él mismo.
El verificador y la comparación del grupo caben en unas pocas líneas. Este esquema puntúa cuatro respuestas muestreadas para una misma instrucción matemática, extrayendo la respuesta final de una etiqueta \boxed{}, el formato de respuesta que DeepSeek-R1 exigía para las matemáticas, y después calcula las ventajas relativas al grupo de GRPO:
import re
import numpy as np
reference = "42" # respuesta conocida a la instrucción de entrenamiento
completions = [ # grupo de respuestas muestreadas para la misma instrucción
"6 * 7 = 42, so the answer is \\boxed{42}",
"Adding the terms gives \\boxed{41}",
"The product is 42.", # número correcto, pero sin respuesta final en el formato requerido
"Check: 7 * 6 = 42. \\boxed{42}",
]
# Verificador: extrae la respuesta final entre corchetes y compárala con la referencia
rewards = []
for text in completions:
match = re.search(r"\\boxed\{([^}]*)\}", text)
rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)
# Ventajas al estilo GRPO: cada recompensa relativa a la media del grupo, escalada por la desviación estándar del grupo
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))Imprime recompensas de [1. 0. 0. 1.] y ventajas de [ 1. -1. -1. 1.]. Se refuerzan las dos respuestas correctas, y la tercera pierde peso aunque contenga 42, porque nunca da una respuesta final en el formato requerido.
Qué hace que una recompensa sea verificable#
Una recompensa verificable necesita una verdad de referencia y un programa que compare el resultado con ella. Entre los verificadores más habituales están:
- Respuestas matemáticas: se analiza la respuesta final y se compara con la referencia tras normalizar formas equivalentes, como
1/2y0.5, una tarea que realizan bibliotecas como Math-Verify. - Código: los programas generados se ejecutan en un entorno aislado frente a pruebas unitarias, y la recompensa depende de si las superan y, en su caso, de la proporción superada.
- Seguimiento de instrucciones: restricciones que un programa puede comprobar, como un límite de palabras, palabras clave obligatorias o JSON válido. Tülu 3 aplicó RLVR a este tipo de seguimiento preciso de instrucciones, además de a las matemáticas.
- Formato: una pequeña recompensa por colocar el razonamiento y la respuesta final en las etiquetas esperadas, que DeepSeek-R1 combinó con su recompensa por precisión.
- Tareas de visión: la intersección sobre la unión de los cuadros etiquetados puntúa las respuestas de localización, y los detectores de objetos comprueban las imágenes generadas.
GenEval utiliza un detector de objetos para comprobar si una imagen generada contiene los objetos, cantidades, colores y posiciones que pide la instrucción, y Flow-GRPO utilizó esas puntuaciones basadas en reglas como recompensa para aumentar la precisión de GenEval de Stable Diffusion 3.5 Medium del 63 % al 95 %. Un detector Ultralytics YOLO26 puede funcionar como el mismo tipo de verificador y convertir una instrucción como «cuatro personas en una parada de autobús» en una recompensa por recuento:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0]) # class 0 = person
n_found, n_requested = len(results[0].boxes), 4
# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")RLVR frente a RLHF y las recompensas por proceso#
RLVR se suma a otras formas de convertir la retroalimentación en una señal de entrenamiento:
- Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF): un modelo de recompensa aprendido a partir de comparaciones de preferencias humanas puntúa los resultados. Abarca cualidades subjetivas como el tono y la utilidad, pero un evaluador aprendido tiene puntos ciegos que una política puede aprovechar. Por ese motivo, DeepSeek-R1 evitó los modelos de recompensa neuronales para el razonamiento; en su etapa final de entrenamiento combinó recompensas basadas en reglas para instrucciones de razonamiento con modelos de recompensa aprendidos para las generales.
- Modelos de recompensa por proceso (PRMs): puntúan cada paso intermedio del razonamiento. RLVR suele recompensar solo el resultado final, que es más barato de obtener y más difícil de manipular.
- Optimización directa de preferencias (DPO): DPO aprende sin conexión a partir de pares fijos de respuestas preferidas y rechazadas, sin muestreo ni verificador durante el entrenamiento.
Las canalizaciones de entrenamiento suelen elegir la fuente de recompensa para cada instrucción y recurrir a la retroalimentación de IA al estilo de la IA constitucional cuando no hay ni verificadores ni etiquetas humanas:
Ventajas y limitaciones#
Como la recompensa no requiere intervención humana, RLVR escala con la capacidad de cálculo y una oferta de problemas verificables, y produce comportamientos que nadie ha escrito: las respuestas de DeepSeek-R1-Zero se hicieron progresivamente más largas durante el entrenamiento, a medida que el modelo aprendía a revisar y corregir su propio trabajo. Bibliotecas como el entrenador GRPO de TRL de Hugging Face aceptan una función de recompensa personalizada, así que puedes conectar directamente cualquier verificador, como los anteriores.
El método solo sirve para tareas con respuestas verificables, y un verificador débil fomenta la manipulación de recompensas: un modelo de programación recompensado por superar pruebas puede aprender a tratar casos particulares o modificar las pruebas en vez de corregir el código. Los investigadores tampoco se ponen de acuerdo sobre qué aporta RLVR. Un estudio de 2025 sobre modelos entrenados con RLVR descubrió que superaban a sus modelos base con un único intento por problema, mientras que los modelos base resolvían más problemas cuando se les permitían muchos intentos, lo que sugiere que RLVR concentra sobre todo la probabilidad en soluciones que el modelo base ya podía generar. Un artículo posterior solo consideró correcta una muestra cuando eran correctas tanto la respuesta como su cadena de razonamiento, y, según esa medida CoT-Pass@K, un Qwen2.5-32B entrenado con RLVR mantuvo la ventaja sobre su modelo base para todos los valores de K hasta 1,024 en AIME 2024 y AIME 2025.










