Process Reward Model (PRM)

Un modelo de recompensa de procesos (PRM) es un modelo de recompensa que puntúa cada paso intermedio de una solución, normalmente como la probabilidad de que el paso sea correcto, en lugar de puntuar solo la respuesta final. Un modelo de recompensa de resultados (ORM) evalúa una solución completa por su resultado, así que puede recompensar una respuesta correcta obtenida mediante pasos incorrectos y no ofrece ninguna señal sobre dónde se desvió una solución errónea. Los PRM clasifican y guían las soluciones candidatas de los modelos de lenguaje grandes (LLM) y los modelos de razonamiento durante la inferencia, y proporcionan recompensas por paso para el aprendizaje por refuerzo. En 2022, investigadores de DeepMind compararon los dos tipos de supervisión en problemas matemáticos de primaria: la retroalimentación basada en resultados alcanzó una tasa de error similar en las respuestas finales con menos etiquetado, pero la basada en procesos era necesaria para reducir del 14,0 % al 3,4 % los errores de razonamiento en soluciones con respuestas correctas.

Verifiquemos paso a paso#

El artículo de OpenAI de 2023 Let's Verify Step by Step dio a conocer ampliamente los PRM. Etiquetadores humanos marcaron unos 800 000 pasos de 75 000 soluciones a 12 000 problemas del conjunto de datos de la competición MATH como positivos, negativos o neutros, y OpenAI publicó las etiquetas como PRM800K. Al elegir la mejor de 1860 soluciones generadas a partir de un generador basado en GPT-4, el PRM resolvió el 78,2 % de una selección representativa de la prueba MATH, frente al 72,4 % de un ORM y el 69,6 % de la votación por mayoría. Se mostraron a los etiquetadores soluciones que el PRM actual puntuaba muy alto, pero que llegaban a una respuesta incorrecta; esta forma de aprendizaje activo hizo que el etiquetado fuera unas 2,6 veces más eficiente en datos.

Cómo se entrena un PRM#

Un PRM suele ser un LLM ajustado para predecir, al final de cada paso, si ese paso es correcto, y se entrena con una función de pérdida de entropía cruzada frente a las etiquetas de los pasos. El etiquetado de datos humano con este nivel de detalle es costoso, así que Math-Shepherd, publicado en diciembre de 2023, los generó automáticamente: para cada paso, tomó varias muestras de respuestas completas y lo etiquetó según si esas respuestas llegaban a la solución correcta conocida. El uso de ese PRM para recompensar cada paso durante el entrenamiento PPO elevó la precisión de Mistral-7B en GSM8K del 77,9 % al 84,1 % y en MATH del 28,6 % al 33,0 %. Sin embargo, las etiquetas automáticas contienen ruido: un estudio de 2025 del equipo Qwen de Alibaba observó que las estimaciones de Monte Carlo entrenaban PRM más débiles que las etiquetas humanas o las de un LLM que actuase como juez, y el equipo publicó ProcessBench, una prueba de referencia de la capacidad de un PRM para encontrar el primer paso incorrecto.

Uso de las puntuaciones de los PRM#

Durante la inferencia, un PRM convierte las puntuaciones de los pasos en una elección. El muestreo best-of-N genera varias soluciones completas y conserva la que obtiene la mejor puntuación agregada; en Let's Verify Step by Step se multiplicaron las probabilidades de los pasos, y la puntuación mínima de los pasos tuvo un rendimiento similar:

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

El paso final de la solución B tiene la mayor confianza, 0.98, pero el segundo paso obtiene 0.24, por lo que su producto baja a 0.224 y el mínimo a 0.24; el PRM elige la solución A, cuyo producto es 0.806. Si se hubiera ordenado según el último paso únicamente, se habría elegido B. El entrenamiento de Ultralytics YOLO también puntúa cada paso intermedio de una ejecución, en lugar de solo el resultado final: con el valor predeterminado de val=True, el entrenador valida después de cada época, puntúa los pesos con un valor de aptitud igual a mAP50-95 para la detección y guarda la época con mejor puntuación como best.pt, junto al resultado final last.pt.

Un PRM también puede guiar la búsqueda antes de que se complete una solución. La búsqueda en haz conserva únicamente las soluciones parciales con mayor puntuación en cada paso, la búsqueda de árboles de Monte Carlo (MCTS) utiliza las mismas puntuaciones para decidir qué ramas ampliar, y un estudio sobre el escalado del cómputo en tiempo de prueba de Google DeepMind y UC Berkeley observó que elegir el método de búsqueda del PRM según la dificultad del problema igualaba el muestreo best-of-N con hasta cuatro veces menos cómputo en tiempo de prueba:

Límites y términos relacionados#

El equipo de DeepSeek-R1 probó los PRM y los descartó por tres motivos: en general, es difícil definir un paso detallado en el razonamiento; resulta complicado automatizar la evaluación de si un paso intermedio es correcto y etiquetarlo manualmente es costoso; además, un PRM aprendido puede dar pie al hackeo de recompensas durante el entrenamiento a gran escala. En su lugar, DeepSeek-R1 aprendió mediante la optimización de políticas relativas a grupos (GRPO) a partir de comprobaciones de reglas de la respuesta final, un enfoque conocido como aprendizaje por refuerzo con recompensas verificables (RLVR). Los modelos de recompensa del aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) puntúan respuestas completas según comparaciones de preferencias humanas, lo que los convierte en modelos de recompensa de resultados para texto abierto. Un PRM comprueba los pasos a medida que se redacta una cadena de razonamiento, mientras que la cadena de verificación (CoVe) hace que un modelo compruebe su propia respuesta terminada formulando y respondiendo preguntas de verificación.