Process Reward Model (PRM)

Evaluar modelos de inteligencia artificial complejos requiere algo más que comprobar si la respuesta final es correcta. Una técnica altamente especializada de aprendizaje por refuerzo asigna puntuaciones matemáticas a cada paso intermedio que da una IA durante una tarea, proporcionando retroalimentación densa a nivel de paso. Este enfoque granular garantiza que el modelo no solo llegue al destino correcto, sino que también siga caminos lógicos, seguros y verificables para conseguirlo.

Link to this sectionModelos de recompensa de proceso frente a modelos de recompensa de resultado#

En el contexto más amplio del modelado de recompensa, es importante distinguir entre la supervisión basada en procesos y la basada en resultados. Los modelos de recompensa de resultado (ORM) tradicionales proporcionan una única recompensa dispersa al final de una generación. Aunque los ORM son más fáciles de entrenar, adolecen de un inconveniente importante en tareas complejas: pueden premiar involuntariamente a modelos que llegan a la respuesta correcta mediante una lógica defectuosa o alucinaciones.

Un modelo de recompensa de proceso (PRM) resuelve esto evaluando toda la trayectoria de razonamiento. Como popularizó la investigación de OpenAI fundamental en artículos como Let's Verify Step by Step, un PRM aplica una supervisión paso a paso a cada pensamiento o acción. Este es un componente crítico de las canalizaciones avanzadas de Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), ya que guía activamente la optimización de la política mediante algoritmos como Optimización de política proximal (PPO).

Link to this sectionAplicaciones en el mundo real#

Los PRM están transformando la forma en que operan los grandes modelos de lenguaje (LLM) y los sistemas autónomos en entornos de alto riesgo:

• Razonamiento matemático: Al evaluar las ecuaciones línea por línea, los PRM permiten a los modelos utilizar algoritmos como el muestreo Best-of-N (BoN) o la búsqueda en árbol de Monte Carlo (MCTS) para explorar múltiples rutas de solución y seleccionar la secuencia más lógica.
• Generación de código: Al generar software, simplemente comprobar si el script final se ejecuta no es suficiente. Los PRM proporcionan supervisión de procesos, puntuando funciones individuales y bloques lógicos para garantizar que el código sea eficiente, seguro y fácil de mantener.
• Investigación operativa y agentes visuales: Los avances recientes en 2025 y 2026 han expandido los PRM más allá del texto. Por ejemplo, la investigación operativa utiliza ahora los PRM para validar algoritmos de programación complejos. De forma similar, los agentes de IA visuales equipados con motores robustos de visión artificial como Ultralytics YOLO26 reciben recompensas paso a paso por navegar por entornos físicos, en lugar de una única recompensa por llegar a un destino.

Link to this sectionImplementación de la retroalimentación a nivel de paso#

Entrenar un PRM requiere gestionar conjuntos de datos extensos donde cada subpaso es evaluado por humanos o por modelos de IA más potentes. La gestión de estos flujos de trabajo intensivos de anotación de datos se simplifica con herramientas basadas en la nube como la Plataforma Ultralytics, que optimizan la organización y el despliegue de proyectos.

Durante la inferencia o la optimización del modelo, el PRM calcula una pérdida o recompensa acumulada basada en la cadena de pasos. El siguiente fragmento conceptual de Python que utiliza torch demuestra cómo se penalizan las recompensas a nivel de paso si un paso intermedio falla, un enfoque común que se encuentra en la documentación de PyTorch para la puntuación de secuencias:

import torch

# Simulate reward scores from a PRM for 3 consecutive reasoning steps
# Scores represent the probability of correctness for each step (0.0 to 1.0)
step_rewards = torch.tensor([0.95, 0.80, 0.15], requires_grad=True)

# The PRM aggregates the scores, heavily penalizing the poor 3rd step
# Negative log-likelihood is commonly used to optimize the trajectory
prm_loss = -torch.log(step_rewards).mean()

print(f"Calculated PRM Loss: {prm_loss.item():.4f}")
# During RLHF, this loss would guide hyperparameter tuning and model updates

Al garantizar que cada paso intermedio esté alineado con el comportamiento esperado, los desarrolladores pueden desplegar sistemas altamente fiables. Combinar la supervisión a nivel de proceso con el ajuste de hiperparámetros continuo permite que los modelos de próxima generación razonen verdaderamente a través de problemas de forma segura y eficaz.