Group Relative Policy Optimization (GRPO)
La optimización de políticas relativas por grupos (GRPO) entrena LLM con RL puntuando cada respuesta muestreada en relación con su grupo, sin el modelo crítico que necesita PPO.
La optimización de políticas relativas al grupo (GRPO) es un algoritmo de aprendizaje por refuerzo para ajustar modelos de lenguaje grandes (LLMs). Para cada indicación, genera un grupo de respuestas, puntúa cada una con un verificador o un modelo de recompensa y evalúa cada respuesta según cuánto mejor o peor ha funcionado que el resto del grupo. La media del grupo sustituye a la red de valor independiente, o crítico, que la optimización de políticas proximales (PPO), el algoritmo que sustenta el RLHF clásico, entrena junto con el modelo. Así se ahorran la memoria y el cómputo que requeriría una segunda red de tamaño aproximadamente igual al del modelo entrenado. DeepSeek presentó GRPO en su artículo DeepSeekMath de 2024, y su uso en DeepSeek-R1 en enero de 2025 lo convirtió en un algoritmo habitual para entrenar modelos de razonamiento, que desarrollan un largo proceso de razonamiento paso a paso antes de responder. Estos modelos aprenden a partir de recompensas verificables, como una respuesta matemática comprobada o una prueba unitaria superada.
Cómo funciona GRPO#
Cada paso de entrenamiento repite el mismo procedimiento para un lote de indicaciones:
- Genera un grupo: El modelo actual genera varias respuestas a la misma indicación; DeepSeekMath utilizó 64 por pregunta.
- Puntúa cada respuesta: Un verificador basado en reglas o un modelo de recompensa aprendido asigna una recompensa a cada respuesta.
- Calcula las ventajas relativas al grupo: La recompensa menos la media del grupo, dividida por la desviación estándar del grupo, se convierte en la ventaja de esa respuesta y se comparte entre todos sus tokens.
- Actualiza la política: Un objetivo recortado al estilo PPO aumenta la probabilidad de los tokens de las respuestas por encima de la media y la reduce para las respuestas por debajo de la media, mientras que una penalización por divergencia KL, añadida directamente a la pérdida, mantiene el modelo cerca de una copia de referencia congelada.
Como las ventajas son relativas, un grupo en el que todas las respuestas reciben la misma recompensa no aporta ninguna señal de aprendizaje. Esta es la principal ineficiencia de GRPO. Si el modelo siempre resuelve una indicación o nunca la resuelve, se desperdicia todo el grupo, por lo que los conjuntos de entrenamiento suelen filtrarse para conservar problemas de dificultad intermedia para el modelo actual.
GRPO en código#
Bibliotecas como el entrenador GRPO de TRL de Hugging Face implementan el algoritmo completo para modelos de lenguaje. Este ejemplo de PyTorch aplica la misma actualización a una política de juguete que elige entre seis respuestas candidatas a una única indicación, con un verificador que solo acepta una de ellas:
import torch
torch.manual_seed(0)
# Toy policy over 6 candidate answers to one prompt; a verifier accepts only answer 4
logits = torch.zeros(6, requires_grad=True)
ref_log_probs = torch.log_softmax(torch.zeros(6), dim=0) # frozen reference policy
correct = torch.tensor([0.0, 0.0, 0.0, 0.0, 1.0, 0.0])
optimizer = torch.optim.Adam([logits], lr=0.05)
beta = 0.04 # KL weight used in DeepSeekMath
print(f"P(correct) before: {torch.softmax(logits, dim=0)[4]:.2f}")
for step in range(150):
answers = torch.distributions.Categorical(logits=logits).sample((8,)) # a group of 8 sampled answers
rewards = correct[answers]
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-4) # the group mean replaces a critic
log_probs = torch.log_softmax(logits, dim=0)[answers]
# Per-sample KL estimate to the reference policy, added to the loss: exp(d) - d - 1 with d = ref - new
d = ref_log_probs[answers] - log_probs
loss = -(advantages * log_probs - beta * (torch.exp(d) - d - 1)).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(f"P(correct) after: {torch.softmax(logits, dim=0)[4]:.2f}")Imprime P(correct) before: 0.17 y P(correct) after: 0.98. Al principio, alrededor del 23 % de los grupos de 8 no contienen ninguna respuesta correcta, (5/6)⁸, y esos grupos solo aportan el pequeño término KL; todos los grupos que contienen una respuesta correcta empujan la probabilidad hacia ella sin necesidad de ninguna red de valores.
GRPO frente a PPO y otros métodos#
- Optimización de políticas proximales: PPO estima la ventaja de cada token con un crítico aprendido, que suele ser una red del mismo tamaño que la propia política, y en los flujos de trabajo de RLHF incorpora la penalización KL a la recompensa. GRPO prescinde del crítico y traslada el término KL a la pérdida, a cambio de las generaciones adicionales necesarias para completar cada grupo.
- REINFORCE con referencias: Métodos como REINFORCE Leave-One-Out (RLOO) también utilizan las demás respuestas muestreadas como referencia. GRPO añade el recorte de PPO y divide por la desviación estándar del grupo.
- Optimización directa de preferencias (DPO): DPO aprende sin conexión a partir de un conjunto de datos fijo con pares de respuestas preferidas y rechazadas. GRPO funciona en línea: el modelo genera respuestas nuevas y recibe recompensas nuevas en cada paso.
- Modelos de recompensa por proceso: GRPO suele asignar una recompensa final por respuesta, pero el artículo DeepSeekMath también probó una variante de supervisión de procesos en la que un modelo puntúa cada paso del razonamiento y los tokens de cada paso reciben su propia ventaja.
Aplicaciones#
- Razonamiento matemático: En DeepSeekMath, GRPO mejoró el resultado del modelo 7B ajustado con instrucciones del 46,8 % al 51,7 % en la prueba MATH y del 82,9 % al 88,2 % en GSM8K. DeepSeek-R1-Zero, entrenado con GRPO y recompensas basadas en reglas directamente a partir del modelo base, mejoró su puntuación pass@1 de AIME 2024 del 15,6 % al 71,0 % y aprendió a escribir largos procesos de razonamiento en los que revisa su propio trabajo.
- Generación de código: Las recompensas obtenidas al ejecutar programas generados frente a pruebas unitarias encajan de forma natural con GRPO, ya que cada programa muestreado supera las pruebas o no las supera.
- Agentes y uso de herramientas: Las tareas de varios turnos, como la búsqueda web o la ingeniería de software, se puntúan según el resultado final, y la comparación de grupos asigna mérito a trayectorias completas.
GRPO también se aplica más allá del texto. Flow-GRPO lo aplicó a modelos de texto a imagen basados en la coincidencia de flujo, utilizando como recompensas el recuento y la posición de los objetos obtenidos con un detector de objetos. Un detector Ultralytics YOLO26 puede proporcionar ese tipo de recompensa: cuenta los objetos de cada imagen generada en un grupo, de modo que las imágenes que coinciden con el recuento solicitado reciben ventajas positivas.
Variantes y problemas conocidos#
El algoritmo original tiene varias deficiencias conocidas que las variantes más recientes intentan corregir:
- DAPO: La receta de ByteDance Seed de 2025 descarta los grupos cuyas respuestas son todas correctas o todas incorrectas y vuelve a completar el lote, relaja el límite superior de recorte para que los tokens útiles poco frecuentes puedan aumentar más rápido y calcula la media de la pérdida por tokens en lugar de por respuestas. Alcanzó 50 puntos en AIME 2024 con un modelo base Qwen2.5-32B.
- Dr. GRPO: Un análisis de 2025 descubrió que dividir la pérdida de cada respuesta por su longitud permite que las respuestas incorrectas se alarguen sin penalización, y que dividir por la desviación estándar del grupo da un peso excesivo a las preguntas que casi siempre se resuelven o casi siempre se fallan. Dr. GRPO elimina ambas normalizaciones.
- GSPO: El equipo Qwen de Alibaba calcula la razón de importancia para toda la secuencia en lugar de para cada token, lo que estabiliza el entrenamiento de aprendizaje por refuerzo de modelos de mezcla de expertos, y atribuye a este método las mejoras de sus modelos Qwen3.
Como cualquier método que optimiza una recompensa, GRPO amplifica los defectos de la señal de recompensa. Un verificador que solo comprueba el formato de la respuesta final, o unas pruebas unitarias a las que se pueda adaptar el código de forma específica, propicia la manipulación de recompensas a la escala de miles de respuestas muestreadas por paso.










