Licencia YOLO
Volver al glosario de Ultralytics

Group Relative Policy Optimization (GRPO)

La optimización de políticas relativas por grupos (GRPO) entrena LLM con RL puntuando cada respuesta muestreada en relación con su grupo, sin el modelo crítico que necesita PPO.

La optimización de políticas relativas al grupo (GRPO) es un algoritmo de aprendizaje por refuerzo para ajustar modelos de lenguaje grandes (LLMs). Para cada indicación, genera un grupo de respuestas, puntúa cada una con un verificador o un modelo de recompensa y evalúa cada respuesta según cuánto mejor o peor ha funcionado que el resto del grupo. La media del grupo sustituye a la red de valor independiente, o crítico, que la optimización de políticas proximales (PPO), el algoritmo que sustenta el RLHF clásico, entrena junto con el modelo. Así se ahorran la memoria y el cómputo que requeriría una segunda red de tamaño aproximadamente igual al del modelo entrenado. DeepSeek presentó GRPO en su artículo DeepSeekMath de 2024, y su uso en DeepSeek-R1 en enero de 2025 lo convirtió en un algoritmo habitual para entrenar modelos de razonamiento, que desarrollan un largo proceso de razonamiento paso a paso antes de responder. Estos modelos aprenden a partir de recompensas verificables, como una respuesta matemática comprobada o una prueba unitaria superada.

Cómo funciona GRPO#

Cada paso de entrenamiento repite el mismo procedimiento para un lote de indicaciones:

  1. Genera un grupo: El modelo actual genera varias respuestas a la misma indicación; DeepSeekMath utilizó 64 por pregunta.
  2. Puntúa cada respuesta: Un verificador basado en reglas o un modelo de recompensa aprendido asigna una recompensa a cada respuesta.
  3. Calcula las ventajas relativas al grupo: La recompensa menos la media del grupo, dividida por la desviación estándar del grupo, se convierte en la ventaja de esa respuesta y se comparte entre todos sus tokens.
  4. Actualiza la política: Un objetivo recortado al estilo PPO aumenta la probabilidad de los tokens de las respuestas por encima de la media y la reduce para las respuestas por debajo de la media, mientras que una penalización por divergencia KL, añadida directamente a la pérdida, mantiene el modelo cerca de una copia de referencia congelada.

Como las ventajas son relativas, un grupo en el que todas las respuestas reciben la misma recompensa no aporta ninguna señal de aprendizaje. Esta es la principal ineficiencia de GRPO. Si el modelo siempre resuelve una indicación o nunca la resuelve, se desperdicia todo el grupo, por lo que los conjuntos de entrenamiento suelen filtrarse para conservar problemas de dificultad intermedia para el modelo actual.

GRPO en código#

Bibliotecas como el entrenador GRPO de TRL de Hugging Face implementan el algoritmo completo para modelos de lenguaje. Este ejemplo de PyTorch aplica la misma actualización a una política de juguete que elige entre seis respuestas candidatas a una única indicación, con un verificador que solo acepta una de ellas:

import torch

torch.manual_seed(0)
# Toy policy over 6 candidate answers to one prompt; a verifier accepts only answer 4
logits = torch.zeros(6, requires_grad=True)
ref_log_probs = torch.log_softmax(torch.zeros(6), dim=0)  # frozen reference policy
correct = torch.tensor([0.0, 0.0, 0.0, 0.0, 1.0, 0.0])
optimizer = torch.optim.Adam([logits], lr=0.05)
beta = 0.04  # KL weight used in DeepSeekMath
print(f"P(correct) before: {torch.softmax(logits, dim=0)[4]:.2f}")

for step in range(150):
    answers = torch.distributions.Categorical(logits=logits).sample((8,))  # a group of 8 sampled answers
    rewards = correct[answers]
    advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-4)  # the group mean replaces a critic
    log_probs = torch.log_softmax(logits, dim=0)[answers]
    # Per-sample KL estimate to the reference policy, added to the loss: exp(d) - d - 1 with d = ref - new
    d = ref_log_probs[answers] - log_probs
    loss = -(advantages * log_probs - beta * (torch.exp(d) - d - 1)).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print(f"P(correct) after: {torch.softmax(logits, dim=0)[4]:.2f}")

Imprime P(correct) before: 0.17 y P(correct) after: 0.98. Al principio, alrededor del 23 % de los grupos de 8 no contienen ninguna respuesta correcta, (5/6)⁸, y esos grupos solo aportan el pequeño término KL; todos los grupos que contienen una respuesta correcta empujan la probabilidad hacia ella sin necesidad de ninguna red de valores.

GRPO frente a PPO y otros métodos#

  • Optimización de políticas proximales: PPO estima la ventaja de cada token con un crítico aprendido, que suele ser una red del mismo tamaño que la propia política, y en los flujos de trabajo de RLHF incorpora la penalización KL a la recompensa. GRPO prescinde del crítico y traslada el término KL a la pérdida, a cambio de las generaciones adicionales necesarias para completar cada grupo.
  • REINFORCE con referencias: Métodos como REINFORCE Leave-One-Out (RLOO) también utilizan las demás respuestas muestreadas como referencia. GRPO añade el recorte de PPO y divide por la desviación estándar del grupo.
  • Optimización directa de preferencias (DPO): DPO aprende sin conexión a partir de un conjunto de datos fijo con pares de respuestas preferidas y rechazadas. GRPO funciona en línea: el modelo genera respuestas nuevas y recibe recompensas nuevas en cada paso.
  • Modelos de recompensa por proceso: GRPO suele asignar una recompensa final por respuesta, pero el artículo DeepSeekMath también probó una variante de supervisión de procesos en la que un modelo puntúa cada paso del razonamiento y los tokens de cada paso reciben su propia ventaja.

Aplicaciones#

  • Razonamiento matemático: En DeepSeekMath, GRPO mejoró el resultado del modelo 7B ajustado con instrucciones del 46,8 % al 51,7 % en la prueba MATH y del 82,9 % al 88,2 % en GSM8K. DeepSeek-R1-Zero, entrenado con GRPO y recompensas basadas en reglas directamente a partir del modelo base, mejoró su puntuación pass@1 de AIME 2024 del 15,6 % al 71,0 % y aprendió a escribir largos procesos de razonamiento en los que revisa su propio trabajo.
  • Generación de código: Las recompensas obtenidas al ejecutar programas generados frente a pruebas unitarias encajan de forma natural con GRPO, ya que cada programa muestreado supera las pruebas o no las supera.
  • Agentes y uso de herramientas: Las tareas de varios turnos, como la búsqueda web o la ingeniería de software, se puntúan según el resultado final, y la comparación de grupos asigna mérito a trayectorias completas.

GRPO también se aplica más allá del texto. Flow-GRPO lo aplicó a modelos de texto a imagen basados en la coincidencia de flujo, utilizando como recompensas el recuento y la posición de los objetos obtenidos con un detector de objetos. Un detector Ultralytics YOLO26 puede proporcionar ese tipo de recompensa: cuenta los objetos de cada imagen generada en un grupo, de modo que las imágenes que coinciden con el recuento solicitado reciben ventajas positivas.

Variantes y problemas conocidos#

El algoritmo original tiene varias deficiencias conocidas que las variantes más recientes intentan corregir:

  • DAPO: La receta de ByteDance Seed de 2025 descarta los grupos cuyas respuestas son todas correctas o todas incorrectas y vuelve a completar el lote, relaja el límite superior de recorte para que los tokens útiles poco frecuentes puedan aumentar más rápido y calcula la media de la pérdida por tokens en lugar de por respuestas. Alcanzó 50 puntos en AIME 2024 con un modelo base Qwen2.5-32B.
  • Dr. GRPO: Un análisis de 2025 descubrió que dividir la pérdida de cada respuesta por su longitud permite que las respuestas incorrectas se alarguen sin penalización, y que dividir por la desviación estándar del grupo da un peso excesivo a las preguntas que casi siempre se resuelven o casi siempre se fallan. Dr. GRPO elimina ambas normalizaciones.
  • GSPO: El equipo Qwen de Alibaba calcula la razón de importancia para toda la secuencia en lugar de para cada token, lo que estabiliza el entrenamiento de aprendizaje por refuerzo de modelos de mezcla de expertos, y atribuye a este método las mejoras de sus modelos Qwen3.

Como cualquier método que optimiza una recompensa, GRPO amplifica los defectos de la señal de recompensa. Un verificador que solo comprueba el formato de la respuesta final, o unas pruebas unitarias a las que se pueda adaptar el código de forma específica, propicia la manipulación de recompensas a la escala de miles de respuestas muestreadas por paso.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático