Group Relative Policy Optimization (GRPO)

La optimización de políticas relativas por grupos (GRPO) es un algoritmo de aprendizaje por refuerzo eficiente en cuanto al uso de memoria, desarrollado para mejorar la capacidad de razonamiento de los modelos de lenguaje de gran tamaño (LLMs) y de otros sistemas de inteligencia artificial (AI). Presentado por primera vez en el artículo DeepSeekMath de 2024, GRPO mejora los métodos de optimización tradicionales al eliminar la necesidad de una red de valor independiente (modelo crítico). En su lugar, normaliza las recompensas de un grupo de respuestas generadas a partir del mismo prompt. Al evaluar cada respuesta en relación con las demás del grupo, GRPO reduce drásticamente la sobrecarga computacional y mejora el rendimiento en tareas complejas de razonamiento en arquitecturas modernas de aprendizaje profundo (DL).

En qué se diferencia GRPO de PPO#

Aunque GRPO comparte similitudes con la optimización de políticas próximas (PPO), un algoritmo de optimización estándar que se utiliza a menudo en el aprendizaje por refuerzo a partir de comentarios humanos (RLHF), ambos difieren notablemente en su arquitectura. PPO requiere un segundo modelo «crítico», que se ejecuta en paralelo a la red de política principal para estimar el valor de un estado determinado. Esto casi duplica la memoria necesaria durante la fase de entrenamiento.

En cambio, GRPO es un algoritmo que no necesita crítico. Al muestrear varias salidas para una misma instrucción y puntuarlas mediante un sistema de recompensa basado en reglas o un verificador, GRPO calcula la ventaja normalizando las puntuaciones dentro de ese grupo concreto. Esta comparación relativa actúa como referencia y ahorra la enorme cantidad de memoria que habría ocupado una red de valores, además de acelerar el entrenamiento del modelo en general. Una actualización de GRPO sigue estos pasos:

Aplicaciones reales de GRPO#

GRPO ha impulsado varios avances recientes en IA generativa y procesamiento del lenguaje natural. Entre sus aplicaciones más destacadas se encuentran:

1. Modelos de razonamiento matemático: En la ampliamente citada publicación de DeepSeek-R1 y en DeepSeekMath, se utilizó GRPO para incentivar a los modelos a desarrollar razonamientos extensos en cadena de pensamiento y a verificarse a sí mismos, igualando el rendimiento de modelos propietarios como o1 de OpenAI. Al recompensar las respuestas finales correctas y el formato, el algoritmo permitió que el modelo descubriera de forma orgánica estrategias avanzadas de resolución de problemas sin un ajuste fino exhaustivo con datos anotados por personas.
2. Generación de código y lógica agéntica: En los modelos que escriben código o impulsan flujos de trabajo agénticos autónomos, es difícil evaluar la corrección absoluta. GRPO permite que los modelos aprendan ejecutando variaciones de código y puntuándolas en relación con las demás según si se compilan correctamente o superan las pruebas, lo que acelera el despliegue de asistentes de programación con IA altamente fiables.

Implementación de los conceptos de GRPO en PyTorch#

En esencia, GRPO calcula la ventaja relativa de las respuestas normalizando sus recompensas. A continuación se muestra una implementación básica con PyTorch que ilustra esta normalización mediante operaciones con tensores estándar:

def compute_grpo_advantages(rewards):
    # 'rewards' es un tensor con forma (batch_size, group_size)
    group_mean = rewards.mean(dim=1, keepdim=True)
    group_std = rewards.std(dim=1, keepdim=True)

    # Normaliza las recompensas dentro del grupo para calcular ventajas relativas
    advantages = (rewards - group_mean) / (group_std + 1e-8)
    return advantages

Impulsar la IA con optimización inteligente#

Del mismo modo que GRPO redefine la eficiencia de la generación de texto, las técnicas avanzadas de aprendizaje automático (ML) transforman continuamente la percepción visual. Optimizar las arquitecturas y las funciones de pérdida permite a los desarrolladores crear modelos más ligeros y rápidos en todos los dominios.

En las tareas de visión artificial más avanzadas, también es fundamental explorar las optimizaciones de extremo a extremo. Por ejemplo, Ultralytics YOLO26 admite inferencia nativa de extremo a extremo y sin NMS mediante su cabezal uno a uno (nms=False), y se entrena con optimizadores híbridos inspirados en la investigación sobre LLM, lo que simplifica la implementación en el borde. Los desarrolladores que quieran aprovechar flujos de trabajo eficientes de visión artificial pueden crear, entrenar e implementar modelos fácilmente con la plataforma Ultralytics. Esta herramienta en la nube simplifica la compleja gestión de conjuntos de datos y el ajuste de hiperparámetros para aplicaciones de visión robustas y en tiempo real.