Reinforcement Learning from Human Feedback (RLHF)

El aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) es un método de entrenamiento que mejora un modelo de IA utilizando los juicios de las personas sobre sus resultados, en lugar de una función objetivo definida manualmente. Los evaluadores humanos comparan pares o conjuntos de respuestas del modelo; un modelo de recompensa aprende a predecir qué respuesta preferirían, y el aprendizaje por refuerzo realiza a continuación un ajuste fino del modelo original para generar respuestas a las que el modelo de recompensa asigna una puntuación alta. RLHF existe porque las personas reconocen fácilmente cualidades como la utilidad, la honestidad y el tono, pero es casi imposible expresarlas en una función de pérdida. En 2017, Christiano et al. utilizaron este método para enseñar comportamientos novedosos a agentes en juegos de Atari y simuladores robóticos a partir de aproximadamente una hora de comparaciones humanas, y RLHF se convirtió en la etapa final estándar para los modelos de lenguaje de gran tamaño (LLMs) y otros sistemas de IA generativa tras el lanzamiento de InstructGPT y ChatGPT de OpenAI en 2022.

Cómo funciona RLHF#

La receta clásica, descrita en el artículo de InstructGPT, tiene tres etapas:

1. Ajuste fino supervisado (SFT): Se ajusta un modelo base preentrenado con demostraciones escritas por personas, como buenas respuestas a ejemplos de instrucciones, para enseñarle el formato y el tono esperados.
2. Entrenamiento del modelo de recompensa: El modelo SFT genera varias respuestas por instrucción y los etiquetadores las clasifican. Los aproximadamente 40 colaboradores de InstructGPT clasificaron entre 4 y 9 respuestas por instrucción. Se entrena una copia del modelo con una única salida escalar para que asigne puntuaciones más altas a las respuestas preferidas que a las rechazadas.
3. Aprendizaje por refuerzo: El modelo SFT se convierte en una política y se optimiza con la optimización de política proximal (PPO) para maximizar la puntuación del modelo de recompensa, menos una penalización proporcional a su divergencia KL respecto al modelo SFT. La penalización mantiene la política cerca del texto fluido que ha visto el modelo de recompensa y evita que derive hacia resultados extraños que el modelo de recompensa valore en exceso.

El coeficiente KL, que suele escribirse β, determina cuánto puede cambiar la política. El objetivo regularizado por KL tiene un óptimo exacto: las probabilidades de referencia reponderadas por la exponencial de la recompensa dividida por β, que este ejemplo de NumPy calcula para cuatro respuestas candidatas:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

Imprime una política de [0.46 0.3 0.17 0.07] con β = 10, casi igual a la de referencia, y [0. 0. 0. 1.] con β = 0.1, donde toda la probabilidad se asigna a la respuesta a la que el modelo de referencia solo daba un 5 %, con una KL de 3.00. Un β pequeño permite obtener la mayor puntuación del modelo de recompensa y, si el modelo de recompensa valora en exceso esa respuesta poco frecuente, la política aprende a explotar un error en vez de complacer a las personas. La optimización directa de preferencias (DPO) utiliza este mismo óptimo en forma cerrada para entrenar directamente con pares de preferencias, sin un modelo de recompensa independiente ni un ciclo de RL.

Dónde se usa RLHF#

• Asistentes de chat: Los etiquetadores de InstructGPT prefirieron los resultados de su modelo RLHF de 1300 millones de parámetros a los del GPT-3 de 175 000 millones de parámetros. Los modelos de chat Llama 2 de Meta se ajustaron con dos modelos de recompensa distintos: uno para la utilidad y otro para la seguridad.
• Resumen: Los modelos de resumen de OpenAI de 2020, entrenados con comentarios humanos, generaron resúmenes que los evaluadores prefirieron a los resúmenes de referencia escritos por personas de su conjunto de datos.
• Generación de imágenes: Los modelos de recompensa entrenados con valoraciones humanas de imágenes generadas se utilizan para ajustar modelos de texto a imagen y lograr que sigan fielmente las instrucciones y generen imágenes atractivas para las personas.
• Robótica y control: En tareas cuyo éxito es fácil de valorar y difícil de definir, como una marcha de aspecto natural o una trayectoria segura entre una multitud, las personas comparan clips de vídeo breves de los intentos del robot en vez de escribir una función de recompensa.

Los modelos de visión y lenguaje de los principales proveedores reciben el mismo ajuste de preferencias que los chatbots de texto. En Ultralytics Platform Agents, un detector Ultralytics YOLO26 decide qué imágenes requieren una inspección más detallada, y uno de estos modelos de la lista de modelos de Platform, como Google Gemini, sigue la indicación del flujo de trabajo para describirlas.

Limitaciones#

El etiquetado de datos basado en preferencias humanas es lento y caro, y los evaluadores no siempre coinciden entre sí; por eso, el modelo de recompensa aprende un promedio de sus gustos junto con sus puntos ciegos. Además, los evaluadores recompensan las respuestas seguras y complacientes: un estudio de Anthropic sobre cinco asistentes descubrió que los datos de preferencias humanas favorecen las respuestas que coinciden con las opiniones expresadas por el usuario, una de las causas de la adulación de la IA. Optimizar intensamente cualquier recompensa aprendida acaba produciendo pirateo de recompensas, en el que la puntuación del modelo de recompensa sigue subiendo mientras la calidad real cae.

RLHF y métodos relacionados#

• Aprendizaje por refuerzo estándar: El entorno proporciona una recompensa fija, como la puntuación de un juego. RLHF aprende la recompensa a partir de valoraciones humanas porque ninguna recompensa fija refleja el objetivo.
• Modelado de recompensas: El modelo de recompensa es un componente de RLHF: la red que convierte las clasificaciones humanas en una puntuación que el algoritmo de RL puede optimizar.
• IA constitucional: Un modelo de IA, guiado por principios escritos, genera las etiquetas de preferencias en vez de las personas; esta variante se llama aprendizaje por refuerzo a partir de comentarios de IA (RLAIF).
• Aprendizaje por refuerzo con recompensas verificables (RLVR): Un programa comprueba cada respuesta, como un resultado matemático o una prueba unitaria, y proporciona la recompensa. RLVR, normalmente con optimización de política relativa por grupos (GRPO), entrena modelos de razonamiento, y las canalizaciones modernas de posentrenamiento utilizan ambos métodos: recompensas verificables cuando hay un verificador y modelos de recompensa al estilo de RLHF para instrucciones abiertas.