Reward Modeling

El modelado de recompensas es una técnica de aprendizaje automático que se utiliza para enseñar a los sistemas de inteligencia artificial a evaluar y priorizar sus propios comportamientos basándose en las preferencias humanas. En los entornos de aprendizaje por refuerzo tradicionales, un agente de IA aprende maximizando una función de recompensa predefinida y matemáticamente rígida, como la puntuación en un videojuego. Sin embargo, para tareas complejas del mundo real donde el comportamiento "bueno" es subjetivo o matizado —como escribir un correo electrónico educado o navegar por una intersección de forma segura—, escribir una función de recompensa perfecta a mano es casi imposible. El modelado de recompensas resuelve esto entrenando una red neuronal secundaria (el modelo de recompensa) para que actúe como un sustituto del juicio humano. Este modelo evalúa las salidas de la IA principal y asigna puntuaciones escalares, guiando dinámicamente al modelo principal hacia comportamientos seguros, útiles y precisos.

Cómo funciona el modelado de recompensas#

El flujo de trabajo para construir un modelo de recompensa depende en gran medida de la recopilación de retroalimentación humana de alta calidad.

• Etiquetado de datos y preferencias: A los anotadores humanos se les proporcionan indicaciones junto con múltiples respuestas generadas por un modelo de IA. Los evaluadores clasifican estas respuestas de mejor a peor basándose en criterios como la utilidad, la inofensividad y la precisión. La gestión de estos flujos de trabajo de anotación a gran escala se puede realizar sin problemas utilizando Ultralytics Platform.
• Entrenamiento de la red sustituta: Se entrena una red neuronal especializada con este conjunto de datos de comparaciones humanas. A través de un proceso de optimización, aprende a predecir qué salida preferiría un humano, mapeando los embeddings de una acción o respuesta de texto a un solo valor de recompensa escalar. Puedes leer más sobre la construcción de arquitecturas de redes neuronales en la documentación de la API de PyTorch.
• Optimización de políticas: El modelo principal utiliza la retroalimentación continua del modelo de recompensa para perfeccionar sus acciones, utilizando normalmente algoritmos como Proximal Policy Optimization (PPO). Este paso alinea de forma iterativa la política del modelo con la intención humana aprendida.

Modelado de recompensas frente a RLHF#

Es importante diferenciar el modelado de recompensas del Reinforcement Learning from Human Feedback (RLHF). Aunque los dos términos se discuten frecuentemente juntos, no son sinónimos. RLHF es el proceso completo de extremo a extremo utilizado para alinear modelos, que abarca el ajuste fino supervisado, la recopilación de datos y las actualizaciones de políticas. El modelado de recompensas es un componente específico y crucial dentro del proceso de RLHF. Sirve como el puente que traduce las clasificaciones humanas discretas en una señal matemática continua que el algoritmo de aprendizaje por refuerzo puede optimizar.

Aplicaciones en el mundo real#

El modelado de recompensas es fundamental para desarrollar sistemas de IA modernos que interactúan directamente con los humanos y el mundo físico.

• Modelos de Lenguaje Grande (LLMs): Los asistentes de IA conversacional dependen de los modelos de recompensa para garantizar que sus respuestas no solo sean fácticamente correctas, sino también educadas, relevantes y libres de lenguaje tóxico. Las organizaciones que exploran la seguridad de la IA avanzan continuamente en el modelado de recompensas para construir sistemas que reflejen la alineación de una IA útil e inofensiva.
• Vehículos autónomos y robótica: En la automatización física, los modelos de recompensa ayudan a los robots a entender la etiqueta de conducción compleja o las estrategias de manipulación de objetos. Un sistema de percepción impulsado por Ultralytics YOLO26 puede detectar peatones y señales de tráfico, mientras que un modelo de recompensa evalúa la trayectoria planificada del vehículo, asegurando que la IA priorice la comodidad y la seguridad de los pasajeros por encima de una navegación de punto a punto puramente agresiva.

Implementación de un concepto básico de modelo de recompensa#

El siguiente ejemplo en Python utiliza torch para demostrar la estructura fundamental de un modelo de recompensa. En la práctica, esta red aprende a asignar una puntuación escalar más alta a una salida que se alinea con las preferencias humanas.

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

Para profundizar en cómo la alineación afecta a los modelos base de código abierto, explora la investigación fundamental sobre la alineación de modelos de lenguaje con la intención humana y aprende cómo los sistemas de visión artificial (CV) aprovechan los bucles de retroalimentación avanzados para interactuar de forma segura con entornos dinámicos.