Reward Modeling

El modelado de recompensas es una técnica de aprendizaje automático utilizada para enseñar a los sistemas de inteligencia artificial a evaluar y priorizar sus propios comportamientos basándose en preferencias humanas. En los entornos tradicionales de reinforcement learning, un AI agent aprende maximizando una función de recompensa matemáticamente rígida y predefinida, como la puntuación en un videojuego. Sin embargo, para tareas complejas del mundo real donde el comportamiento "bueno" es subjetivo o matizado —como escribir un correo electrónico educado o navegar de forma segura por una intersección—, escribir una función de recompensa impecable a mano es casi imposible. El modelado de recompensas resuelve esto entrenando una neural network secundaria (el modelo de recompensa) para actuar como un proxy del juicio humano. Este modelo evalúa las salidas de la IA principal y asigna puntuaciones escalares, guiando dinámicamente al modelo principal hacia comportamientos seguros, útiles y precisos.

Link to this sectionCómo funciona el modelado de recompensas#

El flujo de trabajo para construir un modelo de recompensa depende en gran medida de la recopilación de retroalimentación humana de alta calidad.

• Data Labeling y preferencias: Se presentan a los anotadores humanos diversos mensajes junto con múltiples respuestas generadas por un modelo de IA. Los evaluadores clasifican estas respuestas de mejor a peor basándose en criterios como la utilidad, la inocuidad y la precisión. La gestión de estos flujos de trabajo de anotación a gran escala se puede manejar sin problemas utilizando la Ultralytics Platform.
• Entrenamiento de la red proxy: Se entrena una red neuronal especializada con este conjunto de datos de comparaciones humanas. A través de un proceso de optimización, aprende a predecir qué salida preferiría un humano, mapeando los embeddings de una acción o respuesta de texto a un valor de recompensa escalar único. Puedes leer más sobre la creación de arquitecturas de redes neuronales en la PyTorch API documentation.
• Optimización de políticas: El modelo principal utiliza la retroalimentación continua del modelo de recompensa para refinar sus acciones, utilizando habitualmente algoritmos como Proximal Policy Optimization (PPO). Este paso alinea iterativamente la política del modelo con la intención humana aprendida.

Link to this sectionModelado de recompensas frente a RLHF#

Es importante diferenciar el modelado de recompensas del Reinforcement Learning from Human Feedback (RLHF). Aunque ambos términos se discuten frecuentemente juntos, no son sinónimos. RLHF es el flujo de trabajo integral de extremo a extremo utilizado para alinear modelos, que abarca el ajuste fino supervisado, la recopilación de datos y las actualizaciones de políticas. El modelado de recompensas es un componente específico y crucial dentro del flujo de trabajo de RLHF. Sirve como el puente que traduce las clasificaciones humanas discretas en una señal matemática continua contra la cual el algoritmo de aprendizaje por refuerzo puede optimizar.

Link to this sectionAplicaciones en el mundo real#

El modelado de recompensas es fundamental para desarrollar sistemas de IA modernos que interactúan directamente con los humanos y el mundo físico.

• Large Language Models (LLMs): Los asistentes de IA conversacional dependen de modelos de recompensa para garantizar que sus respuestas no solo sean fácticamente correctas, sino también educadas, relevantes y libres de lenguaje tóxico. Las organizaciones que exploran la AI safety avanzan continuamente en el modelado de recompensas para construir sistemas que reflejen una helpful and harmless AI alignment.
• Autonomous Vehicles y robótica: En la automatización física, los modelos de recompensa ayudan a los robots a comprender la etiqueta de conducción compleja o las estrategias de manipulación de objetos. Un sistema de percepción impulsado por Ultralytics YOLO26 podría detectar peatones y señales de tráfico, mientras que un modelo de recompensa evalúa la trayectoria planificada del vehículo, asegurando que la IA priorice la comodidad y seguridad de los pasajeros sobre una navegación punto a punto puramente agresiva.

Link to this sectionImplementación de un concepto básico de modelo de recompensa#

El siguiente ejemplo en Python utiliza torch para demostrar la estructura fundamental de un modelo de recompensa. En la práctica, esta red aprende a asignar una puntuación escalar más alta a una salida que se alinea con las preferencias humanas.

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

Para profundizar en cómo la alineación afecta a los modelos base de código abierto, explora investigaciones fundamentales sobre cómo alinear modelos de lenguaje con la intención humana y aprende cómo los sistemas de computer vision (CV) aprovechan bucles de retroalimentación avanzados para interactuar de forma segura con entornos dinámicos.