Reward Modeling

A modelagem de recompensa é uma técnica de aprendizado de máquina usada para ensinar sistemas de inteligência artificial a avaliar e priorizar seus próprios comportamentos com base em preferências humanas. Em ambientes tradicionais de reinforcement learning, um AI agent aprende maximizando uma função de recompensa matematicamente rígida e predefinida, como a pontuação em um videogame. No entanto, para tarefas complexas do mundo real, onde o comportamento "bom" é subjetivo ou sutil — como escrever um e-mail educado ou navegar em um cruzamento com segurança — escrever uma função de recompensa perfeita manualmente é quase impossível. A modelagem de recompensa resolve isso treinando uma neural network secundária (o modelo de recompensa) para atuar como um proxy para o julgamento humano. Esse modelo avalia as saídas da IA primária e atribui pontuações escalares, guiando dinamicamente o modelo principal em direção a comportamentos seguros, úteis e precisos.

Link to this sectionComo a Modelagem de Recompensa Funciona#

O pipeline para construir um modelo de recompensa depende fortemente da coleta de feedback humano de alta qualidade.

• Data Labeling e Preferências: Anotadores humanos recebem prompts juntamente com múltiplas respostas geradas por um modelo de IA. Os avaliadores classificam essas respostas da melhor para a pior com base em critérios como utilidade, inofensividade e precisão. O gerenciamento desses fluxos de trabalho de anotação em larga escala pode ser feito perfeitamente usando a Ultralytics Platform.
• Treinando a Rede Proxy: Uma rede neural especializada é treinada nesse conjunto de dados de comparações humanas. Por meio de um processo de otimização, ela aprende a prever qual saída um humano preferiria, mapeando os embeddings de uma ação ou resposta de texto para um único valor de recompensa escalar. Você pode ler mais sobre a construção de arquiteturas de redes neurais na PyTorch API documentation.
• Otimização de Política: O modelo primário usa o feedback contínuo do modelo de recompensa para refinar suas ações, normalmente utilizando algoritmos como Proximal Policy Optimization (PPO). Esta etapa alinha iterativamente a política do modelo com a intenção humana aprendida.

Link to this sectionModelagem de Recompensa vs. RLHF#

É importante diferenciar a modelagem de recompensa do Reinforcement Learning from Human Feedback (RLHF). Embora os dois termos sejam frequentemente discutidos juntos, eles não são sinônimos. RLHF é o pipeline abrangente de ponta a ponta usado para alinhar modelos, abrangendo ajuste fino supervisionado, coleta de dados e atualizações de política. A modelagem de recompensa é um componente específico e crucial dentro do pipeline RLHF. Ele serve como a ponte que traduz classificações humanas discretas em um sinal matemático contínuo contra o qual o algoritmo de aprendizado por reforço pode otimizar.

Link to this sectionAplicações no Mundo Real#

A modelagem de recompensa é fundamental no desenvolvimento de sistemas de IA modernos que interagem diretamente com humanos e com o mundo físico.

• Large Language Models (LLMs): Assistentes de IA conversacionais dependem de modelos de recompensa para garantir que suas respostas não sejam apenas factualmente corretas, mas também educadas, relevantes e livres de linguagem tóxica. Organizações que exploram AI safety avançam continuamente na modelagem de recompensa para construir sistemas que reflitam um helpful and harmless AI alignment.
• Autonomous Vehicles e Robótica: Na automação física, modelos de recompensa ajudam robôs a entender etiqueta de direção complexa ou estratégias de manipulação de objetos. Um sistema de percepção alimentado pelo Ultralytics YOLO26 pode detectar pedestres e sinais de trânsito, enquanto um modelo de recompensa avalia a trajetória planejada do veículo, garantindo que a IA priorize o conforto e a segurança dos passageiros em detrimento de uma navegação ponto a ponto puramente agressiva.

Link to this sectionImplementando um Conceito de Modelo de Recompensa Básico#

O exemplo em Python a seguir usa torch para demonstrar a estrutura fundamental de um modelo de recompensa. Na prática, esta rede aprende a atribuir uma pontuação escalar mais alta a uma saída que se alinha com as preferências humanas.

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

Para um mergulho mais profundo em como o alinhamento impacta os modelos de base de código aberto, explore pesquisas fundamentais sobre o alinhamento de modelos de linguagem com a intenção humana e aprenda como sistemas de computer vision (CV) aproveitam loops de feedback avançados para interagir com segurança com ambientes dinâmicos.