Reinforcement Learning from Human Feedback (RLHF)

A aprendizagem por reforço com feedback humano (RLHF) é um método de treino que melhora um modelo de IA usando as avaliações das pessoas sobre as suas respostas, em vez de um objetivo escrito manualmente. Os avaliadores humanos comparam pares ou conjuntos de respostas do modelo, um modelo de recompensa aprende a prever qual resposta prefeririam e, depois, a aprendizagem por reforço afina o modelo original para produzir respostas às quais o modelo de recompensa atribui pontuações elevadas. A RLHF existe porque é fácil para as pessoas reconhecerem qualidades como utilidade, honestidade e tom, mas quase impossível expressá-las numa função de perda. Em 2017, Christiano et al. usaram-na para ensinar comportamentos novos a agentes em jogos Atari e simuladores robóticos, com cerca de uma hora de comparações humanas. Depois do InstructGPT e do ChatGPT da OpenAI, em 2022, tornou-se a etapa final padrão para grandes modelos de linguagem (LLMs) e outros sistemas de IA generativa, como o InstructGPT da OpenAI.

Como funciona a RLHF#

A receita clássica, descrita no artigo sobre o InstructGPT, tem três etapas:

1. Afinação supervisionada (SFT): Um modelo-base pré-treinado é afinado com demonstrações escritas por pessoas, como boas respostas a prompts de exemplo, o que lhe ensina o formato e o tom esperados.
2. Treino do modelo de recompensa: O modelo SFT gera várias respostas por prompt e os anotadores classificam-nas. Os cerca de 40 contratados do InstructGPT classificaram entre 4 e 9 respostas por prompt. Uma cópia do modelo com uma única saída escalar é treinada para atribuir pontuações mais altas às respostas preferidas do que às rejeitadas.
3. Aprendizagem por reforço: O modelo SFT passa a ser uma política e é otimizado com a Otimização de Política Proximal (PPO) para maximizar a pontuação do modelo de recompensa, menos uma penalização proporcional à divergência KL em relação ao modelo SFT. A penalização mantém a política próxima do texto fluente que o modelo de recompensa já viu e impede que se desvie para respostas estranhas às quais o modelo de recompensa, por acaso, atribua pontuações excessivas.

O coeficiente KL, normalmente representado por β, determina até que ponto a política pode mudar. O objetivo regularizado por KL tem um ótimo exato: as probabilidades de referência reponderadas pela exponencial da recompensa dividida por β. Este exemplo com NumPy calcula-o para quatro respostas candidatas:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

O código imprime uma política [0.46 0.3 0.17 0.07] com β = 10, quase igual à de referência, e [0. 0. 0. 1.] com β = 0.1, na qual toda a probabilidade passa para a resposta à qual o modelo de referência atribuiu apenas 5%, resultando numa KL de 3.00. Um β pequeno proporciona a pontuação mais alta do modelo de recompensa e, se o modelo de recompensa sobrevalorizar essa resposta rara, a política aprende a explorar um erro em vez de agradar às pessoas. A Otimização Direta de Preferências (DPO) usa este mesmo ótimo de forma fechada para treinar diretamente com pares de preferências, sem um modelo de recompensa separado nem um ciclo de RL.

Onde se utiliza a RLHF#

• Assistentes de chat: Os avaliadores do InstructGPT preferiram as respostas do seu modelo RLHF com 1,3 mil milhões de parâmetros às do GPT-3 com 175 mil milhões de parâmetros. Os modelos de chat Llama 2 da Meta foram ajustados com dois modelos de recompensa distintos: um para utilidade e outro para segurança.
• Sumarização: Os modelos de sumarização da OpenAI de 2020, treinados com feedback humano, produziram resumos que os avaliadores preferiram aos resumos de referência escritos por humanos no conjunto de dados.
• Geração de imagens: Os modelos de recompensa treinados com avaliações humanas de imagens geradas são usados para afinar modelos de texto para imagem, de modo a que sigam fielmente os prompts e produzam imagens que agradem às pessoas.
• Robótica e controlo: Em tarefas cujo sucesso é fácil de avaliar, mas difícil de definir, como uma marcha natural ou uma trajetória segura no meio de uma multidão, as pessoas comparam pequenos vídeos das tentativas do robô em vez de escreverem uma função de recompensa.

Os modelos de visão e linguagem dos principais provedores recebem o mesmo ajuste de preferências que os chatbots de texto. Nos agentes da Ultralytics Platform, um detector Ultralytics YOLO26 decide quais imagens precisam de uma análise mais detalhada, e um desses modelos da lista de modelos da Platform, como o Google Gemini, segue o prompt do fluxo de trabalho para descrevê-las.

Limitações#

A rotulagem de dados de preferências humanas é lenta e dispendiosa, e os avaliadores discordam entre si; por isso, o modelo de recompensa aprende uma média das suas preferências, bem como dos seus pontos cegos. Os avaliadores também tendem a recompensar respostas confiantes e concordantes: um estudo da Anthropic com cinco assistentes concluiu que os dados de preferências humanas favorecem respostas que coincidem com as opiniões declaradas pelo utilizador, uma das causas da bajulação da IA. A otimização intensa de qualquer recompensa aprendida acaba por produzir manipulação da recompensa, em que a pontuação do modelo de recompensa continua a subir enquanto a qualidade real diminui.

RLHF vs. métodos relacionados#

• Aprendizagem por reforço padrão: O ambiente fornece uma recompensa fixa, como a pontuação de um jogo. A RLHF aprende a recompensa com base em avaliações humanas, porque nenhuma recompensa fixa representa plenamente o objetivo.
• Modelação da recompensa: O modelo de recompensa é um componente da RLHF: a rede que transforma classificações humanas numa pontuação que o algoritmo de RL pode otimizar.
• IA Constitucional: Um modelo de IA, orientado por princípios escritos, produz os rótulos de preferência em vez de pessoas; esta variante chama-se aprendizagem por reforço com feedback de IA (RLAIF).
• Aprendizagem por reforço com recompensas verificáveis (RLVR): Um programa verifica cada resposta, como um resultado matemático ou um teste unitário, e fornece a recompensa. A RLVR, geralmente com a Otimização de Política Relativa ao Grupo (GRPO), treina modelos de raciocínio, e os pipelines modernos de pós-treino usam ambos: recompensas verificáveis quando existe um verificador e modelos de recompensa ao estilo RLHF para prompts abertos.