Process Reward Model (PRM)

Um modelo de recompensa de processo (PRM) é um modelo de recompensa que avalia cada etapa intermediária de uma solução, geralmente pela probabilidade de ela estar correta, em vez de avaliar apenas a resposta final. Um modelo de recompensa de resultado (ORM) avalia a solução inteira pelo resultado, podendo recompensar uma resposta correta alcançada por etapas incorretas, sem indicar em que ponto uma solução errada saiu do caminho. Os PRMs ordenam e orientam as soluções candidatas de grandes modelos de linguagem (LLMs) e modelos de raciocínio no momento da inferência, além de fornecer recompensas por etapa para o aprendizado por reforço. Pesquisadores da DeepMind compararam os dois tipos de supervisão em problemas de matemática escolar em 2022: o feedback baseado em resultados alcançou uma taxa de erro final semelhante com menos rotulagem, mas o feedback baseado em processos foi necessário para reduzir de 14,0% para 3,4% os erros de raciocínio em soluções com respostas corretas.

Vamos verificar passo a passo#

O artigo da OpenAI de 2023, Let's Verify Step by Step, popularizou os PRMs. Anotadores humanos marcaram cerca de 800.000 etapas em 75.000 soluções para 12.000 problemas do conjunto de dados da competição MATH como positivas, negativas ou neutras; a OpenAI publicou os rótulos como PRM800K. Ao selecionar a melhor entre 1.860 soluções amostradas de um gerador baseado no GPT-4, o PRM resolveu 78,2% de um subconjunto representativo do conjunto de teste MATH, contra 72,4% para um ORM e 69,6% para votação por maioria. Os anotadores recebiam soluções que o PRM atual avaliava muito bem, mas que chegavam a uma resposta errada: uma forma de aprendizado ativo que tornou a rotulagem cerca de 2,6 vezes mais eficiente em termos de dados.

Como se treina um PRM#

Um PRM costuma ser um LLM ajustado finamente para prever, no fim de cada etapa, se ela está correta, treinado com uma função de perda de entropia cruzada em relação aos rótulos das etapas. A rotulagem de dados humana nesse nível de detalhe é cara, então o Math-Shepherd, publicado em dezembro de 2023, criou os rótulos automaticamente: a partir de cada etapa, amostrou várias continuações e rotulou a etapa de acordo com a chegada dessas continuações à resposta correta conhecida. Usar esse PRM para recompensar cada etapa durante o treinamento PPO elevou a precisão do Mistral-7B no GSM8K de 77,9% para 84,1% e no MATH de 28,6% para 33,0%. No entanto, os rótulos automáticos contêm ruído: um estudo de 2025 da equipe Qwen da Alibaba constatou que essas estimativas de Monte Carlo treinavam PRMs mais fracos que os rótulos humanos ou os rótulos de um LLM atuando como avaliador. A equipe lançou o ProcessBench, um benchmark para avaliar a capacidade de um PRM de encontrar a primeira etapa incorreta.

Uso das pontuações de PRM#

Na inferência, um PRM transforma pontuações de etapas em uma escolha. A amostragem best-of-N gera várias soluções completas e mantém a que tem a melhor pontuação agregada; em Let's Verify Step by Step, as probabilidades das etapas eram multiplicadas, e o uso da pontuação mínima das etapas teve desempenho semelhante:

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

A solução B tem a etapa final com maior confiança, 0.98, mas sua segunda etapa obtém 0.24, fazendo o produto cair para 0.224 e o mínimo para 0.24. O PRM seleciona a solução A, cujo produto é 0.806. Ordenar apenas pela etapa final teria selecionado B. O treinamento do Ultralytics YOLO também avalia cada etapa intermediária de uma execução, em vez de apenas o resultado final: com o padrão val=True, o treinador valida após cada época, avalia os pesos com um valor de aptidão igual a mAP50-95 para detecção e salva a época com melhor pontuação como best.pt, junto ao last.pt final.

Um PRM também pode orientar a busca antes de concluir qualquer solução. A busca em feixe mantém apenas as soluções parciais com maior pontuação em cada etapa, a busca em árvore de Monte Carlo (MCTS) usa as mesmas pontuações para decidir quais ramificações expandir, e um estudo de escalonamento de computação no momento do teste feito pelo Google DeepMind e pela UC Berkeley constatou que escolher o método de busca do PRM de acordo com a dificuldade do problema igualava a amostragem best-of-N com até quatro vezes menos computação no momento do teste:

Limitações e termos relacionados#

A equipe do DeepSeek-R1 testou PRMs, mas os abandonou por três motivos: é difícil definir uma etapa detalhada para o raciocínio geral, é difícil automatizar a avaliação da correção de uma etapa intermediária e rotulá-la manualmente custa caro, e um PRM aprendido pode incentivar a manipulação da recompensa durante o treinamento em grande escala. Em vez disso, o DeepSeek-R1 aprendeu por meio da otimização de política relativa a grupos (GRPO), usando verificações baseadas em regras da resposta final, uma abordagem conhecida como aprendizado por reforço com recompensas verificáveis (RLVR). Os modelos de recompensa do aprendizado por reforço com feedback humano (RLHF) avaliam respostas inteiras a partir de comparações de preferências humanas, o que os torna modelos de recompensa de resultado para texto aberto. Um PRM verifica as etapas à medida que uma cadeia de pensamento é escrita, enquanto a cadeia de verificação (CoVe) faz um modelo verificar sua própria resposta final, formulando e respondendo a perguntas de verificação.