Licenciar o YOLO
Voltar ao glossário da Ultralytics

Reinforcement Learning with Verifiable Rewards (RLVR)

A aprendizagem por reforço com recompensas verificáveis (RLVR) treina modelos com verificações automáticas, como a aprovação em testes unitários ou a correspondência com uma resposta matemática conhecida.

A aprendizagem por reforço com recompensas verificáveis (RLVR) é uma forma de treinar modelos de linguagem de grande porte (LLMs) e outros modelos generativos com aprendizagem por reforço, em que a recompensa provém de um programa que compara cada resultado com uma resposta correta conhecida. Uma resposta matemática corresponde à referência ou não, e o código gerado passa os testes unitários ou falha. Estas verificações são baratas e objetivas, pelo que a RLVR pode ser executada durante muitos milhares de etapas de treino; é também uma técnica central por detrás dos modelos de raciocínio, que desenvolvem uma longa cadeia de pensamento antes de responder. A AI2 deu nome ao método no seu relatório Tülu 3, em novembro de 2024, e o DeepSeek-R1 chamou-lhe muita atenção em janeiro de 2025, quando o seu modelo R1-Zero aprendeu a raciocinar passo a passo com recompensas de precisão e formato baseadas em regras, sem qualquer ajuste fino supervisionado prévio.

Como funciona a RLVR#

O treino começa com um modelo pré-treinado, normalmente ajustado para seguir instruções, e um conjunto de instruções cujas respostas podem ser verificadas por um programa. Para cada instrução, o modelo gera várias respostas por amostragem, um verificador atribui uma pontuação a cada uma e um algoritmo de gradiente de política, como a otimização de política proximal (PPO) ou a otimização de política relativa ao grupo (GRPO), aumenta a probabilidade das respostas com pontuação superior à esperada — o que, em GRPO, significa acima da média do grupo — e reduz a das restantes. A limitação das atualizações e, em muitas receitas, uma penalização KL mantêm o modelo atualizado próximo do ponto de partida. O modelo nunca vê uma solução resolvida: aprende apenas quais das suas próprias tentativas foram bem-sucedidas, pelo que cada padrão de raciocínio que reforça é um padrão que ele próprio produziu.

O verificador e a comparação dentro do grupo cabem em poucas linhas. Este esboço atribui uma pontuação a quatro respostas amostradas para uma instrução matemática, extraindo a resposta final de uma etiqueta \boxed{}, o formato de resposta que o DeepSeek-R1 exigia para matemática, e calcula depois as vantagens relativas ao grupo da GRPO:

import re

import numpy as np

reference = "42"  # resposta correta à instrução de treino
completions = [  # um grupo de respostas amostradas para a mesma instrução
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # número correto, mas sem resposta final no formato exigido
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# Verificador: extrair a resposta final em caixa e compará-la com a referência
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# Vantagens ao estilo GRPO: cada recompensa em relação à média do grupo, normalizada pelo desvio-padrão do grupo
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

Imprime recompensas de [1. 0. 0. 1.] e vantagens de [ 1. -1. -1. 1.]. As duas respostas corretas são reforçadas, e a terceira é penalizada apesar de conter 42, porque nunca apresenta uma resposta final no formato exigido.

O que torna uma recompensa verificável#

Uma recompensa verificável exige uma verdade de referência e um programa que compare o resultado com ela. Os verificadores comuns incluem:

  • Respostas matemáticas: A resposta final é analisada e comparada com a referência após normalizar formas equivalentes, como 1/2 e 0.5, tarefa que bibliotecas como a Math-Verify executam.
  • Código: Os programas gerados são executados numa sandbox e comparados com testes unitários; a recompensa depende de os testes serem aprovados e, eventualmente, da respetiva proporção.
  • Seguimento de instruções: Restrições que um programa pode testar, como um limite de palavras, palavras-chave obrigatórias ou JSON válido. O Tülu 3 aplicou RLVR a este tipo de seguimento preciso de instruções, além da matemática.
  • Formato: Uma pequena recompensa por colocar o raciocínio e a resposta final nas etiquetas esperadas, o que o DeepSeek-R1 combinou com a recompensa de precisão.
  • Tarefas de visão: A interseção sobre união com caixas delimitadoras anotadas avalia respostas de localização, e os detetores de objetos verificam imagens geradas.

A GenEval usa um detetor de objetos para verificar se uma imagem gerada contém os objetos, as quantidades, as cores e as posições solicitados na instrução; a Flow-GRPO usou essas pontuações baseadas em regras como recompensa para aumentar a precisão da GenEval do Stable Diffusion 3.5 Medium de 63% para 95%. Um detetor Ultralytics YOLO26 pode funcionar como o mesmo tipo de verificador, convertendo uma instrução como «quatro pessoas numa paragem de autocarro» numa recompensa por contagem:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVR vs. RLHF e recompensas de processo#

A RLVR junta-se a outras formas de converter feedback num sinal de treino:

  • Aprendizagem por reforço a partir do feedback humano (RLHF): Um modelo de recompensa aprendido a partir de comparações de preferências humanas avalia os resultados. Abrange qualidades subjetivas, como o tom e a utilidade, mas um avaliador aprendido tem pontos cegos que uma política pode explorar. Por esse motivo, o DeepSeek-R1 evitou modelos de recompensa neuronais para o raciocínio; na etapa final de treino, combinou recompensas baseadas em regras para instruções de raciocínio com modelos de recompensa aprendidos para instruções gerais.
  • Modelos de recompensa de processo (PRMs): Avaliam cada etapa intermédia do raciocínio. A RLVR costuma recompensar apenas o resultado final, que é mais barato de obter e mais difícil de manipular.
  • Otimização direta de preferências (DPO): A DPO aprende offline a partir de pares fixos de respostas preferidas e rejeitadas, sem amostragem nem verificador durante o treino.

As pipelines de treino escolhem muitas vezes a fonte de recompensa instrução a instrução, recorrendo a feedback de IA ao estilo da IA Constitucional quando não há verificador nem rótulos humanos:

Pontos fortes e limitações#

Como a recompensa não requer um humano no circuito, a RLVR escala com o poder computacional e com a disponibilidade de problemas verificáveis, e produz comportamentos que ninguém programou: as respostas do DeepSeek-R1-Zero foram ficando progressivamente mais longas durante o treino, à medida que o modelo aprendeu a rever e corrigir o próprio trabalho. Bibliotecas como o treinador GRPO TRL da Hugging Face aceitam uma função de recompensa personalizada, pelo que qualquer verificador como os anteriores pode ser integrado diretamente.

O método só abrange tarefas com respostas verificáveis, e um verificador fraco abre caminho à manipulação da recompensa: um modelo de programação recompensado por passar nos testes pode aprender a tratar casos específicos ou a editar os próprios testes, em vez de corrigir o código. Os investigadores também discordam sobre o que a RLVR acrescenta. Um estudo de 2025 sobre modelos treinados com RLVR concluiu que estes superavam os respetivos modelos de base com uma tentativa por problema, enquanto os modelos de base resolviam mais problemas quando podiam fazer várias tentativas, o que sugere que a RLVR concentra sobretudo a probabilidade em soluções que o modelo de base já conseguia produzir. Um artigo de acompanhamento considerou uma amostra correta apenas quando tanto a resposta como a cadeia de raciocínio estavam corretas; segundo essa medida CoT-Pass@K, um Qwen2.5-32B treinado com RLVR manteve-se à frente do respetivo modelo de base para todos os valores de K até 1.024, no AIME 2024 e no AIME 2025.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina