Reinforcement Learning with Verifiable Rewards (RLVR)

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) é um paradigma de treinamento avançado usado para aprimorar as capacidades de raciocínio e resolução de problemas de modelos de inteligência artificial (IA). Ao contrário dos métodos de treinamento tradicionais que dependem de dados de preferência anotados por humanos, o RLVR utiliza sistemas baseados em regras determinísticos para avaliar a saída de um modelo. Ao fornecer uma recompensa binária objetiva — como verificar se um trecho de código gerado compila ou se uma equação matemática foi resolvida corretamente —, o RLVR permite que os modelos aprendam por meio de exploração irrestrita. Esse ciclo de feedback objetivo é um fator chave por trás dos avanços recentes em modelos de raciocínio altamente capazes, permitindo que eles descubram caminhos lógicos ideais e complexos sem intervenção humana contínua.

Link to this sectionPrincípios Fundamentais do RLVR#

Em ambientes de aprendizado de máquina (ML) padrão, um agente de IA aprende maximizando um sinal de recompensa. No RLVR, esse sinal de recompensa é gerado por um sistema de programação rígido, em vez de julgamento humano subjetivo. O processo de aprendizagem baseia-se em alguns passos fundamentais:

• Estratégia de Exploração: O modelo gera múltiplas soluções potenciais ou caminhos de raciocínio para um prompt específico, utilizando frequentemente o "chain-of-thought prompting" (raciocínio encadeado) para decompor tarefas complexas.
• Verificação Determinística: Uma ferramenta externa — como um compilador Python, uma calculadora ou um sistema de percepção de visão computacional (CV) — verifica a saída final em relação a critérios de sucesso objetivos.
• Otimização de Política: Se a saída for comprovadamente correta, o modelo recebe uma recompensa positiva. A política do modelo é então atualizada usando algoritmos de otimização como Group Relative Policy Optimization (GRPO) ou Proximal Policy Optimization (PPO) para favorecer caminhos de raciocínio bem-sucedidos.

Essa abordagem melhora significativamente a eficiência da latência de inferência de um modelo durante o tempo de treinamento e incentiva capacidades de raciocínio emergentes, uma técnica usada recentemente para treinar modelos altamente capazes como o DeepSeek-R1.

Link to this sectionRLVR vs. RLHF e PRMs#

É importante diferenciar o RLVR de outros paradigmas de alinhamento e treinamento no ecossistema de IA:

• vs. Aprendizado por Reforço com Feedback Humano (RLHF): O RLHF baseia-se em um sistema de modelagem de recompensa aprendido e treinado com base em preferências humanas subjetivas. O RLVR elimina o gargalo humano ao confiar estritamente em verdades programáticas e objetivas, tornando-o altamente escalável para tarefas com respostas corretas ou incorretas definitivas.
• vs. Modelo de Recompensa de Processo (PRM): Enquanto os PRMs fornecem feedback granular, passo a passo, ao longo da trajetória de raciocínio de um modelo, o RLVR normalmente foca no resultado verificável ao final de um processo. No entanto, pesquisas recentes de 2025 indicam que otimizar para uma recompensa verificável final no RLVR incentiva implicitamente os passos de raciocínio intermediários corretos também.

Link to this sectionAplicações no Mundo Real#

O RLVR está transformando a forma como sistemas complexos de IA são treinados em vários domínios determinísticos:

• Raciocínio Matemático: Grandes modelos de raciocínio, como a série o da OpenAI, aproveitam o RLVR para resolver teoremas matemáticos complexos. O verificador atua como um motor que prova definitivamente se a resposta derivada pelo modelo está correta, impulsionando significativamente o desempenho em conjuntos de dados de referência.
• Engenharia de Software e Geração de Código: Assistentes de codificação por IA usam o RLVR para escrever, depurar e otimizar código. A recompensa verificável é alcançada quando o código gerado compila com sucesso e passa em uma série de testes unitários automatizados.
• Agentes de Visão Autônomos: Em ambientes físicos, agentes autônomos recebem recompensas verificáveis ao atingir um destino ou manipular um objeto com sucesso. Modelos de visão atuam como verificadores de condições verificáveis nesses espaços.

Link to this sectionImplementando uma Recompensa Verificável em Visão por IA#

Em ambientes físicos e visuais, modelos de percepção como o Ultralytics YOLO26 podem servir como o verificador programático em um loop de RLVR. Por exemplo, se o objetivo de um agente de IA for mover um objeto para uma zona específica, o modelo YOLO pode verificar o sucesso detectando a presença do objeto nessa zona.

O seguinte trecho de Python demonstra um verificador programático conceitual usando o pacote ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

Ao aproveitar plataformas de nuvem como a Plataforma Ultralytics para implantar esses verificadores de percepção, desenvolvedores podem construir pipelines de RLVR robustos e escaláveis que treinam a próxima geração de agentes autônomos e de raciocínio.