Reinforcement Learning with Verifiable Rewards (RLVR)

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est un paradigme d'entraînement avancé utilisé pour améliorer les capacités de raisonnement et de résolution de problèmes des modèles d'intelligence artificielle (IA). Contrairement aux méthodes d'entraînement traditionnelles qui reposent sur des données de préférence annotées par des humains, le RLVR utilise des systèmes basés sur des règles déterministes pour évaluer la sortie d'un modèle. En fournissant une récompense binaire objective — comme le fait de savoir si un morceau de code généré compile ou si une équation mathématique est résolue correctement — le RLVR permet aux modèles d'apprendre par une exploration sans restriction. Cette boucle de rétroaction objective est un moteur clé des récentes percées dans les modèles de raisonnement hautement performants, leur permettant de découvrir des chemins logiques complexes et optimaux sans intervention humaine continue.

Link to this sectionPrincipes fondamentaux du RLVR#

Dans les environnements d'apprentissage automatique (ML) standard, un agent IA apprend en maximisant un signal de récompense. Dans le RLVR, ce signal de récompense est généré par un système de programmation rigide plutôt que par un jugement humain subjectif. Le processus d'apprentissage repose sur quelques étapes fondamentales :

• Stratégie d'exploration : Le modèle génère plusieurs solutions potentielles ou chemins de raisonnement pour une instruction donnée, en utilisant souvent le "chain-of-thought prompting" pour décomposer des tâches complexes.
• Vérification déterministe : Un outil externe — tel qu'un compilateur Python, une calculatrice ou un système de perception de vision par ordinateur (CV) — vérifie la sortie finale par rapport à des critères de succès objectifs.
• Optimisation de politique : Si la sortie est vérifiablement correcte, le modèle reçoit une récompense positive. La politique du modèle est ensuite mise à jour à l'aide d'algorithmes d'optimisation tels que Group Relative Policy Optimization (GRPO) ou Proximal Policy Optimization (PPO) pour favoriser les chemins de raisonnement fructueux.

Cette approche améliore considérablement l'efficacité de la latence d'inférence d'un modèle lors de l'entraînement et encourage les capacités de raisonnement émergentes, une technique récemment utilisée pour entraîner des modèles très performants comme DeepSeek-R1.

Link to this sectionRLVR vs RLHF et PRM#

Il est important de distinguer le RLVR des autres paradigmes d'alignement et d'entraînement dans l'écosystème de l'IA :

• vs. Apprentissage par renforcement à partir de rétroaction humaine (RLHF) : Le RLHF repose sur un système de modélisation de récompense appris, entraîné sur des préférences humaines subjectives. Le RLVR élimine le goulot d'étranglement de l'humain dans la boucle en se fiant strictement à des vérités objectives et programmatiques, ce qui le rend hautement évolutif pour les tâches ayant des réponses définitives, correctes ou incorrectes.
• vs. Modèle de récompense de processus (PRM) : Alors que les PRM fournissent une rétroaction granulaire, étape par étape, tout au long de la trajectoire de raisonnement d'un modèle, le RLVR se concentre généralement sur le résultat vérifiable à la fin d'un processus. Cependant, des recherches récentes de 2025 indiquent que l'optimisation pour une récompense finale vérifiable dans le RLVR incite implicitement à des étapes de raisonnement intermédiaires correctes également.

Link to this sectionApplications concrètes#

Le RLVR transforme la manière dont les systèmes d'IA complexes sont entraînés dans divers domaines déterministes :

• Raisonnement mathématique : Les grands modèles de raisonnement comme la série o d'OpenAI exploitent le RLVR pour résoudre des théorèmes mathématiques complexes. Le vérificateur agit comme un moteur qui prouve de manière définitive si la réponse dérivée par le modèle est correcte, augmentant considérablement les performances sur les jeux de données de référence.
• Ingénierie logicielle et génération de code : Les assistants de codage IA utilisent le RLVR pour écrire, déboguer et optimiser le code. La récompense vérifiable est obtenue lorsque le code généré compile avec succès et réussit une série de tests unitaires automatisés.
• Agents de vision autonomes : Dans les environnements physiques, les agents autonomes reçoivent des récompenses vérifiables lorsqu'ils atteignent une destination cible ou manipulent un objet avec succès. Les modèles de vision agissent comme le vérificateur de condition vérifiable dans ces espaces.

Link to this sectionImplémentation d'une récompense vérifiable dans la vision par IA#

Dans les environnements physiques et visuels, des modèles de perception comme Ultralytics YOLO26 peuvent servir de vérificateur programmatique dans une boucle RLVR. Par exemple, si l'objectif d'un agent IA est de déplacer un objet dans une zone spécifique, le modèle YOLO peut vérifier le succès en détectant la présence de l'objet dans cette zone.

L'extrait Python suivant démontre un vérificateur programmatique conceptuel utilisant le package ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

En exploitant des plateformes cloud comme la plateforme Ultralytics pour déployer ces vérificateurs de perception, les développeurs peuvent construire des pipelines RLVR robustes et évolutifs qui entraînent la prochaine génération d'agents autonomes et de raisonnement.