Licence YOLO
Retour au glossaire Ultralytics

Reinforcement Learning with Verifiable Rewards (RLVR)

L’apprentissage par renforcement avec récompenses vérifiables (RLVR) entraîne des modèles à partir de vérifications automatiques, comme la réussite de tests unitaires ou la correspondance avec une réponse mathématique connue.

L’apprentissage par renforcement avec récompenses vérifiables (RLVR) est une méthode d’entraînement des grands modèles de langage (LLMs) et d’autres modèles génératifs par apprentissage par renforcement, où la récompense provient d’un programme qui vérifie chaque sortie par rapport à un résultat correct connu. Une réponse mathématique correspond à la référence ou non, et le code généré réussit ou échoue aux tests unitaires. Ces vérifications sont peu coûteuses et objectives : RLVR peut donc s’exécuter pendant plusieurs milliers d’étapes d’entraînement. C’est une technique fondamentale des modèles de raisonnement, qui suivent une longue chaîne de raisonnement avant de répondre. AI2 a nommé cette méthode dans son rapport Tülu 3 en novembre 2024, puis DeepSeek-R1 l’a largement fait connaître en janvier 2025. Son modèle R1-Zero a alors appris à raisonner étape par étape avec efficacité grâce aux seules récompenses de précision et de format fondées sur des règles, sans ajustement fin supervisé préalable.

Fonctionnement de RLVR#

L’entraînement commence par un modèle préentraîné, généralement ajusté aux instructions, et un ensemble d’invites dont les réponses peuvent être vérifiées par un programme. Pour chaque invite, le modèle échantillonne plusieurs réponses, un vérificateur attribue un score à chacune, puis un algorithme de gradient de politique comme l’optimisation de politique proximale (PPO) ou l’optimisation de politique relative au groupe (GRPO) augmente la probabilité des réponses dont le score dépasse les attentes — dans GRPO, cela signifie qu’il est supérieur à la moyenne du groupe — et diminue celle des autres. L’écrêtage et, dans de nombreuses configurations, une pénalité KL maintiennent le modèle mis à jour près de son état initial. Le modèle ne voit jamais de solution détaillée : il apprend uniquement lesquelles de ses propres tentatives ont réussi. Chaque schéma de raisonnement qu’il renforce est donc un schéma qu’il a produit lui-même.

Le vérificateur et la comparaison au sein du groupe tiennent en quelques lignes. Cet exemple évalue quatre réponses échantillonnées pour une invite mathématique en extrayant la réponse finale d’une balise \boxed{}, le format de réponse que DeepSeek-R1 exigeait en mathématiques, puis calcule les avantages relatifs au groupe de GRPO :

import re

import numpy as np

reference = "42"  # réponse connue à l’invite d’entraînement
completions = [  # un groupe de réponses échantillonnées pour la même invite
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # réponse numérique correcte, mais sans réponse finale au format exigé
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# Vérificateur : extraire la réponse finale encadrée et la comparer à la référence
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# Avantages de type GRPO : chaque récompense est calculée par rapport à la moyenne du groupe, puis divisée par l’écart-type du groupe
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

Le code affiche les récompenses [1. 0. 0. 1.] et les avantages [ 1. -1. -1. 1.]. Les deux réponses correctes sont renforcées, tandis que la troisième est pénalisée même si elle contient 42, car elle ne fournit jamais de réponse finale au format exigé.

Ce qui rend une récompense vérifiable#

Une récompense vérifiable nécessite une vérité terrain et un programme qui compare la sortie à celle-ci. Parmi les vérificateurs courants, on trouve :

  • Réponses mathématiques : La réponse finale est analysée et comparée à la référence après normalisation des formes équivalentes, comme 1/2 et 0.5, une opération prise en charge par des bibliothèques comme Math-Verify.
  • Code : Les programmes générés s’exécutent dans un bac à sable et sont évalués par rapport à des tests unitaires. La récompense dépend de la réussite des tests ou de leur proportion réussie.
  • Respect des instructions : contraintes qu’un programme peut vérifier, comme une limite de mots, des mots-clés obligatoires ou un JSON valide. Tülu 3 a appliqué RLVR à ce type de respect précis des instructions, en plus des mathématiques.
  • Format : une petite récompense est accordée lorsque le raisonnement et la réponse finale sont placés dans les balises attendues. DeepSeek-R1 a combiné cette récompense à celle de précision.
  • Tâches de vision : l’intersection sur l’union de boîtes annotées évalue les réponses de localisation, et des détecteurs d’objets vérifient les images générées.

GenEval utilise un détecteur d’objets pour vérifier qu’une image générée contient les objets, le nombre, les couleurs et les positions demandés par l’invite. Flow-GRPO a utilisé ces scores fondés sur des règles comme récompense pour faire passer la précision GenEval de Stable Diffusion 3.5 Medium de 63 % à 95 %. Un détecteur Ultralytics YOLO26 peut jouer le même rôle de vérificateur et transformer une invite telle que « quatre personnes à un arrêt de bus » en une récompense de comptage :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVR par rapport à RLHF et aux récompenses de processus#

RLVR côtoie d’autres méthodes pour transformer les commentaires en signal d’entraînement :

  • Apprentissage par renforcement à partir des retours humains (RLHF) : Un modèle de récompense, entraîné à partir de comparaisons de préférences humaines, évalue les sorties. Cette approche prend en compte des qualités subjectives comme le ton et l’utilité, mais un évaluateur appris a des angles morts qu’une politique peut exploiter. Pour cette raison, DeepSeek-R1 a évité les modèles de récompense neuronaux pour le raisonnement. Sa dernière étape d’entraînement a associé des récompenses fondées sur des règles pour les invites de raisonnement à des modèles de récompense appris pour les invites générales.
  • Modèles de récompense de processus (PRMs) : ils évaluent chaque étape intermédiaire du raisonnement. RLVR récompense généralement uniquement le résultat final, moins coûteux à obtenir et plus difficile à manipuler.
  • Optimisation directe des préférences (DPO) : DPO apprend hors ligne à partir de paires fixes de réponses préférées et rejetées, sans échantillonnage ni vérificateur pendant l’entraînement.

Les pipelines d’entraînement choisissent souvent la source de récompense invite par invite et se rabattent sur les retours de l’IA selon le modèle de l’IA constitutionnelle lorsqu’il n’existe ni vérificateur ni étiquettes humaines :

Points forts et limites#

Comme la récompense ne nécessite aucune intervention humaine, RLVR peut évoluer avec la puissance de calcul et l’offre de problèmes vérifiables. Il produit aussi des comportements que personne n’a explicitement définis : les réponses de DeepSeek-R1-Zero sont devenues progressivement plus longues au cours de l’entraînement, car le modèle a appris à revérifier et à corriger son propre travail. Des bibliothèques comme l’entraîneur TRL GRPO de Hugging Face acceptent une fonction de récompense personnalisée. Tu peux donc y intégrer directement n’importe quel vérificateur similaire à ceux présentés ci-dessus.

Cette méthode ne s’applique qu’aux tâches dont les réponses sont vérifiables, et un vérificateur faible favorise le piratage de récompense : un modèle de programmation récompensé pour la réussite des tests peut apprendre à traiter des cas particuliers ou à modifier les tests au lieu de corriger le code. Les chercheurs ne s’accordent pas non plus sur ce que RLVR apporte. Une étude de 2025 sur des modèles entraînés avec RLVR a constaté qu’ils surpassaient leurs modèles de base avec une tentative par problème, alors que les modèles de base en résolvaient davantage après plusieurs tentatives. Cela laisse penser que RLVR concentre surtout la probabilité sur des solutions que le modèle de base pouvait déjà produire. Un article de suivi n’a compté un échantillon comme correct que si sa réponse et sa chaîne de raisonnement étaient toutes deux exactes. Selon cette mesure CoT-Pass@K, un Qwen2.5-32B entraîné avec RLVR est resté devant son modèle de base pour chaque K jusqu’à 1 024 sur AIME 2024 et AIME 2025.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique