Reinforcement Learning

L’apprentissage par renforcement (RL) est un sous-domaine de l’apprentissage automatique (ML) axé sur les objectifs, dans lequel un système autonome, appelé agent, apprend à prendre des décisions en effectuant des actions et en recevant des retours de son environnement. Contrairement à l’apprentissage supervisé, qui repose sur des jeux de données statiques étiquetés avec les bonnes réponses, les algorithmes de RL apprennent par un processus dynamique d’essais et d’erreurs. L’agent interagit avec une simulation ou le monde réel et observe les conséquences de ses actions pour déterminer quelles stratégies génèrent les récompenses à long terme les plus élevées. Cette approche s’apparente au concept psychologique de conditionnement opérant, où le comportement est façonné au fil du temps par le renforcement positif (récompenses) et le renforcement négatif (punitions).

Concepts fondamentaux de la boucle de RL#

Pour comprendre le fonctionnement du RL, il est utile de le visualiser comme un cycle continu d’interactions. Ce cadre est souvent formalisé mathématiquement sous la forme d’un processus décisionnel de Markov (MDP), qui structure la prise de décision dans des situations où les résultats sont en partie aléatoires et en partie contrôlés par le décideur.

Les principaux composants de cette boucle d’apprentissage sont les suivants :

• Agent d’IA : L’entité chargée d’apprendre et de prendre des décisions. Elle perçoit l’environnement et effectue des actions pour maximiser son succès cumulatif.
• Environnement : Le monde extérieur dans lequel l’agent évolue. Il peut s’agir d’un jeu vidéo complexe, d’une simulation de marché financier ou d’un entrepôt physique dans le domaine de l’IA appliquée à la logistique.
• État : Un instantané ou une représentation de la situation actuelle. Dans les applications visuelles, cela implique souvent de traiter les flux des caméras à l’aide de la vision par ordinateur (CV) pour détecter les objets et les obstacles.
• Action : Le mouvement ou le choix précis effectué par l’agent. L’ensemble complet des mouvements possibles est appelé espace d’action.
• Récompense : Un signal numérique envoyé par l’environnement à l’agent après une action. Une fonction de récompense bien conçue attribue des valeurs positives aux actions bénéfiques et des pénalités aux actions nuisibles.
• Politique : La stratégie ou l’ensemble de règles que l’agent utilise pour déterminer l’action suivante en fonction de l’état actuel. Des algorithmes comme Q-learning définissent la manière dont cette politique est mise à jour et optimisée.

Applications concrètes#

L’apprentissage par renforcement a dépassé le cadre de la recherche théorique pour donner lieu à des déploiements pratiques à fort impact dans divers secteurs.

• Robotique avancée : Dans le domaine de l’IA appliquée à la robotique, le RL permet aux machines de maîtriser des compétences motrices complexes difficiles à programmer en dur. Les robots peuvent apprendre à saisir des objets irréguliers ou à se déplacer sur des terrains accidentés en s’entraînant dans des moteurs physiques comme NVIDIA Isaac Sim avant d’être déployés dans le monde réel.
• Systèmes autonomes : Les véhicules autonomes utilisent le RL pour prendre des décisions en temps réel dans des situations de circulation imprévisibles. Alors que les modèles de détection d’objets identifient les piétons et les panneaux, les algorithmes de RL aident à déterminer des politiques de conduite sûres pour les changements de voie et la traversée des intersections.
• Optimisation stratégique : Le RL a attiré l’attention du monde entier lorsque des systèmes comme AlphaGo de Google DeepMind ont vaincu des champions du monde humains à des jeux de plateau complexes. Au-delà des jeux, ces agents optimisent la logistique industrielle, par exemple en contrôlant les systèmes de refroidissement des centres de données pour réduire la consommation d’énergie.

Associer la vision au RL#

Dans de nombreuses applications modernes, l’« état » observé par un agent est visuel. Des modèles hautes performances comme YOLO26 servent de couche de perception aux agents de RL en convertissant les images brutes en données structurées. Ces informations traitées — par exemple l’emplacement et la classe des objets — constituent l’état que la politique de RL utilise pour choisir une action.

L’exemple suivant montre comment utiliser le package ultralytics pour traiter une image d’un environnement et créer une représentation de l’état (par exemple, le nombre d’objets) pour une boucle de RL théorique.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the agent's vision system
model = YOLO("yolo26n.pt")

# Simulate the agent observing the environment (an image frame)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Process the frame to extract the current 'state'
results = model(observation_frame)

# The agent uses detection data to inform its next action
# For example, an autonomous delivery robot might stop if it sees people
num_objects = len(results[0].boxes)
print(f"Agent Observation: {num_objects} objects detected. Calculating next move...")

Distinguer les termes associés#

Il est important de distinguer l’apprentissage par renforcement des autres paradigmes d’apprentissage automatique :

• Par rapport à l’apprentissage supervisé : L’apprentissage supervisé nécessite qu’un superviseur externe compétent fournisse des données d’entraînement étiquetées (par exemple, « cette image contient un chat »). À l’inverse, le RL apprend des conséquences de ses propres actions, sans étiquettes explicites, et découvre les trajectoires optimales par l’exploration.
• Par rapport à l’apprentissage non supervisé : L’apprentissage non supervisé vise à trouver des structures ou des motifs cachés dans des données non étiquetées (par exemple, en regroupant des clients). Le RL s’en distingue parce qu’il est explicitement axé sur un objectif : il cherche à maximiser un signal de récompense plutôt qu’à simplement décrire la structure des données.

À mesure que la puissance de calcul augmente, des techniques comme l’apprentissage par renforcement à partir de retours humains (RLHF) affinent davantage l’apprentissage des agents et alignent leurs objectifs sur des valeurs humaines complexes et des normes de sécurité. Les chercheurs utilisent souvent des environnements standardisés comme Gymnasium pour évaluer et améliorer ces algorithmes. Pour les équipes qui souhaitent gérer les jeux de données nécessaires aux couches de perception de ces agents, l’Ultralytics Platform propose des outils complets d’annotation et de gestion des modèles.