Deep Reinforcement Learning

L'apprentissage par renforcement profond (DRL) est un sous-ensemble avancé de l'intelligence artificielle (IA) qui combine les capacités de prise de décision de l'apprentissage par renforcement avec la puissance perceptive du deep learning (DL). Alors que l'apprentissage par renforcement traditionnel repose sur des méthodes tabulaires pour associer des situations à des actions, ces méthodes peinent lorsque l'environnement est complexe ou visuel. Le DRL résout ce problème en utilisant des réseaux de neurones pour interpréter des données d'entrée de haute dimension, telles que des images vidéo ou des lectures de capteurs, permettant ainsi aux machines d'apprendre des stratégies efficaces directement à partir d'expériences brutes sans instruction humaine explicite.

Le mécanisme central du DRL#

Dans un système DRL, un agent d'IA interagit avec un environnement à des intervalles de temps discrets. À chaque étape, l'agent observe l'« état » actuel, sélectionne une action basée sur une politique et reçoit un signal de récompense indiquant le succès ou l'échec de cette action. L'objectif principal est de maximiser la récompense cumulative au fil du temps.

Le composant « profond » fait référence à l'utilisation de réseaux de neurones profonds pour approximer la politique (la stratégie d'action) ou la fonction de valeur (la récompense future estimée). Cela permet à l'agent de traiter des données non structurées, en utilisant la vision par ordinateur (CV) pour « voir » l'environnement un peu comme le fait un humain. Cette capacité est alimentée par des frameworks tels que PyTorch ou TensorFlow, qui facilitent l'entraînement de ces réseaux complexes.

Applications concrètes#

Le DRL a dépassé la recherche théorique pour atteindre des applications pratiques à fort impact dans divers secteurs :

• Robotique avancée : Dans le domaine de l'IA en robotique, le DRL permet aux machines de maîtriser des compétences motrices complexes qu'il est difficile de coder en dur. Les robots peuvent apprendre à saisir des objets irréguliers ou à parcourir un terrain accidenté en affinant leurs mouvements au sein de moteurs physiques comme NVIDIA Isaac Sim. Cela implique souvent un entraînement sur des données synthétiques avant de déployer la politique sur un matériel physique.
• Conduite autonome : Les véhicules autonomes exploitent le DRL pour prendre des décisions en temps réel dans des scénarios de circulation imprévisibles. Alors que les modèles de détection d'objets identifient les piétons et les panneaux, les algorithmes DRL utilisent ces informations pour déterminer des politiques de conduite sûres pour l'insertion sur les voies, la navigation dans les intersections et le contrôle de la vitesse, gérant efficacement la latence d'inférence requise pour la sécurité.

La vision en tant qu'observateur d'état#

Pour de nombreuses applications DRL, l'« état » est visuel. Des modèles à haute vitesse agissent comme les yeux de l'agent, convertissant l'imagerie brute en données structurées sur lesquelles le réseau de politiques peut agir. L'exemple suivant illustre comment le modèle YOLO26 sert de couche de perception pour un agent, extrayant des observations (par exemple, le nombre d'obstacles) de l'environnement.

from ultralytics import YOLO

# Load YOLO26n to serve as the perception layer for a DRL agent
model = YOLO("yolo26n.pt")

# Simulate an observation from the environment (e.g., a robot's camera feed)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Perform inference to extract the state (detected objects)
results = model(observation_frame)

# The detection count serves as a simplified state feature for the agent's policy
print(f"State Observation: {len(results[0].boxes)} objects detected.")

Distinguer le DRL des concepts connexes#

Il est utile de différencier l'apprentissage par renforcement profond des termes similaires pour comprendre sa position unique dans le paysage de l'IA :

• Apprentissage par renforcement (RL) : Le RL standard est le concept fondamental, mais il repose généralement sur des tables de correspondance (comme les tables Q) qui deviennent impraticables pour de grands espaces d'états. Le DRL résout ce problème en utilisant le deep learning pour approximer des fonctions, lui permettant ainsi de gérer des entrées complexes telles que des images.
• Apprentissage par renforcement à partir de rétroaction humaine (RLHF) : Alors que le DRL optimise généralement une fonction de récompense définie mathématiquement (par exemple, des points dans un jeu), le RLHF affine les modèles — en particulier les grands modèles de langage (LLMs) — en utilisant des préférences humaines subjectives pour aligner le comportement de l'IA sur les valeurs humaines, une technique popularisée par des groupes de recherche tels que OpenAI.
• Apprentissage non supervisé : Les méthodes non supervisées recherchent des motifs cachés dans les données sans rétroaction explicite. En revanche, le DRL est orienté vers un objectif, guidé par un signal de récompense qui dirige activement l'agent vers un objectif spécifique, comme l'évoquent les textes fondateurs de Sutton and Barto.

Les développeurs cherchant à gérer les jeux de données requis pour les couches de perception des systèmes DRL peuvent utiliser Ultralytics Platform, qui simplifie les flux de travail d'annotation et d'entraînement dans le cloud. De plus, les chercheurs utilisent souvent des environnements standardisés tels que Gymnasium pour évaluer leurs algorithmes DRL par rapport à des bases de référence établies.