Apprentissage par renforcement

L'apprentissage par renforcement (RL) est un sous-ensemble dynamique de l'apprentissage automatique (ML). l'apprentissage machine (ML) visant à enseigner à un d'un agent IA autonome à prendre des décisions optimales par par essais et erreurs. Contrairement à d'autres paradigmes d'apprentissage qui s'appuient sur des ensembles de données statiques, l'apprentissage par renforcement implique qu'un agent interagisse avec un environnement dynamique pour atteindre un objectif spécifique. avec un environnement dynamique pour atteindre un objectif spécifique. L'agent reçoit un retour d'information sous forme de récompenses ou de pénalités en fonction de ses actions, ce qui lui permet d'affiner progressivement ses décisions. L'agent reçoit un retour d'information sous forme de récompenses ou de pénalités en fonction de ses actions, affinant progressivement sa stratégie pour maximiser la récompense cumulée au fil du temps. Ce processus reflète le concept de Ce processus reflète le concept de conditionnement opérant en psychologie comportementale, où les comportements sont renforcés par les conséquences.

Concepts et mécanismes de base

Le cadre de l'apprentissage par renforcement est souvent décrit mathématiquement comme un processus de décision de Markov (PDM). processus de décision de Markov (PDM). Pour comprendre le fonctionnement de ce cycle, il est utile de décomposer les principaux composants impliqués dans la boucle d'apprentissage :

• Agent IA: L'apprenant ou le décideur qui perçoit l'environnement et exécute des actions.
• Environnement : Le monde physique ou virtuel dans lequel l'agent opère. Dans le contexte de l l 'IA dans les jeux vidéo, il s'agit de l'univers du jeu, il s'agit de l'univers du jeu ; en robotique, il s'agit de l'espace physique.
• État : Un instantané de la situation actuelle fourni à l'agent. Il s'agit souvent d'une entrée sensorielles, telles que les données des systèmes de vision artificielle (CV).
• Action : Le mouvement spécifique ou la décision prise par l'agent. L'ensemble des mouvements possibles est appelé l'espace d'action.
• Récompense : Un signal numérique reçu de l'environnement après la réalisation d'une action. Les récompenses positives encouragent le comportement, tandis que les récompenses négatives (pénalités) le découragent.
• Politique : La stratégie ou l'ensemble de règles que l'agent utilise pour déterminer la prochaine action en fonction de l'état actuel. l'état actuel.

Applications réelles de l'apprentissage par renforcement

La RL a dépassé le stade de la recherche théorique et alimente désormais des systèmes complexes et réels dans divers secteurs.

• L'IA dans la robotique: Dans les domaines de la fabrication et la logistique, les robots utilisent la RL pour apprendre des tâches de manipulation complexes, telles que la saisie d'objets de formes différentes. Au lieu de coder en dur chaque mouvement, le robot apprend à ajuster sa prise en fonction du retour d'information physique, ce qui améliore considérablement l'efficacité de la production. l'efficacité dans les environnements de dans les environnements de fabrication intelligente.
• Véhicules autonomes: Les voitures autonomes utilisent la RL pour prendre des décisions de conduite de haut niveau. Tandis que les modèles de détection d'objets les modèles de détection d'objets identifient les piétons et les panneaux de signalisation, les algorithmes RL aident à déterminer les manœuvres les plus sûres et les plus efficaces, comme le moment où il faut s'insérer dans la circulation ou comment s'orienter dans un carrefour très fréquenté.
• Contrôle du trafic : Les urbanistes utilisent la RL pour optimiser la synchronisation des feux de circulation. En traitant le flux de comme une fonction de récompense, les systèmes peuvent s'adapter dynamiquement pour réduire les embouteillages, un élément clé de l'IA dans la gestion du trafic. l 'IA dans la gestion du trafic.

Apprentissage par renforcement et termes apparentés

Il est important de distinguer le RL des autres approches d'apprentissage automatique, car leurs méthodologies de formation diffèrent considérablement. de manière significative.

• Apprentissage supervisé: Cette méthode Cette méthode repose sur un ensemble de données de formation contenant des entrées associées à des sorties correctes (étiquettes). entrées associées à des sorties correctes (étiquettes). Le modèle apprend en minimisant l'erreur entre sa prédiction et l'étiquette connue. l'étiquette connue. En revanche, le RL n'a pas accès aux "bonnes" réponses à l'avance ; il doit les découvrir par l'interaction. Il doit les découvrir par l'interaction.
• Apprentissage non supervisé: Il s'agit de trouver des modèles ou des structures cachés dans des données non étiquetées, comme le regroupement de clients par l'intermédiaire de k-means. L'apprentissage non supervisé diffère parce que son l'objectif est de maximiser un signal de récompense, et pas seulement d'analyser la distribution des données.
• Apprentissage par renforcement profond (DRL): Alors que l'apprentissage par renforcement définit le paradigme de l'apprentissage, l'apprentissage par renforcement profond le combine avec l'apprentissage en profondeur. l 'apprentissage en profondeur. Dans le DRL, réseaux neuronaux sont utilisés pour approximer la politique ou la fonction de valeur, ce qui permet à l'agent de traiter des entrées à haute dimension comme les pixels d'une image brute.

Intégration de la vision par ordinateur et de la logique des relations (RL)

Dans de nombreuses applications, l'"état" observé par un agent est visuel. Des modèles de vision très performants tels que YOLO11 sont fréquemment utilisés comme couche de perception pour les agents RL . Le modèle de vision traite la scène pour detect objets, et ces informations structurées sont transmises à l'agent RL pour décider de la prochaine action.

L'exemple suivant montre comment utiliser un modèle YOLO pour générer l'état (objets détectés) qui pourrait être introduit dans une boucle décisionnelle RL. dans une boucle de prise de décision RL.

from ultralytics import YOLO

# Load the YOLO11 model to serve as the perception system
model = YOLO("yolo11n.pt")

# The agent observes the environment (an image frame)
# In a real RL loop, this frame comes from a simulation or camera
observation_frame = "https://docs.ultralytics.com/modes/predict/"

# Process the frame to get the current 'state' (detected objects)
results = model(observation_frame)

# The detections (boxes, classes) act as the state for the RL agent
for result in results:
    print(f"Detected {len(result.boxes)} objects for the agent to analyze.")
    # This state data would next be passed to the RL policy network

Pour étudier l'évolution de ces concepts, les chercheurs utilisent souvent des environnements tels que OpenAI Gym (aujourd'hui Gymnasium) pour standardiser les tests des algorithmes de RL. Au fur et à mesure que la puissance de calcul, des techniques telles que l'apprentissage par renforcement à partir du feedback humain (RLHF) ont été développées. l'apprentissage par renforcement à partir du feedback humain (RLHF) permettent d'affiner la manière dont les agents s'alignent sur les valeurs humaines.