Processus de décision markovien (MDP)

Un processus de décision de Markov (PDM) est un cadre mathématique utilisé pour modéliser la prise de décision dans des situations où les résultats sont en partie aléatoires et en partie sous le contrôle d'un décideur. sont en partie aléatoires et en partie sous le contrôle d'un décideur. Il sert de fondement théorique à l'apprentissage par renforcement (RL), en fournissant une manière formelle de décrire un environnement dans lequel un l'agent d'intelligence artificielle. En structurant les problèmes en états, actions et récompenses, les MDP permettent aux systèmes intelligents de calculer la meilleure stratégie, connue sous le nom de politique, afin de maximiser des objectifs spécifiques au fil du temps. des objectifs spécifiques au fil du temps. Ce cadre est essentiel pour le développement de technologies avancées, des systèmes de négociation automatisés aux véhicules autonomes. aux véhicules autonomes.

Principaux éléments d'un PDM

Un PDM caractérise l'interaction entre un agent et son environnement à l'aide de cinq éléments distincts. Ces permettent aux chercheurs de définir des problèmes complexes d'apprentissage machine (ML) dans un format solvables :

• États (S): L'ensemble de toutes les situations possibles que l'agent peut occuper. Dans un jeu d'échecs, un état représente la configuration actuelle des pièces sur l'échiquier. l'échiquier.
• Actions (A): L'ensemble de tous les mouvements ou décisions possibles que l'agent peut prendre à partir d'un état donné. mouvements ou décisions possibles de l'agent à partir d'un état donné.
• Probabilité de transition : La probabilité de passer d'un état à un autre après avoir effectué une action spécifique. action spécifique. Ce composant modélise l'incertitude de l'environnement, souvent décrite comme un processus stochastique.
• Fonction de récompense : Un signal de retour qui quantifie le bénéfice immédiat d'une action spécifique dans un état spécifique. action spécifique dans un état spécifique. L'agent utilise ce signal pour évaluer ses performances.
• Politique ($\pi$) : Une stratégie ou un règlement qui définit le comportement de l'agent. L'objectif de la résolution d'un MDP est de trouver une "politique optimale" qui maximise la récompense totale attendue à long terme.

L'hypothèse centrale de ce cadre est la propriété de propriété de Markov, qui stipule que l'évolution future du processus ne dépend que de l'état actuel et non de la séquence des événements qui l'ont précédé. du processus ne dépend que de l'état actuel et non de la séquence d'événements qui l'a précédé. Cela simplifie les exigences simplifie les exigences de calcul pour la prise de décisions optimales.

Applications concrètes

Les PDM sont largement utilisés dans divers secteurs d'activité pour résoudre des problèmes de prise de décision séquentielle où la planification et l'adaptabilité sont cruciales. d'adaptation sont cruciales.

• Robotique: Les robots opèrent souvent dans des environnements dynamiques où les capteurs fournissent des données bruitées. Un MDP permet à un robot de planifier sa trajectoire en traitant sa position comme un état et ses mouvements comme des actions. sa position comme un état et ses mouvements comme des actions. Les systèmes de vision, alimentés par modèles de détection d'objets tels que YOLO11aident le robot à percevoir l'état du monde, comme la présence d'obstacles, ce qui lui permet de naviguer en toute sécurité et de manière efficace. l'état du monde, comme la présence d'obstacles, ce qui lui permet de naviguer efficacement et en toute sécurité.
• Gestion des stocks : Dans la logistique de la chaîne d'approvisionnement, les entreprises utilisent les PDM pour optimiser les niveaux de stock. Dans ce cas, l'état est le stock actuel et les actions consistent à décider de la quantité de produits à commander. La fonction de récompense La fonction de récompense permet d'équilibrer les bénéfices des ventes avec les coûts de stockage et les pertes de revenus dues aux ruptures de stock, une application essentielle de l'IA pour le commerce de détail. une application critique de l'IA pour le commerce de détail.
• Planification du traitement des soins de santé : Les PDM aident à concevoir des plans de traitement personnalisés pour les patients souffrant de maladies chroniques. patients atteints de maladies chroniques. En modélisant la santé du patient comme une série d'états, les médecins peuvent déterminer la séquence séquence optimale de traitements pour maximiser les résultats de santé à long terme, en s'appuyant sur des l 'analyse d'images médicales.

La perception en tant qu'entrée d'état

Dans les applications modernes de l'IA, l'"état" d'un PDM est souvent dérivé de données à haute dimension, telles que des flux vidéo. vidéo. Un modèle de vision par ordinateur (VA) traite pour créer une représentation structurée de l'état que l'algorithme de prise de décision peut comprendre.

Le code Python suivant montre comment utiliser un modèle YOLO11 pré-entraîné pour extraire des informations d'état (coordonnées de l'objet) d'une image. coordonnées d'un objet) à partir d'une image. Ces données peuvent servir d'état d'entrée pour un agent basé sur un MDP.

from ultralytics import YOLO

# Load a pretrained YOLO11 model to act as the perception system
model = YOLO("yolo11n.pt")

# Perform inference on an image to observe the current 'state'
# In a real MDP, this would be a frame from the agent's environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding box coordinates to represent the state
state_vector = results[0].boxes.xywh
print(f"Current State Observation: {state_vector}")

Distinguer les concepts apparentés

Il est utile de différencier les PDM d'autres termes apparentés dans le paysage de l'intelligence artificielle (IA) : les PDM, les PDR et les PDM. l'intelligence artificielle (IA):

• Apprentissage par renforcement (RL): Bien qu'elle soit souvent utilisée de manière interchangeable, la distinction est importante. Un MDP est le cadre ou l'énoncé du problème, tandis que l'apprentissage par renforcement est la méthode utilisée pour le résoudre. problème, tandis que l'apprentissage par renforcement est la méthode utilisée pour le résoudre lorsque les probabilités de transition et les fonctions de récompense ne sont pas connues au départ. ne sont pas connues au départ. Les agents apprennent la politique optimale par essais et erreurs, comme le décrivent les textes fondateurs de Sutton et Barto.
• Modèle de Markov caché (HMM): Un HMM est utilisé lorsque l'état réel du système n'est pas entièrement observable et doit être déduit de résultats probabilistes. probabilistes. En revanche, un MDP standard suppose que l'agent a une visibilité totale de l'état actuel.
• Apprentissage par renforcement profond (DRL): Le DRL combine les MDP avec l'apprentissage en profondeur (DL). Les solveurs traditionnels de MDP sont confrontés à des espaces d'état massifs (comme le nombre de combinaisons de pixels possibles dans un jeu vidéo). jeu vidéo). La DRL utilise des réseaux neuronaux pour d'approximation de la valeur des états, ce qui permet de trouver des solutions pour des environnements complexes simulés dans des outils tels que Gymnasium. Gymnase.