Glossaire

Processus de décision de Markov (PDM)

Découvrez les processus de décision de Markov (PDM) et leur rôle dans l'IA, l'apprentissage par renforcement, la robotique et la prise de décision dans le domaine de la santé.

Un processus de décision de Markov (PDM) est un cadre mathématique permettant de modéliser la prise de décision dans des situations où les résultats sont en partie aléatoires et en partie sous le contrôle d'un décideur. Il s'agit d'un concept fondamental de l'apprentissage par renforcement (RL), qui fournit un moyen formel de décrire un environnement. Un agent interagit avec cet environnement en observant son état et en choisissant une action, dans le but de maximiser un signal de récompense cumulatif au fil du temps. L'idée de base repose sur la propriété de Markov, qui suppose que l'avenir est indépendant du passé compte tenu du présent ; en d'autres termes, l'état actuel fournit toutes les informations nécessaires pour prendre une décision optimale.

Fonctionnement des processus de décision de Markov

Un PDM est défini par plusieurs éléments clés qui décrivent l'interaction entre un agent et son environnement :

  • États (S) : Ensemble de toutes les situations ou configurations possibles dans lesquelles l'agent peut se trouver. Par exemple, l'emplacement d'un robot dans une pièce ou le niveau de stock d'un produit.
  • Actions (A) : Ensemble de tous les mouvements possibles de l'agent dans chaque état. Pour un robot, il peut s'agir de se déplacer vers l'avant, vers la gauche ou vers la droite.
  • Probabilité de transition : La probabilité de passer d'un état actuel à un nouvel état après avoir effectué une action spécifique. Elle tient compte de l'incertitude de l'environnement, comme le glissement des roues d'un robot.
  • Fonction de récompense : Un signal qui indique la valeur immédiate de la transition vers un nouvel état. Les récompenses peuvent être positives ou négatives et guider l'agent vers des résultats souhaitables.
  • Politique (π) : La stratégie utilisée par l'agent pour choisir ses actions dans chaque état. Le but ultime de la résolution d'un PDM est de trouver une politique optimale, c'est-à-dire une politique qui maximise la récompense totale attendue à long terme.

Le processus est cyclique : l'agent observe l'état actuel, choisit une action basée sur sa politique, reçoit une récompense et passe à un nouvel état. Cette boucle se poursuit, permettant à l'agent d'apprendre de ses expériences.

Applications dans le monde réel

Les PDM sont utilisés pour modéliser un large éventail de problèmes de prise de décision séquentielle.

  1. Robotique et navigation autonome : En robotique, une PDM peut modéliser la façon dont un robot navigue dans un espace complexe. Les états peuvent être les coordonnées et l'orientation du robot, tandis que les actions sont ses mouvements (par exemple, avancer, tourner). Les récompenses peuvent être positives pour atteindre une destination et négatives en cas de collision avec des obstacles ou de consommation excessive d'énergie. Les systèmes de perception, qui utilisent souvent la vision artificielle pour la détection des objets, fournissent les informations d'état requises pour le PDM. Ceci est fondamental pour des applications telles que les véhicules autonomes, qui doivent constamment prendre des décisions basées sur des données sensorielles.
  2. Gestion des stocks et de la chaîne d'approvisionnement : Les entreprises peuvent utiliser les PDM pour optimiser le contrôle des stocks. L'état est le niveau actuel des stocks, les actions consistent à déterminer la quantité de produits à commander à nouveau, et la fonction de récompense permet d'équilibrer le bénéfice des ventes et les coûts de maintien des stocks et des ruptures de stock. Cela permet de prendre des décisions de commande optimales en cas de demande incertaine, un défi majeur de l'IA pour le commerce de détail. Des organisations de premier plan, telles que l'Association for Supply Chain Management, explorent ces méthodes d'optimisation avancées.

Relations avec d'autres concepts

Il est utile de distinguer les PDM des concepts connexes de l'apprentissage automatique :

  • Apprentissage par renforcement (RL) : L'apprentissage par renforcement est le domaine de l'intelligence artificielle qui s'intéresse à la formation des agents pour qu'ils prennent des décisions optimales. Les PDM fournissent le cadre mathématique qui définit formellement le problème que les algorithmes d'apprentissage par renforcement sont conçus pour résoudre. Lorsque les modèles de transition et de récompense de l'environnement sont inconnus, les techniques de RL sont utilisées pour apprendre la politique optimale par essais et erreurs. L'apprentissage par renforcement profond étend cette approche en utilisant des modèles d'apprentissage profond pour gérer des espaces d'état complexes et à haute dimension, comme le montrent des textes fondamentaux tels que l'ouvrage de Sutton et Barto.
  • Modèles de Markov cachés (HMM) : Contrairement aux PDM où l'état est entièrement observable, les modèles de Markov cachés (HMM) sont utilisés lorsque l'état n'est pas directement visible mais doit être déduit d'une séquence d'observations. Les HMM sont destinés à l'analyse et à l'inférence, et non à la prise de décision, car ils n'incluent pas d'actions ou de récompenses.
  • Programmation dynamique : Lorsqu'on dispose d'un modèle complet et précis de la PDM (c'est-à-dire des probabilités de transition et des récompenses connues), on peut la résoudre à l'aide de méthodes de programmation dynamique telles que l'itération de valeur et l'itération de politique afin de trouver la politique optimale.

Le développement de solutions pour les PDM implique souvent l'utilisation de bibliothèques RL telles que Gymnasium et de cadres ML tels que PyTorch ou TensorFlow. La composante perception de ces systèmes, qui identifie l'état actuel, peut être construite à l'aide de modèles comme Ultralytics YOLO11. L'ensemble du flux de travail, de la gestion des données d'entraînement au déploiement du modèle, peut être rationalisé à l'aide de plateformes comme Ultralytics HUB et géré avec de solides pratiques MLOps.

Rejoindre la communauté Ultralytics

Rejoignez l'avenir de l'IA. Connectez-vous, collaborez et évoluez avec des innovateurs mondiaux.

S'inscrire
Lien copié dans le presse-papiers