Markov Decision Process (MDP)

Un processus de décision markovien (MDP) est un cadre mathématique utilisé pour modéliser la prise de décision dans des situations où les résultats sont en partie aléatoires et en partie sous le contrôle d'un décideur. Il constitue le modèle fondamental de l'apprentissage par renforcement (RL), en fournissant à un [agent d'IA](https://ultralytics-translation-1.invalid une méthode structurée pour interagir avec un environnement afin d'atteindre un objectif précis. Contrairement à l'apprentissage supervisé classique, qui repose sur des jeux de données statiques et annotés, un MDP se concentre sur la prise de décision séquentielle, où les actions actuelles influencent les possibilités futures.

Composants principaux d'un MDP#

Pour comprendre le fonctionnement d'un MDP, il est utile de le visualiser comme un cycle d'interaction entre un agent et son environnement. Ce cycle est défini par cinq composants clés :

• État : La situation actuelle ou la configuration de l'environnement. Dans les véhicules autonomes, l'état peut inclure la vitesse et la position du véhicule, ainsi que les obstacles à proximité détectés par les capteurs de vision par ordinateur (CV).
• Action : L'ensemble de tous les mouvements ou choix possibles à la disposition de l'agent. On parle souvent d'espace d'actions, qui peut être discret (p. ex. se déplacer vers la gauche ou vers la droite) ou continu (p. ex. ajuster l'angle de braquage).
• Probabilité de transition : Elle définit la probabilité de passer d'un état à un autre après avoir effectué une action donnée. Elle prend en compte l'incertitude et la dynamique du monde réel, ce qui distingue les MDP des systèmes déterministes.
• Récompense : Un signal numérique reçu après chaque action. La fonction de récompense est essentielle, car elle guide le comportement de l'agent : les récompenses positives encouragent les actions souhaitables, tandis que les récompenses négatives (pénalités) découragent les erreurs.
• Facteur d'actualisation : Une valeur qui détermine l'importance des récompenses futures par rapport aux récompenses immédiates. Il aide l'agent à privilégier la planification à long terme plutôt que la gratification à court terme, un concept central de l'optimisation stratégique.

Applications concrètes#

Les MDP constituent le moteur décisionnel de nombreuses technologies avancées, permettant aux systèmes de naviguer dans des environnements complexes et dynamiques.

• Commande robotique : Dans l'IA en robotique, les MDP permettent aux machines d'acquérir des compétences motrices complexes. Par exemple, un bras robotisé utilise des MDP pour déterminer le chemin optimal afin de saisir un objet tout en évitant les collisions. L'état correspond aux angles des articulations et à la position de l'objet, obtenus grâce à la détection d'objets 3D, tandis que la récompense dépend de la rapidité de la saisie réussie.
• Gestion des stocks : Les détaillants utilisent les MDP pour l'optimisation des stocks. Dans ce cas, l'état représente les niveaux de stock actuels, les actions correspondent aux décisions de réapprovisionnement et les récompenses sont calculées à partir des marges bénéficiaires diminuées des coûts de stockage et de rupture de stock.
• Traitement médical : En médecine personnalisée, les MDP contribuent à concevoir des plans de traitement dynamiques. En modélisant les indicateurs de santé du patient comme des états et les médicaments comme des actions, les médecins peuvent utiliser la modélisation prédictive pour maximiser les résultats de santé à long terme du patient.

Relation avec l'apprentissage par renforcement#

Bien qu'ils soient étroitement liés, il est important de distinguer un MDP de l'apprentissage par renforcement. Un MDP est l'énoncé formel du problème — le modèle mathématique de l'environnement. L'apprentissage par renforcement est la méthode utilisée pour résoudre ce problème lorsque la dynamique interne (les probabilités de transition) n'est pas entièrement connue. Les algorithmes de RL, tels que le Q-learning, interagissent avec le MDP pour apprendre la meilleure politique par essais et erreurs.

Observation visuelle dans les MDP#

Dans les applications modernes de l'IA, l'« état » d'un MDP est souvent dérivé de données visuelles. Les modèles de perception à haute vitesse jouent le rôle des yeux du système, en convertissant les flux bruts des caméras en données structurées que le MDP peut traiter. Par exemple, Ultralytics YOLO26 peut fournir les coordonnées des objets en temps réel, lesquelles servent d'entrées d'état pour un agent décisionnel.

L'exemple suivant montre comment extraire d'une image une représentation de l'état (des boîtes englobantes) à l'aide de Python, qui pourrait ensuite être fournie à une politique de MDP.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to observe the current 'state' of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding box coordinates to form the state vector
# This structured data tells the agent where objects are located
for box in results[0].boxes:
    print(f"State Object: Class {int(box.cls)} at {box.xywh.tolist()}")

En intégrant des modèles de vision robustes à des cadres MDP, les développeurs peuvent créer des systèmes qui non seulement perçoivent le monde, mais prennent également des décisions intelligentes et adaptatives au sein de celui-ci. Cette synergie est essentielle à l'avancement des systèmes autonomes et de la fabrication intelligente.