Markov Decision Process (MDP)

Ein Markow-Entscheidungsprozess (MDP) ist ein mathematisches Rahmenwerk, das zur Modellierung von Entscheidungsfindungen in Situationen verwendet wird, in denen Ergebnisse teilweise zufällig sind und teilweise unter der Kontrolle eines Entscheidungsträgers stehen. Es ist der grundlegende Entwurf für Reinforcement Learning (RL) und bietet einem KI-Agenten eine strukturierte Möglichkeit, mit einer Umgebung zu interagieren, um ein bestimmtes Ziel zu erreichen. Im Gegensatz zum Standard-Supervised Learning, das auf statischen, gekennzeichneten Datensätzen basiert, konzentriert sich ein MDP auf sequentielle Entscheidungsfindungen, bei denen aktuelle Aktionen zukünftige Möglichkeiten beeinflussen.

Link to this sectionKernkomponenten eines MDP#

Um zu verstehen, wie ein MDP funktioniert, ist es hilfreich, es sich als einen Interaktionszyklus zwischen einem Agenten und seiner Umgebung vorzustellen. Dieser Zyklus wird durch fünf Schlüsselkomponenten definiert:

• Zustand: Die aktuelle Situation oder Konfiguration der Umgebung. Bei autonomen Fahrzeugen könnte der Zustand die Geschwindigkeit des Autos, seinen Standort und nahegelegene Hindernisse umfassen, die von Sensoren der Computer Vision (CV) erkannt werden.
• Aktion: Die Menge aller möglichen Züge oder Entscheidungen, die dem Agenten zur Verfügung stehen. Dies wird oft als Aktionsraum bezeichnet, der diskret (z. B. nach links bewegen, nach rechts bewegen) oder kontinuierlich (z. B. den Lenkwinkel anpassen) sein kann.
• Übergangswahrscheinlichkeit: Diese definiert die Wahrscheinlichkeit, nach Ausführung einer bestimmten Aktion von einem Zustand in einen anderen zu wechseln. Sie berücksichtigt die Unsicherheit und Dynamik der realen Welt und unterscheidet MDPs von deterministischen Systemen.
• Belohnung: Ein numerisches Signal, das nach jeder Aktion empfangen wird. Die Belohnungsfunktion ist entscheidend, da sie das Verhalten des Agenten steuert – positive Belohnungen fördern wünschenswerte Aktionen, während negative Belohnungen (Strafen) Fehler verhindern.
• Diskontierungsfaktor: Ein Wert, der die Bedeutung zukünftiger Belohnungen im Vergleich zu unmittelbaren bestimmt. Er hilft dem Agenten, langfristige Planung gegenüber kurzfristiger Befriedigung zu priorisieren – ein Konzept, das für die strategische Optimierung von zentraler Bedeutung ist.

Link to this sectionPraxisanwendungen#

MDPs fungieren als Entscheidungs-Engine hinter vielen fortschrittlichen Technologien und ermöglichen es Systemen, in komplexen, dynamischen Umgebungen zu navigieren.

• Robotiksteuerung: Bei KI in der Robotik ermöglichen MDPs Maschinen das Erlernen komplexer motorischer Fähigkeiten. Ein Roboterarm nutzt beispielsweise MDPs, um den optimalen Pfad zu bestimmen, um ein Objekt aufzunehmen und gleichzeitig Kollisionen zu vermeiden. Der Zustand besteht aus den Gelenkwinkeln und der Objektposition, abgeleitet aus der 3D-Objekterkennung, und die Belohnung basiert auf der Geschwindigkeit des erfolgreichen Greifens.
• Bestandsverwaltung: Einzelhändler nutzen MDPs zur Bestandsoptimierung. Hier repräsentiert der Zustand die aktuellen Lagerbestände, Aktionen sind Nachbestellungsentscheidungen, und Belohnungen werden auf Basis der Gewinnspannen abzüglich der Lager- und Fehlmengenkosten berechnet.
• Gesundheitsbehandlung: In der personalisierten Medizin helfen MDPs bei der Gestaltung dynamischer Behandlungspläne. Durch die Modellierung von Gesundheitskennzahlen der Patienten als Zustände und Medikamenten als Aktionen können Ärzte prädiktive Modellierung nutzen, um die langfristigen Gesundheitsergebnisse der Patienten zu maximieren.

Link to this sectionBeziehung zum Reinforcement Learning#

Obwohl sie eng miteinander verbunden sind, ist es wichtig, zwischen einem MDP und Reinforcement Learning zu unterscheiden. Ein MDP ist die formale Problemstellung – das mathematische Modell der Umgebung. Reinforcement Learning ist die Methode, mit der dieses Problem gelöst wird, wenn die interne Dynamik (Übergangswahrscheinlichkeiten) nicht vollständig bekannt ist. RL-Algorithmen, wie z. B. Q-learning, interagieren mit dem MDP, um durch Versuch und Irrtum die beste Strategie zu erlernen.

Link to this sectionVisuelle Beobachtung in MDPs#

In modernen KI-Anwendungen wird der „Zustand“ eines MDP oft aus visuellen Daten abgeleitet. Hochgeschwindigkeits-Wahrnehmungsmodelle fungieren als Augen des Systems und wandeln rohe Kameradaten in strukturierte Daten um, die das MDP verarbeiten kann. Beispielsweise kann Ultralytics YOLO26 Echtzeit-Objektkoordinaten liefern, die als Zustandeingaben für einen entscheidungsfindenden Agenten dienen.

Das folgende Beispiel zeigt, wie man mit Python eine Zustandsrepräsentation (Begrenzungsrahmen) aus einem Bild extrahiert, die anschließend in eine MDP-Strategie eingespeist werden könnte.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to observe the current 'state' of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding box coordinates to form the state vector
# This structured data tells the agent where objects are located
for box in results[0].boxes:
    print(f"State Object: Class {int(box.cls)} at {box.xywh.tolist()}")

Durch die Integration robuster Visionsmodelle in MDP-Frameworks können Entwickler Systeme bauen, die nicht nur die Welt wahrnehmen, sondern auch intelligente, adaptive Entscheidungen darin treffen. Diese Synergie ist für die Weiterentwicklung von autonomen Systemen und intelligenter Fertigung unerlässlich.