Markov Decision Process (MDP)

Ein Markov-Entscheidungsprozess (MDP) ist ein mathematischer Rahmen zur Modellierung von Entscheidungsprozessen in Situationen, in denen Ergebnisse teilweise zufällig und teilweise von einer entscheidenden Person oder Instanz abhängig sind. Er bildet die Grundlage für bestärkendes Lernen (RL) und bietet einem [KI-Agenten](https://ultralytics-translation-1.invalid eine strukturierte Möglichkeit, mit einer Umgebung zu interagieren, um ein bestimmtes Ziel zu erreichen. Im Gegensatz zum standardmäßigen überwachten Lernen, das auf statischen annotierten Datensätzen basiert, konzentriert sich ein MDP auf sequenzielle Entscheidungsprozesse, bei denen aktuelle Aktionen zukünftige Möglichkeiten beeinflussen.

Kernkomponenten eines MDP#

Um zu verstehen, wie ein MDP funktioniert, hilft es, ihn als Interaktionszyklus zwischen einem Agenten und seiner Umgebung zu betrachten. Dieser Zyklus wird durch fünf zentrale Komponenten definiert:

• Zustand: Die aktuelle Situation oder Konfiguration der Umgebung. Bei autonomen Fahrzeugen kann der Zustand beispielsweise die Geschwindigkeit und Position des Fahrzeugs sowie nahe Hindernisse umfassen, die von Sensoren für Computer Vision (CV) erkannt wurden.
• Aktion: Die Menge aller möglichen Bewegungen oder Entscheidungen, die dem Agenten zur Verfügung stehen. Dies wird häufig als Aktionsraum bezeichnet, der diskret (z. B. nach links oder rechts bewegen) oder kontinuierlich (z. B. den Lenkwinkel anpassen) sein kann.
• Übergangswahrscheinlichkeit: Sie gibt an, wie wahrscheinlich es ist, nach einer bestimmten Aktion von einem Zustand in einen anderen zu wechseln. Sie berücksichtigt die Unsicherheit und die Dynamik der realen Welt und unterscheidet MDPs von deterministischen Systemen.
• Belohnung: Ein numerisches Signal, das nach jeder Aktion empfangen wird. Die Belohnungsfunktion ist entscheidend, weil sie das Verhalten des Agenten steuert: Positive Belohnungen fördern erwünschte Aktionen, während negative Belohnungen (Strafen) Fehler verhindern sollen.
• Diskontfaktor: Ein Wert, der bestimmt, wie wichtig zukünftige Belohnungen im Vergleich zu unmittelbaren Belohnungen sind. Er hilft dem Agenten, langfristige Planung gegenüber kurzfristiger Befriedigung zu priorisieren – ein Konzept, das für die strategische Optimierung zentral ist.

Anwendungen in der Praxis#

MDPs fungieren als Entscheidungsinstanz hinter vielen fortschrittlichen Technologien und ermöglichen es Systemen, sich in komplexen, dynamischen Umgebungen zurechtzufinden.

• Robotersteuerung: Im Bereich KI in der Robotik ermöglichen MDPs Maschinen, komplexe motorische Fähigkeiten zu erlernen. Beispielsweise verwendet ein Roboterarm MDPs, um den optimalen Weg zum Aufnehmen eines Objekts zu bestimmen und dabei Kollisionen zu vermeiden. Der Zustand wird durch die Gelenkwinkel und die Objektposition beschrieben, die aus der 3D-Objekterkennung abgeleitet werden, und die Belohnung basiert auf der Geschwindigkeit des erfolgreichen Greifens.
• Bestandsverwaltung: Einzelhändler verwenden MDPs zur Bestandsoptimierung. In diesem Fall beschreibt der Zustand die aktuellen Lagerbestände, die Aktionen sind Nachbestellentscheidungen, und die Belohnungen werden anhand der Gewinnmargen abzüglich Lager- und Fehlbestandskosten berechnet.
• Medizinische Behandlung: In der personalisierten Medizin helfen MDPs bei der Erstellung dynamischer Behandlungspläne. Indem Gesundheitswerte von Patienten als Zustände und Medikamente als Aktionen modelliert werden, können Ärzte prädiktive Modelle einsetzen, um die langfristigen gesundheitlichen Ergebnisse der Patienten zu verbessern.

Beziehung zum bestärkenden Lernen#

Obwohl sie eng miteinander verbunden sind, ist es wichtig, zwischen einem MDP und bestärkendem Lernen zu unterscheiden. Ein MDP ist die formale Problemstellung – das mathematische Modell der Umgebung. Bestärkendes Lernen ist die Methode, mit der dieses Problem gelöst wird, wenn die internen Dynamiken (Übergangswahrscheinlichkeiten) nicht vollständig bekannt sind. RL-Algorithmen wie Q-learning interagieren mit dem MDP, um durch Versuch und Irrtum die beste Strategie zu erlernen.

Visuelle Beobachtung in MDPs#

In modernen KI-Anwendungen wird der „Zustand“ eines MDP häufig aus visuellen Daten abgeleitet. Hochleistungsfähige Wahrnehmungsmodelle fungieren als Augen des Systems und wandeln rohe Kamerabilder in strukturierte Daten um, die das MDP verarbeiten kann. Beispielsweise kann Ultralytics YOLO26 Objektkoordinaten in Echtzeit bereitstellen, die als Zustandseingaben für einen Entscheidungsagenten dienen.

Das folgende Beispiel zeigt, wie sich mit Python eine Zustandsdarstellung (Begrenzungsrahmen) aus einem Bild extrahieren lässt, die anschließend einer MDP-Strategie zugeführt werden könnte.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to observe the current 'state' of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding box coordinates to form the state vector
# This structured data tells the agent where objects are located
for box in results[0].boxes:
    print(f"State Object: Class {int(box.cls)} at {box.xywh.tolist()}")

Durch die Integration robuster Modelle für Computer Vision in MDP-Rahmenwerke können Entwickler Systeme erstellen, die die Welt nicht nur wahrnehmen, sondern auch intelligente, adaptive Entscheidungen in ihr treffen. Diese Verbindung ist für die Weiterentwicklung autonomer Systeme und der intelligenten Fertigung unerlässlich.