Deep Reinforcement Learning

Deep Reinforcement Learning (DRL) ist ein fortgeschrittenes Teilgebiet der artificial intelligence (AI), das die Entscheidungsfindungsfähigkeiten von reinforcement learning mit der Wahrnehmungskraft von deep learning (DL) kombiniert. Während traditionelles Reinforcement Learning auf tabellarischen Methoden beruht, um Situationen auf Aktionen abzubilden, haben diese Methoden bei komplexen oder visuellen Umgebungen Schwierigkeiten. DRL überwindet dies, indem es neural networks nutzt, um hochdimensionale Eingabedaten wie Videobilder oder Sensorwerte zu interpretieren, sodass Maschinen effektive Strategien direkt aus roher Erfahrung ohne explizite menschliche Anleitung lernen können.

Der Kernmechanismus von DRL#

In einem DRL-System interagiert ein AI agent in diskreten Zeitschriften mit einer Umgebung. Bei jedem Schritt beobachtet der Agent den aktuellen „Zustand“, wählt eine Aktion basierend auf einer Richtlinie (Policy) aus und erhält ein Belohnungssignal, das den Erfolg oder Misserfolg dieser Aktion anzeigt. Das primäre Ziel besteht darin, die kumulative Belohnung im Laufe der Zeit zu maximieren.

Die „Deep“-Komponente bezieht sich auf die Verwendung von tiefen neuronalen Netzen zur Annäherung der Richtlinie (der Strategie zum Handeln) oder der Wertfunktion (der geschätzten zukünftigen Belohnung). Dies ermöglicht es dem Agenten, unstrukturierte Daten zu verarbeiten, indem er computer vision (CV) nutzt, um die Umgebung ähnlich wie ein Mensch zu „sehen“. Diese Fähigkeit wird durch Frameworks wie PyTorch oder TensorFlow unterstützt, die das Training dieser komplexen Netze erleichtern.

Praxisanwendungen#

DRL hat sich über die theoretische Forschung hinaus zu praktischen, wirkungsvollen Anwendungen in verschiedenen Branchen entwickelt:

• Fortgeschrittene Robotik: Im Bereich von AI in robotics ermöglicht DRL Maschinen, komplexe motorische Fähigkeiten zu meistern, die schwer hardcodiert werden können. Roboter können lernen, unregelmäßige Objekte zu greifen oder unebenes Gelände zu durchqueren, indem sie ihre Bewegungen in Physik-Engines wie NVIDIA Isaac Sim verfeinern. Dies beinhaltet oft das Training mit synthetic data, bevor die Richtlinie auf physischer Hardware bereitgestellt wird.
• Autonomes Fahren: Autonomous vehicles nutzen DRL, um in unvorhersehbaren Verkehrsszenarien Echtzeitentscheidungen zu treffen. Während object detection-Modelle Fußgänger und Schilderkombinationen identifizieren, verwenden DRL-Algorithmen diese Informationen, um sichere Fahrrichtlinien für das Zusammenführen von Spuren, die Navigation an Kreuzungen und die Geschwindigkeitsregelung zu bestimmen und so die für die Sicherheit erforderliche inference latency effektiv zu bewältigen.

Vision als Zustandsbeobachter#

Für viele DRL-Anwendungen ist der „Zustand“ visuell. Hochleistungsmodelle fungieren als die Augen des Agenten und wandeln rohe Bilder in strukturierte Daten um, auf die das Richtliniennetzwerk reagieren kann. Das folgende Beispiel veranschaulicht, wie das YOLO26-Modell als Wahrnehmungsschicht für einen Agenten dient und Beobachtungen (z. B. Hindernisanzahlen) aus der Umgebung extrahiert.

from ultralytics import YOLO

# Load YOLO26n to serve as the perception layer for a DRL agent
model = YOLO("yolo26n.pt")

# Simulate an observation from the environment (e.g., a robot's camera feed)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Perform inference to extract the state (detected objects)
results = model(observation_frame)

# The detection count serves as a simplified state feature for the agent's policy
print(f"State Observation: {len(results[0].boxes)} objects detected.")

Unterscheidung von DRL und verwandten Konzepten#

Es ist hilfreich, Deep Reinforcement Learning von ähnlichen Begriffen zu unterscheiden, um seine einzigartige Position in der KI-Landschaft zu verstehen:

• Reinforcement Learning (RL): Standard-RL ist das grundlegende Konzept, verlässt sich jedoch typischerweise auf Nachschlagetabellen (wie Q-Tabellen), die für große Zustandsräume unpraktisch werden. DRL löst dies, indem es Deep Learning verwendet, um Funktionen anzunähern, wodurch komplexe Eingaben wie Bilder verarbeitet werden können.
• Reinforcement Learning from Human Feedback (RLHF): Während DRL typischerweise auf eine mathematisch definierte Belohnungsfunktion optimiert (z. B. Punkte in einem Spiel), verfeinert RLHF Modelle – insbesondere Large Language Models (LLMs) – mithilfe subjektiver menschlicher Präferenzen, um das KI-Verhalten an menschliche Werte anzupassen, eine Technik, die von Forschungsgruppen wie OpenAI populär gemacht wurde.
• Unsupervised Learning: Unüberwachte Methoden suchen nach versteckten Mustern in Daten ohne explizites Feedback. Im Gegensatz dazu ist DRL zielorientiert und wird von einem Belohnungssignal angetrieben, das den Agenten aktiv auf ein bestimmtes Ziel lenkt, wie in grundlegenden Texten von Sutton and Barto erörtert.

Entwickler, die die für die Wahrnehmungsschichten von DRL-Systemen erforderlichen Datensätze verwalten möchten, können die Ultralytics Platform nutzen, die Annotations- und Cloud-Training-Workflows vereinfacht. Darüber hinaus verwenden Forscher häufig standardisierte Umgebungen wie Gymnasium, um ihre DRL-Algorithmen mit etablierten Basislinien zu vergleichen.