Deep Reinforcement Learning

Deep Reinforcement Learning (DRL) ist ein fortgeschrittener Teilbereich der künstlichen Intelligenz (KI), der die Entscheidungsfähigkeiten von Reinforcement Learning mit der Wahrnehmungskraft von Deep Learning (DL) kombiniert. Während traditionelles Reinforcement Learning auf tabellarischen Methoden basiert, um Situationen auf Aktionen abzubilden, stoßen diese Methoden bei komplexen oder visuellen Umgebungen an ihre Grenzen. DRL überwindet dies durch den Einsatz von neuronalen Netzen, um hochdimensionale Eingabedaten wie Videoframes oder Sensordaten zu interpretieren. Dies ermöglicht es Maschinen, effektive Strategien direkt aus rohen Erfahrungen zu lernen, ohne explizite menschliche Anweisungen.

Link to this sectionDer Kernmechanismus von DRL#

In einem DRL-System interagiert ein KI-Agent in diskreten Zeitschritten mit einer Umgebung. Bei jedem Schritt beobachtet der Agent den aktuellen „Zustand“, wählt basierend auf einer Richtlinie eine Aktion aus und erhält ein Belohnungssignal, das den Erfolg oder Misserfolg dieser Aktion anzeigt. Das Hauptziel besteht darin, die kumulative Belohnung über die Zeit zu maximieren.

Die „Deep“-Komponente bezieht sich auf die Verwendung tiefer neuronaler Netze zur Annäherung an die Richtlinie (die Strategie für das Handeln) oder die Wertfunktion (die geschätzte zukünftige Belohnung). Dies ermöglicht es dem Agenten, unstrukturierte Daten zu verarbeiten und Computer Vision (CV) zu nutzen, um die Umgebung ähnlich wie ein Mensch zu „sehen“. Diese Fähigkeit wird durch Frameworks wie PyTorch oder TensorFlow unterstützt, die das Training dieser komplexen Netzwerke erleichtern.

Link to this sectionPraxisanwendungen#

DRL hat sich über die theoretische Forschung hinaus zu praktischen, wirkungsvollen Anwendungen in verschiedenen Branchen entwickelt:

• Fortgeschrittene Robotik: Im Bereich KI in der Robotik ermöglicht DRL Maschinen, komplexe motorische Fähigkeiten zu beherrschen, die schwer fest zu programmieren sind. Roboter können lernen, unregelmäßige Objekte zu greifen oder unebenes Gelände zu durchqueren, indem sie ihre Bewegungen in Physik-Engines wie NVIDIA Isaac Sim verfeinern. Dies beinhaltet oft das Training mit synthetischen Daten, bevor die Richtlinie auf physische Hardware übertragen wird.
• Autonomes Fahren: Autonome Fahrzeuge nutzen DRL, um Echtzeitentscheidungen in unvorhersehbaren Verkehrsszenarien zu treffen. Während Objekterkennungsmodelle Fußgänger und Schilder identifizieren, nutzen DRL-Algorithmen diese Informationen, um sichere Fahrrichtlinien für das Einfädeln, das Navigieren an Kreuzungen und die Geschwindigkeitsregelung festzulegen, wobei die für die Sicherheit erforderliche Inferenzlatenz effektiv verwaltet wird.

Link to this sectionVision als Zustandsbeobachter#

Für viele DRL-Anwendungen ist der „Zustand“ visuell. Hochgeschwindigkeitsmodelle fungieren als Augen des Agenten und wandeln rohe Bilder in strukturierte Daten um, auf die das Richtliniennetzwerk reagieren kann. Das folgende Beispiel veranschaulicht, wie das YOLO26 Modell als Wahrnehmungsschicht für einen Agenten dient und Beobachtungen (z. B. Hinderniszählungen) aus der Umgebung extrahiert.

from ultralytics import YOLO

# Load YOLO26n to serve as the perception layer for a DRL agent
model = YOLO("yolo26n.pt")

# Simulate an observation from the environment (e.g., a robot's camera feed)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Perform inference to extract the state (detected objects)
results = model(observation_frame)

# The detection count serves as a simplified state feature for the agent's policy
print(f"State Observation: {len(results[0].boxes)} objects detected.")

Link to this sectionUnterscheidung von DRL und verwandten Konzepten#

Es ist hilfreich, Deep Reinforcement Learning von ähnlichen Begriffen zu unterscheiden, um seine einzigartige Position in der KI-Landschaft zu verstehen:

• Reinforcement Learning (RL): Standard-RL ist das grundlegende Konzept, stützt sich jedoch typischerweise auf Nachschlagetabellen (wie Q-Tabellen), die für große Zustandsräume unpraktisch werden. DRL löst dies durch den Einsatz von Deep Learning zur Funktionsapproximation, was es ermöglicht, komplexe Eingaben wie Bilder zu verarbeiten.
• Reinforcement Learning from Human Feedback (RLHF): Während DRL typischerweise auf eine mathematisch definierte Belohnungsfunktion optimiert (z. B. Punkte in einem Spiel), verfeinert RLHF Modelle – insbesondere Large Language Models (LLMs) – unter Verwendung subjektiver menschlicher Präferenzen, um das KI-Verhalten mit menschlichen Werten in Einklang zu bringen, eine Technik, die von Forschungsgruppen wie OpenAI populär gemacht wurde.
• Unsupervised Learning: Unüberwachte Methoden suchen nach verborgenen Mustern in Daten ohne explizites Feedback. Im Gegensatz dazu ist DRL zielorientiert und wird von einem Belohnungssignal gesteuert, das den Agenten aktiv auf ein bestimmtes Ziel hin lenkt, wie in den grundlegenden Texten von Sutton und Barto erörtert.

Entwickler, die die Datensätze verwalten möchten, die für die Wahrnehmungsschichten von DRL-Systemen erforderlich sind, können die Ultralytics Platform nutzen, die Annotations- und Cloud-Trainingsworkflows vereinfacht. Zusätzlich verwenden Forscher häufig standardisierte Umgebungen wie Gymnasium, um ihre DRL-Algorithmen anhand etablierter Benchmarks zu messen.