Reinforcement Learning

Bestärkendes Lernen (RL) ist eine zielorientierte Teildisziplin des maschinellen Lernens (ML), bei der ein autonomes System, der sogenannte Agent, durch das Ausführen von Aktionen und den Erhalt von Rückmeldungen aus seiner Umgebung lernt, Entscheidungen zu treffen. Anders als beim überwachten Lernen, das auf statischen Datensätzen mit den richtigen Antworten als Kennzeichnungen beruht, lernen RL-Algorithmen durch einen dynamischen Prozess aus Versuch und Irrtum. Der Agent interagiert mit einer Simulation oder der realen Welt und beobachtet die Folgen seiner Aktionen, um zu bestimmen, welche Strategien langfristig die höchsten Belohnungen erzielen. Dieser Ansatz ahmt das psychologische Konzept der operanten Konditionierung eng nach, bei der Verhalten im Laufe der Zeit durch positive Verstärkung (Belohnungen) und negative Verstärkung (Bestrafungen) geprägt wird.

Grundlegende Konzepte des RL-Zyklus#

Um zu verstehen, wie RL funktioniert, hilft es, den Prozess als kontinuierlichen Interaktionszyklus zu betrachten. Dieser Rahmen wird häufig mathematisch als Markow-Entscheidungsprozess (MDP) formalisiert. Er strukturiert die Entscheidungsfindung in Situationen, in denen Ergebnisse teilweise zufällig und teilweise durch den Entscheidungsträger kontrolliert sind.

Zu den wichtigsten Komponenten dieses Lernzyklus gehören:

• KI-Agent: Die Instanz, die für das Lernen und Treffen von Entscheidungen verantwortlich ist. Sie nimmt die Umgebung wahr und führt Aktionen aus, um ihren kumulierten Erfolg zu maximieren.
• Umgebung: Die externe Welt, in der der Agent agiert. Dabei kann es sich um ein komplexes Videospiel, eine Simulation eines Finanzmarkts oder ein physisches Lager im Bereich KI in der Logistik handeln.
• Zustand: Eine Momentaufnahme oder Darstellung der aktuellen Situation. In visuellen Anwendungen umfasst dies häufig die Verarbeitung von Kamerabildern mithilfe von Computer Vision (CV), um Objekte und Hindernisse zu erkennen.
• Aktion: Die konkrete Bewegung oder Entscheidung des Agenten. Die vollständige Menge aller möglichen Bewegungen wird als Aktionsraum bezeichnet.
• Belohnung: Ein numerisches Signal, das nach einer Aktion von der Umgebung an den Agenten gesendet wird. Eine gut konzipierte Belohnungsfunktion weist nützlichen Aktionen positive Werte und schädlichen Aktionen Strafwerte zu.
• Policy: Die Strategie oder das Regelwerk, anhand derer der Agent auf Grundlage des aktuellen Zustands die nächste Aktion bestimmt. Algorithmen wie Q-Learning legen fest, wie diese Policy aktualisiert und optimiert wird.

Anwendungen in der Praxis#

Bestärkendes Lernen hat sich von der theoretischen Forschung zu praktischen Anwendungen mit großer Wirkung in verschiedensten Branchen entwickelt.

• Fortgeschrittene Robotik: Im Bereich der KI in der Robotik ermöglicht RL Maschinen, komplexe motorische Fähigkeiten zu erlernen, die sich nur schwer fest programmieren lassen. Roboter können lernen, unregelmäßig geformte Objekte zu greifen oder unebenes Gelände zu navigieren, indem sie zunächst in Physik-Engines wie NVIDIA Isaac Sim trainiert werden, bevor sie in der realen Welt eingesetzt werden.
• Autonome Systeme: Autonome Fahrzeuge nutzen RL, um in unvorhersehbaren Verkehrssituationen Entscheidungen in Echtzeit zu treffen. Während Modelle zur Objekterkennung Fußgänger und Verkehrszeichen erkennen, helfen RL-Algorithmen dabei, sichere Fahrstrategien für das Einfädeln und die Navigation an Kreuzungen zu bestimmen.
• Strategische Optimierung: RL erlangte weltweite Aufmerksamkeit, als Systeme wie AlphaGo von Google DeepMind menschliche Weltmeister in komplexen Brettspielen besiegten. Über den Spielebereich hinaus optimieren diese Agenten die industrielle Logistik, etwa indem sie Kühlsysteme in Rechenzentren steuern, um den Energieverbrauch zu senken.

Vision mit RL integrieren#

In vielen modernen Anwendungen ist der vom Agenten beobachtete „Zustand“ visueller Natur. Leistungsstarke Modelle wie YOLO26 fungieren als Wahrnehmungsschicht für RL-Agenten und wandeln Rohbilder in strukturierte Daten um. Diese verarbeiteten Informationen – etwa der Standort und die Klasse von Objekten – bilden den Zustand, anhand dessen die RL-Policy eine Aktion auswählt.

Das folgende Beispiel zeigt, wie du das Paket ultralytics verwenden kannst, um ein Bild der Umgebung zu verarbeiten und eine Zustandsdarstellung (z. B. die Anzahl der Objekte) für einen theoretischen RL-Zyklus zu erstellen.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the agent's vision system
model = YOLO("yolo26n.pt")

# Simulate the agent observing the environment (an image frame)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Process the frame to extract the current 'state'
results = model(observation_frame)

# The agent uses detection data to inform its next action
# For example, an autonomous delivery robot might stop if it sees people
num_objects = len(results[0].boxes)
print(f"Agent Observation: {num_objects} objects detected. Calculating next move...")

Unterscheidung verwandter Begriffe#

Es ist wichtig, bestärkendes Lernen von anderen Paradigmen des maschinellen Lernens zu unterscheiden:

• vs. Überwachtes Lernen: Überwachtes Lernen erfordert eine sachkundige externe Instanz, die gekennzeichnete Trainingsdaten bereitstellt (z. B. „Dieses Bild enthält eine Katze“). Im Gegensatz dazu lernt RL aus den Folgen seiner eigenen Aktionen, ohne explizite Kennzeichnungen, und entdeckt durch Erkundung optimale Wege.
• vs. Unüberwachtes Lernen: Unüberwachtes Lernen konzentriert sich darauf, verborgene Strukturen oder Muster in nicht gekennzeichneten Daten zu finden (etwa beim Clustering von Kunden). RL unterscheidet sich davon, weil es ausdrücklich zielorientiert ist und sich auf die Maximierung eines Belohnungssignals statt auf die bloße Beschreibung der Datenstruktur konzentriert.

Mit zunehmender Rechenleistung verfeinern Techniken wie bestärkendes Lernen aus menschlichem Feedback (RLHF) die Lernprozesse von Agenten weiter und richten ihre Ziele stärker an komplexen menschlichen Werten und Sicherheitsstandards aus. Forschende verwenden häufig standardisierte Umgebungen wie Gymnasium, um diese Algorithmen zu bewerten und zu verbessern. Für Teams, die die für die Wahrnehmungsschichten dieser Agenten erforderlichen Datensätze verwalten möchten, bietet die Ultralytics Platform umfassende Werkzeuge für Annotation und Modellverwaltung.