Reinforcement Learning

Bestärkendes Lernen (RL) ist ein Teilgebiet des maschinellen Lernens (ML), in dem ein Agent durch das Ausprobieren von Aktionen in einer Umgebung und das Erhalten von Belohnungen oder Strafen lernt, eine Folge von Entscheidungen zu treffen. Ziel ist es, mit der Zeit möglichst viele Belohnungen zu sammeln. Niemand sagt dem Agenten, welche Aktion richtig ist. Er findet selbst heraus, welche Aktionen sich auszahlen, auch wenn die Belohnung erst viele Schritte später eintritt, etwa bei einem Schachzug, der zehn Züge später Material gewinnt. Deshalb ist bestärkendes Lernen der Standardansatz für sequenzielle Steuerungsprobleme: Spiele spielen, Roboter steuern und große Sprachmodelle (LLMs) auf Antworten trainieren, die Menschen bevorzugen oder die ein Programm überprüfen kann. Richard Sutton und Andrew Barto, deren Lehrbuch das moderne Fachgebiet geprägt hat, erhielten 2024 den ACM-A.M.-Turing-Preis für ihre grundlegende Arbeit zum bestärkenden Lernen.

So funktioniert bestärkendes Lernen#

Probleme des bestärkenden Lernens werden als Markow-Entscheidungsprozess (MDP) formalisiert. In jedem Zeitschritt beobachtet der Agent den aktuellen Zustand, wählt eine Aktion aus seinem Aktionsraum und erhält eine Belohnung sowie den nächsten Zustand. Sein Ziel ist der Ertrag, also die Summe künftiger Belohnungen. Ein Diskontierungsfaktor zwischen 0 und 1 sorgt dafür, dass weiter entfernte Belohnungen weniger zählen als unmittelbare. Die Belohnung ist die einzige Beschreibung der Aufgabe, die der Agent erhält. Eine unachtsame Gestaltung führt daher zu Reward Hacking, bei dem der Agent gute Werte erzielt, ohne das zu tun, was der Entwickler beabsichtigt hat.

• Agent: Das lernende und entscheidende System, zum Beispiel eine Robotersteuerung oder ein Programm, das Spiele spielt.
• Umgebung: Alles, womit der Agent interagiert, von einem Physiksimulator bis zum Fußboden eines realen Lagers.
• Zustand: Die Informationen, auf deren Grundlage der Agent handelt, etwa Gelenkwinkel, eine Brettstellung oder aus einem Kamerabild extrahierte Merkmale.
• Aktion: Eine dem Agenten verfügbare Wahl, entweder diskret (links oder rechts) oder kontinuierlich (ein Lenkwinkel).
• Belohnung: Eine Zahl, die die Umgebung nach jeder Aktion zurückgibt: positiv bei Fortschritt und negativ bei Fehlern oder Zeitverschwendung.
• Politik: Die Regel des Agenten zur Auswahl einer Aktion in jedem Zustand. Sie wird durch das Training verbessert.
• Wertfunktion: Der erwartete Ertrag aus einem Zustand oder aus einer bestimmten Aktion in einem Zustand. Anhand der Wertfunktion kann der Agent Aktionen nach ihren langfristigen Folgen beurteilen.

Da der Agent nur aus den Aktionen lernt, die er ausprobiert, muss er zwischen Exploration – dem Ausprobieren von Aktionen mit ungewissem Wert – und Exploitation – der Wahl der aktuell vielversprechendsten Aktion – abwägen. Eine verbreitete Regel ist ε-greedy: Mit geringer Wahrscheinlichkeit wird zufällig gehandelt, andernfalls wird die beste bekannte Aktion gewählt. Dieses NumPy-Beispiel verwendet Q-Learning, einen klassischen Algorithmus, der den Wert jedes Zustands-Aktions-Paars lernt, um einem Agenten beizubringen, einen sechs Felder langen Korridor entlang bis zu einer Belohnung am Ende zu laufen:

import numpy as np

rng = np.random.default_rng(0)
# Korridor mit 6 Feldern: Start in Feld 0, Belohnung +1 beim Erreichen von Feld 5; Aktionen 0 = links, 1 = rechts
n_states, goal = 6, 5
Q = np.zeros((n_states, 2))  # geschätzter Ertrag für jedes (Zustand, Aktion)-Paar
alpha, gamma, epsilon = 0.5, 0.9, 0.2  # Lernrate, Diskontierungsfaktor, Explorationsrate

for episode in range(200):
    state = 0
    while state != goal:
        # Mit Wahrscheinlichkeit epsilon explorieren, andernfalls die beste bekannte Aktion nutzen
        action = rng.integers(2) if rng.random() < epsilon else Q[state].argmax()
        next_state = max(0, state - 1) if action == 0 else state + 1
        reward = 1.0 if next_state == goal else 0.0
        # Q-Learning-Aktualisierung: Auf die Belohnung plus den diskontierten Bestwert des nächsten Zustands zubewegen
        Q[state, action] += alpha * (reward + gamma * Q[next_state].max() - Q[state, action])
        state = next_state

print("Greedy policy:", ["left" if a == 0 else "right" for a in Q[:goal].argmax(axis=1)])
print("Value of moving right:", Q[:goal, 1].round(2))

Es gibt in jedem Feld eine Richtlinie aus right und Werte aus [0.66 0.73 0.81 0.9 1. ] aus. Die Belohnung wurde nur im letzten Feld vergeben, doch die Aktualisierung propagierte sie rückwärts, und jeder Schritt weiter vom Ziel entfernt ist 0,9-mal so viel wert wie der nächste – genau der Diskontierungsfaktor in Aktion.

Familien von RL-Algorithmen#

Tabellarische Methoden wie die obige speichern für jeden Zustand einen Wert. Das funktioniert nicht mehr, sobald Zustände aus Kamerabildern oder kontinuierlichen Gelenkwinkeln bestehen. Deep Reinforcement Learning ersetzt die Tabelle durch ein neuronales Netz, das auf ähnliche Zustände verallgemeinert. Die wichtigsten Algorithmusfamilien unterscheiden sich darin, was das Netz lernt:

Modellfreie Agenten lernen ausschließlich aus realer oder simulierter Erfahrung, während modellbasierte Agenten ein Weltmodell lernen, das vorhersagt, wie die Umgebung reagiert, und anschließend damit planen, etwa durch modellprädiktive Regelung oder Monte-Carlo-Baumsuche. Proximal Policy Optimization (PPO), das begrenzt, wie stark sich die Richtlinie bei jeder Aktualisierung ändern kann, wurde zum Standardverfahren der Policy-Gradient-Methoden in der Robotik und beim Training von Sprachmodellen. Group Relative Policy Optimization (GRPO) passte das Verfahren für das Schlussfolgern mit LLMs an, indem es den trainierten Kritiker wegließ. OpenAIs Spinning Up führt anhand von Referenzimplementierungen durch diese Algorithmen.

Anwendungen in der Praxis#

• Spiele: DeepMinds AlphaGo kombinierte tiefe neuronale Netze mit Baumsuche und RL-Selbstspiel und besiegte im März 2016 den Go-Champion Lee Sedol mit 4 zu 1 Partien.
• Robotik: Steuerungen für die Fortbewegung von vierbeinigen und humanoiden Robotern werden mithilfe von RL mit Tausenden parallel simulierten Robotern trainiert. Dabei werden oft Reibung, Massen und Gelände variiert, damit sich die Richtlinie auf reale Hardware übertragen lässt.
• Ausrichtung von Sprachmodellen: Chat-Assistenten werden mithilfe von RL an einem Belohnungsmodell feinabgestimmt, das mit menschlichen Präferenzvergleichen trainiert wurde. Schlussfolgerungsmodelle werden mit RL anhand automatischer Prüfer trainiert, die Matheaufgaben kontrollieren oder Unit-Tests ausführen.
• Empfehlungssysteme: Wenn eine Folge von Empfehlungen als Entscheidungen betrachtet wird, kann ein System die langfristige Interaktion statt des nächsten Klicks optimieren.

Die meisten Richtlinien für Roboter werden in Simulationen trainiert, denn ein Agent benötigt unter Umständen Millionen von Versuchen und reale Hardware kann dabei beschädigt werden. Frameworks wie NVIDIA Isaac Lab führen Tausende Umgebungen auf einer GPU aus, und Domänenrandomisierung verringert die Lücke zwischen simulierter und realer Physik. Kamerabasierte RL-Systeme verarbeiten üblicherweise die Ausgabe eines Wahrnehmungsmodells statt der Rohpixel: Ultralytics YOLO26, das über die ROS-Integration auf einem Roboter läuft, veröffentlicht die Objektklassen in jedem Kamerabild und bei einer Tiefenkamera auch die Entfernung jedes Objekts als kompakte Nachrichten, die eine Richtlinie als Zustand verwenden kann.

Reinforcement Learning im Vergleich zu verwandten Ansätzen#

• Überwachtes Lernen: Jedes Trainingsbeispiel enthält die richtige Antwort. Ein RL-Agent erhält nur eine skalare Belohnung, die oft verzögert eintrifft, und seine eigenen Aktionen bestimmen, welche Daten er als Nächstes sieht.
• Unüberwachtes Lernen: Das Modell findet Strukturen wie Cluster in unbeschrifteten Daten, ohne Aktionen auszuführen oder eine Belohnung zu maximieren.
• Markov-Entscheidungsprozess: Der MDP beschreibt das Problem, und RL umfasst die Methoden, die es anhand von Erfahrungen lösen, ohne dass die Übergangswahrscheinlichkeiten vorgegeben werden.
• Imitationslernen: Der Agent kopiert Vorführungen eines Experten, am einfachsten durch Verhaltensklonen, und kann seinen Lehrmeister nur schwer übertreffen. RL kann dagegen Strategien entdecken, die kein Vorführer gezeigt hat. Beides wird oft kombiniert: AlphaGo lernte zunächst anhand von 30 Millionen Positionen aus menschlichen Partien und verbesserte sich dann durch Selbstspiel. Sein Nachfolger AlphaGo Zero verzichtete vollständig auf menschliche Daten und besiegte diese AlphaGo-Version mit 100 zu 0 Spielen.