Behavioral Cloning

Verhaltensklonen ist eine grundlegende Technik des Imitationslernens, bei der ein KI-Agent lernt, eine Aufgabe auszuführen, indem er einen Datensatz mit Demonstrationen von Experten strikt nachahmt. Anstatt auf ein komplexes Belohnungssystem zurückzugreifen, behandelt das Modell die sequenzielle Entscheidungsfindung als standardmäßiges Problem des überwachten Lernens. Durch die Verarbeitung Tausender Zustands-Aktions-Paare – etwa der visuellen Darstellung eines menschlichen Bedieners und der zugehörigen Joystick-Bewegungen – lernt der Agent eine Policy, die neue Beobachtungen direkt auf vorhergesagte Aktionen abbildet.

Wie sich Verhaltensklonen vom bestärkenden Lernen unterscheidet#

Während ein Agent beim bestärkenden Lernen mit einer Umgebung interagieren und durch Ausprobieren lernen muss, um ein Belohnungssignal zu maximieren, stützt sich Verhaltensklonen vollständig auf statische, vorab aufgezeichnete Datensätze. Da es ohne Interaktion mit der Umgebung oder explizite Belohnungsfunktionen auskommt, vermeidet es die Komplexität der Formulierung eines Markov-Entscheidungsprozesses. Diese Einfachheit bedeutet jedoch, dass der Agent keine neuartigen Lösungen entdecken kann, die die Leistung des Experten übertreffen. Aktuelle Methoden des Offline-Reinforcement-Learnings verwenden Verhaltensklonen häufig als robuste Ausgangsbasis, um das anfängliche Modelltraining zu stabilisieren, bevor sie es mit Belohnungen weiter optimieren.

Anwendungen in der Praxis#

Verhaltensklonen wird in Bereichen häufig eingesetzt, in denen die Entwicklung einer mathematischen Belohnungsfunktion äußerst schwierig ist, das Erfassen menschlicher Demonstrationsdaten jedoch relativ einfach.

• Autonomes Fahren: Moderne Systeme für autonomes Fahren, wie NVIDIA DRIVE, nutzen in großem Umfang End-to-End-Verhaltensklonen. Durch das Training mit Tausenden Stunden menschlicher Fahrdaten lernen die Modelle, Lenkwinkel und Beschleunigungsbefehle direkt aus eingehenden Computer-Vision-Daten vorherzusagen.
• Manipulation in der Robotik: Teleoperierte Roboterarme nutzen Verhaltensklonen, um komplexe physische Aufgaben zu erlernen, etwa das Sortieren von Paketen, das Zusammensetzen gefertigter Teile oder das Zusammenlegen von Wäsche. Durch die Aufzeichnung der exakten Gelenkwinkel und visuellen Zustände aus menschlichen Demonstrationen können Modelle feinmotorische Fähigkeiten mit hoher Präzision nachbilden.

Das Problem der sich aufaddierenden Fehler#

Die bedeutendste Einschränkung dieser Technik ist der Kovariaten-Shift, der allgemein als Aufsummierung von Fehlern bezeichnet wird. Während des Trainings lernt der Agent nur aus perfekten Trajektorien von Experten. Bei der Ausführung im geschlossenen Regelkreis in der realen Welt verschiebt ein winziger anfänglicher Fehler den Agenten in einen unbekannten Zustand, der in den Trainingsdaten nicht vorkommt. Da ihm das Wissen zur Fehlerkorrektur fehlt, verschlechtern sich die nachfolgenden Aktionen schnell, was zum vollständigen Scheitern der Aufgabe führt. Um dieses Problem zu mindern, sind umfangreiche, vielfältige Datensätze und gezielte Datenerweiterung erforderlich.

Aktuelle Entwicklungen: Diffusionsstrategien und Aktionsbündelung#

Um die Einschränkungen herkömmlicher Verfahren zu überwinden, integrieren moderne Architekturen des Deep Learnings generative Techniken. Diffusionsstrategien nutzen den mathematischen Rahmen von Diffusionsmodellen, um hochkomplexe, multimodale Aktionsverteilungen abzubilden. Dadurch können Agenten mehrdeutige Situationen souverän bewältigen – ein Konzept, das in der aktuellen Robotikforschung eingehend untersucht wird. Gleichzeitig ermöglicht die Aktionsbündelung einem Agenten, eine Sequenz zukünftiger Aktionen statt eines einzelnen Schritts vorherzusagen, wodurch die Häufigkeit reaktiver Fehler verringert und eine gleichmäßigere Ausführung gewährleistet wird.

Praktische Umsetzung mit Computer Vision#

In der Praxis stützt sich Verhaltensklonen auf ein leistungsfähiges Wahrnehmungs-Backbone, das Umgebungszustände extrahiert, bevor es sie an das Policy-Netzwerk übergibt. Zur Verwaltung von Datensätzen kombinieren Entwickler auf der Ultralytics Platform häufig hochperformante Modelle zur Objekterkennung mit Bibliotheken für neuronale Netzwerke wie PyTorch oder spezialisierten Paketen zur Steuerung wie TorchRL.

Das folgende Python-Snippet zeigt, wie Ultralytics YOLO26 als Wahrnehmungsschicht dienen kann, indem es räumliche Koordinaten extrahiert und einem einfachen PyTorch-Modell für Verhaltensklonen zuführt, das eine Lenkaktion vorhersagt.

import torch
import torch.nn as nn
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model as the perception layer
perception_model = YOLO("yolo26n.pt")
results = perception_model("robot_camera_feed.jpg")

# Extract the bounding box center to define the current environmental state
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xywh.squeeze()
    state = torch.tensor([box[0], box[1]])  # x, y center coordinates

    # A simplified PyTorch Behavioral Cloning policy mapping states to actions
    bc_policy = nn.Linear(in_features=2, out_features=1)

    # Predict the expert-cloned action (e.g., a steering angle)
    predicted_action = bc_policy(state)
    print(f"Predicted cloned action: {predicted_action.item()}")

Da Forschungseinrichtungen wie OpenAI und Anthropic die Entwicklung von Basismodellen für physische Intelligenz vorantreiben, wird Verhaltensklonen ein zentraler Baustein bleiben, um Maschinen das Interpretieren und Navigieren in komplexen Umgebungen der realen Welt beizubringen.