Action Chunking

Beim Chunking von Aktionen sagt eine Richtlinie im Roboterlernen anhand einer einzelnen Beobachtung eine Folge oder einen Chunk der nächsten k Aktionen voraus, statt für jeden Steuerschritt nur eine Aktion vorherzusagen. Der Begriff entlehnt ein Konzept aus Psychologie und Neurowissenschaften: eine Folge von Aktionen als einzelne Einheit zusammenzufassen. Im Roboterlernen wurde das Verfahren 2023 mit Action Chunking with Transformers (ACT) eingeführt. ACT erlernte anspruchsvolle beidhändige Aufgaben wie das Einsetzen einer Batterie mit einer Erfolgsquote von 80–90 % und nur zehn Minuten Demonstrationen an den kostengünstigen ALOHA-Armen. Die Vorhersage von Aktionssequenzen ist heute beim Imitationslernen und bei den für allgemeine Robotik entwickelten Bild-Sprache-Aktion-Modellen (VLA) Standard.

Warum die Vorhersage von Aktionssequenzen hilft#

Beim Behavior Cloning lernt eine Richtlinie, die Aktionen aus menschlichen Demonstrationen nachzuahmen. Jeder kleine Fehler versetzt den Roboter in einen Zustand, der in den Demonstrationen nicht vorkam. Dadurch wird die nächste Vorhersage schlechter und die Fehler summieren sich bei längeren Aufgaben. Eine Richtlinie, die sich pro Vorhersage auf k Aktionen festlegt, trifft pro Durchlauf k-mal weniger Entscheidungen. Die ACT-Autoren beschreiben das als eine k-fache Verringerung des effektiven Zeithorizonts der Aufgabe. In ihrer simulierten Ablationsstudie stieg der über zwei Aufgaben gemittelte Erfolg von 1 % bei der Vorhersage einer Aktion nach der anderen auf 44 % bei Sequenzen aus 100 Aktionen.

Aktionssequenzen erfassen auch zeitliche Abläufe, die sich aus einer einzelnen Beobachtung nicht ableiten lassen. Menschliche Demonstrierende halten inne und zögern. Eine einstufige Richtlinie, die vor und nach einer Pause dasselbe Bild sieht, kann nicht erkennen, ob sie warten oder sich bewegen soll. Eine Sequenz, die die Pause enthält, gibt sie dagegen wieder. Zeigen die Demonstrationen zwei gültige Möglichkeiten, eine Aufgabe auszuführen, sorgt die Vorhersage der gesamten Sequenz dafür, dass der Roboter bei einer davon bleibt, statt beide zu mitteln.

Der Roboter führt eine Aktionssequenz aus und fordert die Richtlinie dann zu einer neuen auf:

Eine Neuplanung erst nach der gesamten Aktionssequenz erfordert die wenigsten Modellaufrufe. Eine Neuplanung nach einem Teil davon, wie bei Diffusion Policy, folgt dem Prinzip des gleitenden Horizonts der modellprädiktiven Regelung und reagiert schneller auf unerwartete Ereignisse.

Übergänge zwischen Aktionssequenzen glätten#

Innerhalb einer Aktionssequenz bewegt sich der Roboter ohne Rückkopplung, und jede neue Sequenz beginnt mit einer frischen Vorhersage. Dadurch kann die Bewegung beim Übergang zwischen zwei Sequenzen sprunghaft sein. Bei der zeitlichen Ensemblebildung von ACT fragt das System die Richtlinie bei jedem Schritt ab und führt einen gewichteten Mittelwert aller Vorhersagen für den aktuellen Schritt aus. Die Gewichte exp(−m·i) geben der ältesten Vorhersage das größte Gewicht. Dieses NumPy-Beispiel vergleicht einfaches Chunking mit zeitlicher Ensemblebildung für eine stellvertretende Richtlinie, bei der jede Aktionssequenz einen eigenen kleinen Fehler enthält:

import numpy as np

rng = np.random.default_rng(0)
k, steps, m = 10, 100, 0.1  # chunk size, episode length, temporal-ensembling decay
target = np.sin(np.linspace(0, np.pi, steps + k))  # the demonstrated joint trajectory

# Stand-in policy: at step t it predicts actions for steps t..t+k-1, each chunk off by its own error
chunks = [target[t : t + k] + rng.normal(0, 0.05) for t in range(steps)]

# Plain chunking: query every k steps and execute each chunk open loop
plain = np.concatenate([chunks[t] for t in range(0, steps, k)])

# Temporal ensembling (ACT): query every step and average all predictions for step t, oldest weighted most
ensembled = []
for t in range(steps):
    preds = [chunks[s][t - s] for s in range(max(0, t - k + 1), t + 1)]
    weights = np.exp(-m * np.arange(len(preds)))
    ensembled.append(np.dot(weights, preds) / weights.sum())

for name, actions in (("plain", plain), ("ensembled", np.array(ensembled))):
    print(f"{name}: largest jump between consecutive actions = {np.abs(np.diff(actions)).max():.3f}")
print(f"demonstration: largest jump = {np.abs(np.diff(target[:steps])).max():.3f}")

Beim einfachen Chunking beträgt der größte Sprung zwischen aufeinanderfolgenden Schritten 0,085 – etwa das Dreifache der 0,029 aus der Demonstration – und tritt an einem Übergang zwischen Aktionssequenzen auf. Die Ensemblebildung verringert ihn auf 0,044, da jede ausgeführte Aktion den Mittelwert von bis zu zehn Vorhersagen bildet, die anhand unterschiedlicher Beobachtungen erstellt wurden.

Bei größeren Modellen lassen sich die Übergänge schwerer verbergen, da die Inferenz länger dauern kann als ein Steuerschritt. Beim Echtzeit-Chunking von Physical Intelligence wird die nächste Aktionssequenz erzeugt, während die aktuelle noch ausgeführt wird. Die während der Inferenzverzögerung auszuführenden Aktionen werden festgelegt, und der Rest wird passend dazu ergänzt. Dadurch funktionierten dynamische Aufgaben wie das Anzünden eines Streichholzes auch bei Verzögerungen von mehr als 300 ms.

Aktionssequenzierung in modernen Roboterrichtlinien#

• ACT: Ein Transformer, der als bedingter Variational Autoencoder trainiert wurde und Sequenzen mit jeweils 100 Gelenkpositionszielen ausgibt – zwei Sekunden Bewegung bei der ALOHA-Steuerfrequenz von 50 Hz.
• Diffusionsrichtlinien: Diese erzeugen jede Aktionssequenz durch iteratives Entrauschen, wodurch sich Demonstrationen mit mehreren unterschiedlichen Lösungen gut darstellen lassen.
• VLA-Modelle: Physical Intelligences π0 kombiniert ein Vision-Language-Modell mit einem Aktionsexperten, der mit Flow Matching trainiert wurde und Sequenzen mit jeweils 50 Aktionen ausgibt, um eine Steuerung mit bis zu 50 Hz zu ermöglichen. Die LeRobot-Bibliothek von Hugging Face bietet offene Implementierungen von ACT, Diffusion Policy und π0.

Die meisten dieser Richtlinien kodieren rohe Kamerabilder mit einem gelernten Backbone. Eine Richtlinie kann stattdessen Objektpositionen aus einem Detektor verwenden: Ein Ultralytics YOLO26-Modell, das auf die Teile in einer Fertigungszelle feinabgestimmt wurde, wandelt jedes Bild in einige Box- oder Keypoint-Koordinaten um, die der Sequenzierungsrichtlinie anstelle roher Pixel als Zustand dienen.

Aktionssequenzierung und verwandte Konzepte#

• Aktionserkennung: Erkennt die Aktivität in einem Video. Die Aktionssequenzierung erzeugt die Befehle, die ein Roboter ausführt.
• Modellprädiktive Regelung: Optimiert in jedem Schritt eine Aktionssequenz anhand eines Dynamikmodells. Eine sequenzbasierte Richtlinie lernt ihre Sequenzen aus Demonstrationen und benötigt kein Modell.
• Große Aktionsmodelle: KI-Agenten, die über Klicks und API-Aufrufe in Softwareoberflächen agieren. Bei der Aktionssequenzierung geht es um einfache Motorbefehle, etwa den 14-dimensionalen Vektor mit Gelenkpositionen, den ACT bei jedem Schritt für die beiden Arme von ALOHA ausgibt.