Large Action Models (LAM)

Ein großes Aktionsmodell (LAM) ist ein KI-Modell, das darauf trainiert wurde, eine Anfrage in eine Abfolge von Aktionen umzuwandeln, die Software ausführen kann, etwa API-Aufrufe, Klicks und Tastatureingaben, statt in eine Textantwort. Die meisten LAMs bauen auf einem großen Sprachmodell (LLM) auf und werden anhand aufgezeichneter Aufgabenabläufe feinabgestimmt, bis sie zuverlässig die nächste Aktion auswählen, deren Argumente ausfüllen und sich von fehlgeschlagenen Schritten erholen. Dadurch bilden sie den Entscheidungskern eines KI-Agenten. Das Start-up Rabbit machte den Begriff im Januar 2024 populär, als CEO Jesse Lyu das Handgerät R1 vorstellte und dessen LAM als Modell präsentierte, das durch Beobachtung von Menschen beim Bedienen von Apps gelernt hatte. Forschungsgruppen verwenden die Bezeichnung inzwischen für Modelle, die darauf trainiert und getestet werden, Aktionen auszuführen. Besonders bekannt ist Salesforces xLAM-Familie: fünf Modelle mit einer bis zu 8 × 22 Milliarden Parametern umfassenden Expertenmischung (MoE). Laut der im September 2024 veröffentlichten Studie belegte sie auf dem Berkeley Function Calling Leaderboard den ersten Platz vor GPT-4 und Claude 3.

Wie große Aktionsmodelle trainiert werden#

Microsofts im Dezember 2024 veröffentlichte Studie Large Action Models: Von der Entstehung bis zur Implementierung dokumentiert den gesamten Prozess für ein Modell, das Microsoft Word bedient. Das Team trainierte das Modell ausgehend von Mistral-7B in vier Phasen: Vortraining mit Aufgabenplänen, das zeigt, wie Anfragen in Schritte zerlegt werden; Lernen anhand von Expertenabläufen, die mit GPT-4o aufgezeichnet wurden; Exploration mit Selbstverstärkung, bei der das Modell Aufgaben ausprobierte, an denen der Experte gescheitert war, und seine erfolgreichen Durchläufe als neue Trainingsdaten übernahm; sowie bestärkendes Lernen anhand eines gelernten Belohnungsmodells. Das fertige Modell lief in UFO, Microsofts Windows-GUI-Agent, und erledigte 71,0 % der Word-Aufgaben im Livebetrieb in durchschnittlich 30,42 Sekunden. GPT-4o schaffte mit derselben Textbeschreibung der Fenstersteuerung 63,0 % und benötigte 86,42 Sekunden. Häufiger war GPT-4o nur dann erfolgreich, wenn Screenshots hinzugefügt wurden; dabei dauerte jede Aufgabe 96,48 Sekunden.

Zur Laufzeit wiederholt ein LAM einen Zyklus, bis die Aufgabe abgeschlossen ist: Es liest die Anfrage und den aktuellen Zustand, wählt eine Aktion aus, lässt sie von der Ausführungsumgebung ausführen und beobachtet das Ergebnis.

Aktionen über APIs und Benutzeroberflächen#

Wenn eine Anwendung eine API anbietet, gibt das Modell Funktionsaufrufe aus: eine benannte Operation mit Argumenten, die einem JSON-Schema entsprechen. Die Ausführungsumgebung des Agenten prüft und verarbeitet diese Aufrufe. Wenn eine Software nur eine grafische Benutzeroberfläche bietet, arbeitet das Modell wie ein Computerbedienungsagent: Es wählt ein Steuerelement im Barrierefreiheitsbaum aus oder lokalisiert es per Grounding in einem Screenshot und klickt dann darauf oder gibt Text ein. API-Aktionen sind schneller und leichter zu überprüfen, daher bevorzugen Agenten sie, sofern verfügbar, und greifen bei älterer Software auf den Bildschirm zurück. Auch die Bildverarbeitung wird zu einer weiteren API-Aktion: Ein YOLO26-Modell, das auf einem dedizierten Endpunkt der Ultralytics Platform bereitgestellt wird, beantwortet eine einzelne POST-Anfrage mit einer Bilddatei oder URL und liefert die Ergebnisse der Objekterkennung als JSON zurück – dieselbe Art von strukturierter Ausgabe, die das Modell auch von jedem anderen Werkzeug einliest.

LAMs und verwandte Begriffe#

• LLM: Ein Modell, das darauf trainiert ist, Text zu erzeugen. Ein LAM ist üblicherweise ein LLM, das zusätzlich so trainiert wurde, dass seine Ausgabe eine ausführbare Aktion ist. Die Grenze verschwimmt, wenn allgemeine Modelle Funktionsaufrufe und Computerbedienung beherrschen.
• KI-Agent: Das vollständige System aus Modell, Ausführungsumgebung, Werkzeugen, Speicher und Berechtigungen, das oft als agentischer Arbeitsablauf aufgebaut ist. Das LAM ist das darin enthaltene Modell, das jede Aktion festlegt.
• Agentisches RAG: Verwendet Werkzeugaufrufe, um vor der Beantwortung einer Frage Informationen zu suchen und zu sammeln. Von einem LAM ausgeführte Aktionen verändern den Zustand eines Systems, etwa durch das Versenden einer E-Mail, das Bearbeiten eines Dokuments oder das Einreichen eines Formulars.
• Vision-Language-Action-Modelle (VLA): Das Gegenstück aus der Robotik im Bereich der verkörperten KI, das Kamerabilder und Anweisungen in Motorbefehle umwandelt, etwa Gemini Robotics. Google DeepMinds RT-2 zeigte den Ansatz bei seiner Veröffentlichung im Juli 2023: Ein Vision-Language-Modell wurde feinabgestimmt, um Roboteraktionen als Text-Tokens auszugeben.