AI Agent Orchestration

Die Orchestrierung von KI-Agenten ist die Koordinationsebene eines Systems aus mehreren KI-Agenten, Modellen und Werkzeugen. Sie bestimmt, welche Komponente jeden Teil einer Aufgabe übernimmt, welchen Kontext die einzelnen Komponenten erhalten, in welcher Reihenfolge sie arbeiten, wie sie Aufgaben untereinander übergeben und wie ihre Ergebnisse zusammengeführt und geprüft werden. Der Orchestrator kann aus gewöhnlichem Code mit festem Kontrollfluss, einem LLM, das zur Laufzeit plant und Aufgaben delegiert, oder einer Mischung aus beiden bestehen. Durch Orchestrierung werden spezialisierte Komponenten wie ein Suchagent, ein Programmieragent und ein Computervision-Modell zu einem System, das Aufgaben erledigt, die kein einzelner Aufruf eines Sprachmodells (LLM) bewältigen könnte.

Aufgaben einer Orchestrierungsebene#

• Weiterleitung: Leitet jede Teilaufgabe an den Agenten oder das Modell weiter, das sich am besten dafür eignet – häufig an ein kleines, schnelles Modell für einfache Schritte und an ein hochmodernes Modell für schwierige Aufgaben.
• Kontextverwaltung: Gibt jedem Agenten nur die Anweisungen, Dateien und vorherigen Ergebnisse, die er benötigt. Unteragenten können in getrennten Kontextfenstern tief in ein Thema eintauchen und eine kurze Zusammenfassung zurückgeben, statt den Kontext des Hauptagenten zu füllen.
• Strukturierte Übergaben: Übermittelt Ergebnisse zwischen Agenten als validierte Daten, etwa als JSON mit einem festen Schema, damit der nächste Schritt das Format zuverlässig verarbeiten kann.
• Fehlerbehandlung: Wiederholt fehlgeschlagene Schritte, setzt Zeitüberschreitungen und Budgets durch und wartet vor folgenreichen Aktionen auf menschliche Freigabe.
• Beobachtbarkeit: Zeichnet alle Aufrufe, Werkzeugergebnisse und Entscheidungen nach, damit Fehler gefunden und erneut abgespielt werden können.

Gängige Orchestrierungsmuster#

Die meisten Systeme kombinieren einige wenige wiederkehrende Orchestrierungsmuster:

• Sequenzielle Pipelines: Jeder Agent verarbeitet in einer festen Reihenfolge die Ausgabe des vorherigen Agenten, etwa Entwurf, Prüfung und anschließend Übersetzung.
• Parallele Aufteilung: Mehrere Agenten bearbeiten dieselbe Eingabe parallel, und eine Aggregatorkomponente führt ihre Ergebnisse zusammen oder stimmt darüber ab.
• Orchestrator und Worker: Ein Hauptagent zerlegt die Aufgabe zur Laufzeit in Teilaufgaben, delegiert sie an untergeordnete Agenten und führt deren Ergebnisse zusammen. Dieses hierarchische Muster eignet sich für offene Aufgaben, deren Schritte nicht im Voraus aufgelistet werden können.
• Übergabe: Ein Agent übergibt das gesamte Gespräch an einen besser geeigneten Spezialisten, etwa wenn ein Triage-Agent eine Abrechnungsfrage an einen Abrechnungsagenten weiterleitet.
• Gruppengespräch und Debatte: Agenten kommen in einem gemeinsamen Thread abwechselnd zu Wort, kritisieren die Beiträge der anderen und bauen darauf auf. Ein Moderator leitet die Diskussion.
• Evaluator-Optimizer: Ein Agent liefert ein Ergebnis, ein anderer bewertet es anhand von Kriterien. Dieser Vorgang wiederholt sich, bis das Ergebnis den Anforderungen entspricht.

Frameworks wie LangGraph, das OpenAI Agents SDK, Googles Agent Development Kit und das Microsoft Agent Framework, der Nachfolger von AutoGen und Semantic Kernel, setzen diese Muster als Graphen aus Agenten und Tools mit gemeinsamem Zustand um. Zwei offene Protokolle verbinden die einzelnen Komponenten: Das Model Context Protocol (MCP) verbindet Agenten mit Tools und Daten, und das Agent2Agent (A2A)-Protokoll ermöglicht es Agenten verschiedener Anbieter, Aufgaben aneinander zu delegieren.

Orchestrierung und verwandte Begriffe#

• Agentische Workflows: Ein Workflow ist eine vordefinierte Abfolge von LLM-Aufrufen und Tools. Orchestrierung bezeichnet die umfassendere Koordination vieler Agenten und Workflows und kann durch Code oder durch ein LLM gesteuert werden, das zur Laufzeit plant.
• Mixture of Agents (MoA): Ein bestimmtes paralleles Muster, bei dem mehrere Modelle auf dieselbe Eingabeaufforderung antworten und ein Aggregatormodell eine einzige, verbesserte Antwort formuliert. Bei der allgemeinen Orchestrierung werden verschiedenen Agenten in der Regel unterschiedliche Teilaufgaben zugewiesen.
• Zusammengesetzte KI-Systeme: Der Oberbegriff für Systeme, die Modelle, Retriever und Tools kombinieren. Orchestrierung ist die Steuerungslogik innerhalb eines solchen Systems.
• Kubernetes und Container-Orchestrierung: Container werden auf verschiedenen Rechnern geplant und skaliert. Die Agentenorchestrierung koordiniert Schlussfolgerungen und Tool-Schritte; Agentenplattformen laufen häufig im Hintergrund auf Container-Orchestratoren.

Orchestrierung von Bildverarbeitungsmodellen#

Bildverarbeitungssysteme nutzen dieselben Muster mit Modellen als ausführenden Komponenten: Ein schneller Objektdetektor verarbeitet jedes Bild und entscheidet, welche Bilder eine langsamere Spezialkomponente erfordern. Mit Ultralytics Platform Agents erstellst du diese Workflows visuell. Dabei verbindest du einen YOLO26-Block mit Gate-Blöcken, die Erkennungsanzahlen oder Konfidenzbereiche prüfen, und von dort aus mit Blöcken für Vision-Language-Modelle, Datensätze, Slack und Webhooks. So veranlasst ein Workflow „YOLO → VLM Monitor“ ein VLM nur dann, eine Szene zu beschreiben, wenn YOLO eine Person erkennt. Dieselbe Weiterleitungslogik lässt sich in Python so umsetzen, dass ein Bild nur dann an eine Posenschätzung-Komponente gesendet wird, wenn der Detektor Personen findet:

from ultralytics import YOLO

# Worker models: a general detector and a pose specialist
detector = YOLO("yolo26n.pt")
pose_worker = YOLO("yolo26n-pose.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Orchestrator step 1: run the detector and read its findings
detections = detector(image)[0]
people = int((detections.boxes.cls == 0).sum())

# Orchestrator step 2: route to the pose worker only when people are present
if people:
    poses = pose_worker(image)[0]
    print(f"{people} people detected, {len(poses.keypoints)} poses estimated")
else:
    print("No people detected, pose worker skipped")

Das Ergebnis des Detektors entscheidet, ob das zweite Modell überhaupt ausgeführt wird. So halten gesteuerte Pipelines teure Modelle von Bildern fern, die sie nicht benötigen.

Anwendungen in der Praxis#

• Fertigung: Wenn ein Sensor einen Alarm auslöst, leitet ein Orchestrator Kamerabilder an einen Agenten zur Fehlerprüfung weiter und beauftragt einen LLM-Agenten, Wartungsprotokolle zu durchsuchen. Anschließend fasst er beide Ergebnisse in einem Reparaturauftrag zusammen.
• Dokumentenverarbeitung: Gescannte Seiten werden an Komponenten für Objekterkennung und OCR weitergeleitet, die Tabellen und Felder extrahieren. Ein Schlussfolgerungsmodell prüft die extrahierten Werte anhand der Richtlinien, und Seiten mit geringer Konfidenz werden von einem Menschen überprüft.
• Agentisches Programmieren: Ein Programmieragent startet Unteragenten, um die Codebasis zu durchsuchen, Tests auszuführen und den Diff zu prüfen. So bleibt sein eigener Kontext für die Hauptänderung frei.
• Kundenservice: Ein Triage-Agent ermittelt das Anliegen und übergibt es an Agenten für Abrechnung, technischen Support oder Rücksendungen, die über die passenden Tools und Berechtigungen verfügen.

Kosten und Fehlermodi#

Orchestrierung ermöglicht mehr, kostet aber Tokens und erhöht die Komplexität. Im Multi-Agenten-Forschungssystem von Anthropic übertraf ein leitender Claude-Opus-4-Agent, der Claude-Sonnet-4-Unteragenten steuerte, einen einzelnen Claude-Opus-4-Agenten bei einer internen Forschungsbewertung um 90,2 %. Gleichzeitig verbrauchten die Multi-Agenten-Durchläufe etwa 15-mal so viele Tokens wie Chat-Interaktionen. Das Muster lohnt sich daher vor allem bei umfangreichen Aufgaben, die sich in parallele Teilaufgaben zerlegen lassen. Die Koordination schafft auch neue Fehlermöglichkeiten: Agenten können ihre Anweisungen falsch verstehen, Informationen voreinander zurückhalten oder aufhören, bevor die Aufgabe überprüft wurde. Eine Studie zu Fehlerursachen in Multi-Agenten-LLM-Systemen ordnete mehr als 1.600 annotierte Ablaufspuren aus sieben Frameworks 14 Fehlermodi zu, die in die Kategorien Probleme beim Systemdesign, mangelnde Abstimmung zwischen Agenten und Aufgabenüberprüfung eingeteilt wurden.