Compound AI Systems

Ein zusammengesetztes KI-System ist eine Anwendung, die eine Aufgabe mit mehreren zusammenwirkenden Komponenten löst, etwa mehreren Modellaufrufen, Abrufsystemen, externen Werkzeugen, Regeln und menschlicher Prüfung, statt mit einem einzigen Aufruf eines Modells. Matei Zaharia und Mitautorinnen und Mitautoren aus Berkeley, Stanford, Databricks und weiteren Einrichtungen beschrieben diesen Trend im Februar 2024 in einem Beitrag von Berkeley AI Research. Sie argumentierten, dass Ergebnisse auf dem neuesten Stand der Technik zunehmend von Systemen und nicht von monolithischen Modellen erzielt würden. Zu ihren Beispielen gehören AlphaCode 2, das mit großen Sprachmodellen (LLMs) bis zu einer Million Programmvarianten erzeugt und diese anschließend filtert und bewertet; AlphaGeometry, das ein LLM mit einer symbolischen Schlussfolgerungsmaschine kombiniert, um Geometrieaufgaben der Mathematikolympiade zu lösen; sowie ChatGPT, dessen Modell entscheidet, wann es im Web sucht, Python ausführt oder ein Bild generiert. Derselbe Beitrag verweist auf Daten von Databricks, denen zufolge 60 % der LLM-Anwendungen eine Form der retrieval-gestützten Generierung (RAG) und 30 % mehrstufige Abläufe verwenden.

Warum Systeme statt größerer Modelle entwickeln?#

• Günstigere Qualitätsverbesserungen: Sampling, Abstimmungen und Überprüfung können die Genauigkeit kostengünstiger steigern als das Training eines größeren Modells. Google meldete für Gemini Ultra im MMLU-Benchmark mit CoT@32 einen Wert von 90,04 %. Dabei werden 32 Antworten mit Gedankengängen erzeugt und bei ausreichender Übereinstimmung die Mehrheitsantwort zurückgegeben. Zum Vergleich: GPT-4 erreichte mit fünf Beispielen im Prompt 86,4 %.
• Aktuelle Daten: Das Wissen eines Modells endet mit dem Stichtag seiner Trainingsdaten. Ein Abrufsystem oder eine Vektordatenbank stellt zur Abfragezeit aktuelle, private oder zugriffsbeschränkte Informationen bereit.
• Kontrolle und Vertrauen: Filter, Leitplanken für KI, Quellenangaben und Prüfschritte erleichtern es, das Verhalten einzugrenzen, statt ein Modell aufzufordern und auf die Einhaltung der Vorgaben zu hoffen.
• Kostenziele: Modell-Routing leitet einfache Anfragen an kleine Modelle und schwierige an große Modelle weiter. So kann jede Anwendung ihren eigenen Kompromiss zwischen Qualität, Latenz und Preis wählen.

Ein einzelner Anfrageablauf kann alle vier Ansätze kombinieren:

Zusammengesetzte Systeme in der Computer Vision#

Produktive Anwendungen der Computer Vision sind fast immer zusammengesetzt: Ein Detektor findet Objekte, ein Tracker verknüpft sie über mehrere Frames hinweg, geometrische Regeln machen aus Positionen Ereignisse, und Speicherung sowie Benachrichtigungen reagieren auf diese Ereignisse. Ultralytics Solutions bündeln mehrere solcher Systeme rund um ein YOLO26-Modell: Die Objektzählung kombiniert Erkennung, Mehrfachobjektverfolgung und eine Linien- oder Bereichsprüfung, die jede Track-ID beim Ein- oder Austritt genau einmal zählt. Das Sicherheitsalarmsystem versendet eine E-Mail mit einem Frame, sobald die Anzahl der sichtbaren Erkennungen einen festgelegten Grenzwert erreicht. Kleinere Verarbeitungsketten folgen demselben Muster: Ein Modell liefert strukturierte Beobachtungen, auf die separate Logik reagiert:

from ultralytics import YOLO

# # Wahrnehmungskomponente: Der Detektor wandelt Pixel in strukturierte Beobachtungen um
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
detections = results[0].summary()

# # Richtlinienkomponente: Deterministische Regeln akzeptieren sichere Erkennungen und kennzeichnen unsichere
accepted = [d["name"] for d in detections if d["confidence"] >= 0.5]
uncertain = [d["name"] for d in detections if d["confidence"] < 0.5]

# # Weiterleitungskomponente: Unsichere Ergebnisse gehen an eine Person statt an nachgelagerte Automatisierung
action = "human review" if uncertain else "auto-approve"
print({"accepted": accepted, "uncertain": uncertain, "action": action})

Die ausgegebene Entscheidung beruht auf Regeln, die eine prüfende Person lesen und ändern kann, ohne das Modell neu zu trainieren. Werden die an Menschen weitergeleiteten unsicheren Bilder beschriftet, entstehen Trainingsdaten für das nächste Modell in einer Schleife des aktiven Lernens.

Zusammengesetzte Systeme entwickeln und betreiben#

Fehler summieren sich über die Komponenten hinweg: Drei Stufen, die jeweils in 90 % der Fälle richtig liegen, liefern nur in etwa 73 % der Fälle ein korrektes Ergebnis von Anfang bis Ende. Deshalb messen Teams das Gesamtsystem anhand eines festgelegten Aufgabensatzes, statt nur jede Komponente einzeln zu bewerten. Komponenten, die sich nicht mit Gradienten trainieren lassen, etwa Suchmaschinen und Regeln, benötigen andere Optimierungsverfahren. Frameworks wie DSPy optimieren jeden Prompt in einer Verarbeitungskette anhand einer einzigen Ende-zu-Ende-Kennzahl. Im Produktivbetrieb verfolgen Observability-Traces jede Anfrage über alle Modellaufrufe und Werkzeuge hinweg. Praktiken aus dem Betrieb von maschinellem Lernen (MLOps), etwa Versionierung und Modellüberwachung, gelten für jede Komponente, da eine Aktualisierung unbemerkt die Eingaben der nächsten verändern kann.

Zusammengesetzte KI und verwandte Begriffe#

• Modell-Ensembles: Kombinieren die Vorhersagen mehrerer Modelle für dieselbe Eingabe zu einer Ausgabe. Ein Ensemble ist somit ein Muster, das in einem zusammengesetzten System vorkommen kann.
• Agentische Abläufe: Zusammengesetzte Systeme, in denen ein Modell zur Laufzeit den Kontrollfluss bestimmt und Werkzeuge sowie Schritte auswählt. Viele zusammengesetzte Systeme verwenden feste Verarbeitungsketten ohne solche Entscheidungen.
• Expertenmischung (MoE): Leitet Tokens innerhalb eines einzelnen Modells, dessen Bestandteile gemeinsam trainiert werden, an Experten-Subnetzwerke weiter. Zusammengesetzte Systeme leiten Anfragen an separat entwickelte und bereitgestellte Komponenten weiter.