Agent Evaluation

Agentenbewertung prüft, ob ein KI-Agent mehrstufige Aufgaben korrekt, zuverlässig und sicher sowie zu vertretbaren Kosten erledigt. Der Agent versucht jede Aufgabe in einer kontrollierten Umgebung, und Prüfer kontrollieren sowohl das Ergebnis – etwa ob tatsächlich eine Rückerstattung in der Datenbank verbucht wurde – als auch das Protokoll der Nachrichten und Werkzeugaufrufe, die dazu geführt haben. Agentenbewertung unterscheidet sich in drei Punkten von der gewöhnlichen Modellbewertung: Die Ausgabe ist eine Abfolge von Aktionen, die eine Umgebung verändert; derselbe Agent kann bei einem Durchlauf erfolgreich und beim nächsten erfolglos sein; und der Agenten-Harness um das Modell – seine Prompts, Werkzeuge und Speicherregeln – kann die Ergebnisse ebenso stark verändern wie ein Modellwechsel.

So funktioniert die Evaluierung von Agenten#

Anthropics Leitfaden zu Evaluierungen für KI-Agenten verwendet eine Terminologie, die den meisten Teams vertraut ist. Eine Aufgabe ist ein Test mit festgelegten Eingaben und Erfolgskriterien. Ein Durchlauf ist ein Versuch; für Aufgaben gibt es mehrere Durchläufe, weil das Verhalten von Agenten variieren kann. Das Protokoll, auch Trace oder Trajektorie genannt, hält jede Ausgabe, jeden Werkzeugaufruf und jedes Zwischenergebnis fest, während das Ergebnis den Endzustand der Umgebung bezeichnet. Prüfer bewerten dann jeden Durchlauf. Es gibt drei Arten:

• Codebasierte Prüfer: Überprüfen Ergebnisse und Protokolle deterministisch, etwa ob eine Testsuite bestanden wurde, ein Datensatz vorhanden ist oder ein unzulässiges Werkzeug aufgerufen wurde. Sie sind schnell, kostengünstig und reproduzierbar.
• Modellbasierte Prüfer: Ein LLM bewertet das Protokoll anhand eines Kriterienrasters. Das eignet sich für Eigenschaften wie den Tonfall oder die Frage, ob eine Antwort durch abgerufene Belege gestützt wird. Diese Prüfer müssen anhand menschlicher Labels kalibriert werden, da sie dieselben blinden Flecken wie der Agent haben können.
• Menschliche Prüfer: Fachleute überprüfen Stichproben, klären Meinungsverschiedenheiten und liefern die Labels für die Kalibrierung modellbasierter Prüfer.

Was die Evaluierung von Agenten misst#

• Aufgabenerfolg: Gibt an, ob die Umgebung den erforderlichen Zustand erreicht hat. Wer den Zustand statt der abschließenden Nachricht des Agenten überprüft, erkennt Agenten, die Erfolg melden, obwohl sie ihn nicht erreicht haben – eine Form der Halluzination.
• Zuverlässigkeit: Gibt an, wie beständig der Agent über wiederholte Durchläufe, umformulierte Anfragen und Werkzeugausfälle hinweg erfolgreich ist.
• Qualität der Trajektorie: Gibt an, ob der Agent die richtigen Werkzeuge ausgewählt, gültige Argumente übergeben und unnötige oder riskante Schritte vermieden hat.
• Sicherheit und Einhaltung von Richtlinien: Gibt an, ob der Agent Berechtigungen respektiert, nicht richtlinienkonforme Anfragen ablehnt, vor folgenreichen Aktionen nachfragt und sich gegen in seinen Eingaben platzierte Prompt-Injection wehrt.
• Kosten und Latenz: Gibt Tokens, Werkzeugaufrufe und die verstrichene Zeit je erledigter Aufgabe an. Diese Werte entscheiden, ob sich ein funktionierender Agent in der Produktion lohnt.

Zuverlässigkeit mit pass@k und pass^k messen#

Zwei Metriken fassen wiederholte Durchläufe zusammen. pass@k, bekannt geworden durch OpenAIs Codex-Arbeit zur Codegenerierung aus dem Jahr 2021, bezeichnet die Wahrscheinlichkeit, dass mindestens einer von k Versuchen erfolgreich ist. Das passt zu Aufgaben, bei denen eine Person oder ein Test die gute Antwort auswählen kann. pass^k, 2024 mit dem τ-bench-Benchmark eingeführt, bezeichnet die Wahrscheinlichkeit, dass alle k Versuche erfolgreich sind. Das passt zu kundenorientierten Agenten, die sich jedes Mal korrekt verhalten müssen. Bei n Durchläufen einer Aufgabe und c Erfolgen werden beide Metriken mit Binomialkoeffizienten geschätzt und über die Aufgaben gemittelt:

from math import comb

# Graded outcomes of 8 trials per task (1 = the final environment state was correct)
trials = {
    "cancel_order": [1, 1, 1, 1, 1, 1, 1, 1],
    "change_flight": [1, 1, 0, 1, 1, 1, 0, 1],
    "refund_with_coupon": [1, 0, 0, 1, 0, 1, 0, 0],
}

for k in (1, 4, 8):
    # pass@k: at least one of k trials succeeds; pass^k: all k trials succeed
    pass_at_k = sum(1 - comb(len(t) - sum(t), k) / comb(len(t), k) for t in trials.values()) / len(trials)
    pass_hat_k = sum(comb(sum(t), k) / comb(len(t), k) for t in trials.values()) / len(trials)
    print(f"k={k}: pass@k={pass_at_k:.2f}  pass^k={pass_hat_k:.2f}")

Beide Metriken beginnen für k=1 bei 0,71, der durchschnittlichen Erfolgsquote. Bei k=8 erreicht pass@k den Wert 1,00, weil jede Aufgabe mindestens einmal erfolgreich war. pass^k fällt dagegen auf 0,33, da nur eine Aufgabe in allen acht Durchläufen erfolgreich war. τ-bench zeigte in der Praxis dieselbe Diskrepanz: Die besten Agenten mit Funktionsaufrufen aus dem Jahr 2024, etwa GPT-4o, lösten weniger als die Hälfte der Aufgaben aus Kundenservice und Luftfahrt, und ihr pass^8-Wert im Einzelhandel lag unter 25 %.

Agenten-Benchmarks und verwandte Begriffe#

Öffentliche Benchmarks decken die wichtigsten Agententypen ab. SWE-bench bewertet agentengestützte Programmierung anhand von 2.294 realen GitHub-Issues; WebArena bewertet Webagenten anhand von 812 Aufgaben auf selbst gehosteten Websites; OSWorld bewertet Computerbenutzungsagenten anhand von 369 Desktopaufgaben, die Menschen in 72,36 % der Fälle erfolgreich bewältigen; und GAIA bewertet allgemeine Assistenten anhand von 466 Fragen, die Menschen mit 92 % Genauigkeit beantworteten, verglichen mit 15 % bei GPT-4 mit Plugins zum Zeitpunkt seiner Veröffentlichung 2023. Teams kombinieren diese Tests mit eigenen Testsammlungen, häufig einem Golden-Datensatz aus geprüften Aufgaben und erwarteten Ergebnissen für ihr Produkt, denn öffentliche Benchmarks gelangen in Trainingsdaten und entsprechen selten den Werkzeugen eines Produkts. Agentenbewertung überschneidet sich zudem mit drei verwandten Praktiken:

• Modellbewertung: Bewertet die Ausgaben eines einzelnen Modells anhand eines festen Datensatzes, etwa mit dem mittleren durchschnittlichen Präzisionswert (mAP) für einen Detektor. Sie bewertet eine einzelne Komponente eines Agenten.
• Beobachtbarkeit: Zeichnet auf, was Agenten in der Produktion tun. Bei der Bewertung werden Erfolgskriterien auf diese Aufzeichnungen oder auf Testläufe angewendet.
• Red-Teaming für KI: Sucht auf adversariale Weise nach neuen Fehlern. Die Erkenntnisse fließen als Regressionstests in die Bewertungssuite ein.

Die leistungsfähigsten Testsammlungen wachsen aus Fehlern im Produktionseinsatz, und Bildverarbeitungsagenten wenden denselben Prozess auf ihre Wahrnehmungsschritte an. In Ultralytics Platform Agents leitet die Vorlage „Unsichere Erkennungen sammeln“ die Bilder eines Datensatzes durch einen bereitgestellten Detektor, etwa ein feingetuntes YOLO26-Modell, und kopiert jedes Bild mit mindestens einer Erkennung, deren Konfidenz beispielsweise zwischen 0,25 und 0,5 liegt, in einen Prüfsatz. Dort labeln Personen die schwierigen Fälle als neue Test- und Trainingsdaten.