Model Routing

Modell-Routing bezeichnet die Praxis, für jede eingehende Anfrage auszuwählen, welches von mehreren bereitgestellten KI-Modellen sie bearbeiten soll. Ein Router prüft die Anfrage und in manchen Architekturen auch die erste Antwort eines kostengünstigen Modells. Anschließend leitet er sie an das Modell weiter, das das Qualitätsziel mit den geringsten Kosten oder der niedrigsten Inferenzlatenz erfüllt. Einfache Anfragen gehen an ein kleines, schnelles Modell; nur Eingaben, die es erfordern, erreichen ein größeres Modell. Die Einsparungen können erheblich sein, weil die Modellpreise stark variieren: In FrugalGPT stellten Lingjiao Chen, Matei Zaharia und James Zou von Stanford fest, dass sich die Gebühren beliebter APIs für große Sprachmodelle (LLMs) um etwa zwei Größenordnungen unterschieden. Ihre gelernte Kaskade erreichte die Genauigkeit von GPT-4 bei bis zu 98 % geringeren Kosten.

Routing-Strategien#

Router unterscheiden sich darin, was sie zum Zeitpunkt der Entscheidung wissen:

• Regelbasiertes Routing: Explizite Anfragefelder bestimmen das Modell, etwa die Aufgabe, Eingabesprache, Dateityp oder Kundenstufe. Regeln sind vorhersehbar und leicht zu überprüfen, können aber nicht beurteilen, wie schwierig eine bestimmte Eingabe ist.
• Gelerntes Routing: Ein kleiner Klassifikator sagt vor dem Start eines großen Modells voraus, ob die Antwort eines schwächeren Modells ausreicht. RouteLLM von Isaac Ong und Kollegen von LMSYS und UC Berkeley wurde 2024 anhand menschlicher Präferenzdaten von Chatbot Arena trainiert. In manchen Szenarien senkte das Verfahren die Kosten um mehr als die Hälfte, ohne die Antwortqualität zu verringern.
• Kaskaden: Zuerst antwortet das kostengünstigste Modell. Die Anfrage wird weitergeleitet, wenn die Konfidenz dieser Antwort oder das Urteil eines Bewertungsmodells unter einen Schwellenwert fällt. Bei schwierigen Eingaben verursachen Kaskaden die Kosten eines zweiten Aufrufs, können aber anhand der ersten Antwort entscheiden.

Routing ist inzwischen in Produkten angekommen. Als OpenAI im August 2025 GPT-5 in ChatGPT einführte, wählte ein Echtzeit-Router für jede Nachricht zwischen einem schnellen Modell und einem leistungsfähigeren Reasoning-Modell. Dabei berücksichtigte er den Gesprächstyp, die Komplexität, den Bedarf an Tools und ausdrücklich geäußerte Absichten wie „Denk gründlich darüber nach“. Auch Cloud-Plattformen bieten verwaltete Router an, etwa das intelligente Prompt-Routing von Amazon Bedrock, das für jeden Prompt die Antwortqualität vorhersagt und zwischen zwei Modellen derselben Familie auswählt.

Eine Konfidenzkaskade für Bildverarbeitung#

Dasselbe Prinzip lässt sich beim Modelleinsatz für die Objekterkennung anwenden. YOLO26 ist in fünf Größen über eine einzige API verfügbar – von YOLO26n mit 40,9 COCO-mAP und 38,9 ms pro Bild auf einer CPU mit ONNX bis zu YOLO26x mit 57,5 mAP und 525,8 ms. Eine Kaskade kann daher jedes Bild zunächst mit dem Nano-Modell verarbeiten und nur Bilder mit Erkennungen geringer Konfidenz an das extragroße Modell weiterleiten:

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

Die Ausgabe nennt das Modell, das die endgültige Antwort erzeugt hat. Wenn du den Schwellenwert von 0,5 erhöhst, werden mehr Bilder an YOLO26x weitergeleitet. Damit legst du den Kompromiss zwischen mittlerer durchschnittlicher Genauigkeit und durchschnittlichen Kosten pro Bild fest. Den Schwellenwert stimmst du anhand von zurückgehaltenen Bildern aus dem Einsatzbereich ab.

Verwandte Begriffe#

Modell-Routing wird oft mit verwandten Konzepten verwechselt:

• Lastverteilung: Verteilt Anfragen auf identische Replikate eines Modells, um die Last aufzuteilen. Jedes Replikat liefert dieselbe Antwort.
• Expertenmischung: Ein Gating-Netzwerk innerhalb eines Modells leitet jedes Token an einige Experten-Schichten weiter. Die Experten werden gemeinsam mit dem Gate trainiert.
• Modellensemble: Führt mehrere Modelle für dieselbe Eingabe aus und kombiniert ihre Ausgaben, was pro Anfrage höhere Kosten verursacht.
• KI-Gateway: Die Infrastrukturschicht zwischen Anwendungen und Modellanbietern, auf der häufig neben Authentifizierung, Ratenbegrenzungen und Protokollierung auch der Router läuft.
• Orchestrierung von KI-Agenten: Wählt aus, welcher Agent oder welches Tool die einzelnen Schritte einer Aufgabe bearbeitet. Jeder dieser Schritte kann eine eigene Routing-Entscheidung für Modelle treffen.

Router werden anhand repräsentativer Anfragen mit der Baseline verglichen, bei der immer das leistungsstärkste Modell aufgerufen wird. RouteLLM misst für jeden Anteil der Aufrufe an das leistungsstarke Modell, wie viel des Leistungsunterschieds zwischen dem schwachen und dem starken Modell durch den Router aufgeholt wird. Im Produktivbetrieb überwacht Modellüberwachung die Eskalationsrate, Latenz und Kosten pro Anfrage für jede Route, denn eine Änderung des eingehenden Datenverkehrs wirkt sich auf alle drei aus.