AI Gateway
Ein KI-Gateway ist ein Proxy zwischen Anwendungen und KI-Modellen, der APIs verschiedener Anbieter vereinheitlicht und Routing, Ausweichlösungen, Tokenbudgets, Caching und Protokollierung ermöglicht.
Ein KI-Gateway ist ein Proxy zwischen Anwendungen und den KI-Modellen, die sie aufrufen. Anwendungen senden jede Anfrage an einen einzigen Endpunkt. Das Gateway verwaltet die Zugangsdaten der Anbieter, wählt das Modell aus, wiederholt fehlgeschlagene Anfragen, setzt Nutzungslimits durch, liefert zwischengespeicherte Antworten aus, überprüft Inhalte und protokolliert jeden Aufruf. Es ist die KI-spezifische Form eines API-Gateways: Anfragen an große Sprachmodelle (LLM) werden nach Token abgerechnet und begrenzt, Antworten werden häufig gestreamt, die Nutzdatenformate unterscheiden sich je nach Anbieter, und die Prompts und Antworten selbst müssen auf Prompt Injection sowie offengelegte personenbezogene Daten geprüft werden. Gehostete Gateways wie Cloudflare AI Gateway, Vercel AI Gateway und OpenRouter sowie selbst gehostete Proxys wie LiteLLM, Kong AI Gateway und Envoy AI Gateway stellen üblicherweise eine OpenAI-kompatible API bereit. Daher muss bei vorhandenem Client-Code nur die Basis-URL geändert werden.
Kernfunktionen#
Die meisten Gateways kombinieren dieselben Bausteine:
- Einheitliche API und Schlüssel: Ein einziges Anfrageformat deckt viele Anbieter ab. Das Gateway speichert die Zugangsdaten der Anbieter und stellt jedem Team oder jeder Anwendung eigene Schlüssel aus. So lässt sich der Zugriff entziehen oder messen, ohne die Konten bei den Anbietern anzupassen.
- Modellrouting und Ausweichmodelle: Jede Anfrage wird anhand von Regeln, Kosten oder einem lernenden Router an ein Modell geleitet. Bei einem fehlgeschlagenen oder ratenbegrenzten Aufruf wird die Anfrage an ein Ersatzmodell oder einen anderen Anbieter weitergeleitet.
- Tokenbudgets: Limits erfassen die Anzahl der Token pro Minute und die Ausgaben pro Zeitraum. Die Richtlinie
llm-token-limitvon Azure API Management gibt bei Überschreitung eines Token-pro-Minute-Limits den Status 429 und bei ausgeschöpftem Kontingent den Status 403 zurück. Gleichzeitige Anfragen können das Limit kurzzeitig überschreiten, da die Tokenkosten eines Aufrufs erst bei dessen Abschluss bekannt sind. - Semantisches Caching: Caches mit exakter oder bedeutungsbasierter Übereinstimmung liefern für wiederholte oder sinngleiche Prompts gespeicherte Antworten zurück, ohne ein Modell aufzurufen.
- Schutzmaßnahmen: Prompts und Antworten werden vor ihrer Weitergabe auf eingeschleuste Anweisungen, personenbezogene Daten und Richtlinienverstöße geprüft.
- Beobachtbarkeit: Jeder Aufruf wird mit Modell, Tokenanzahl, Latenz und Kosten protokolliert. Die semantischen Konventionen für GenAI von OpenTelemetry vereinheitlichen Attributnamen wie
gen_ai.usage.input_tokens, damit diese Protokolle mit verschiedenen Überwachungstools funktionieren.
Eine Anfrage durchläuft diese Prüfungen in der angegebenen Reihenfolge:
Gateways für selbst gehostete Modelle#
Teams, die eigene Modelle betreiben, benötigen ein Gateway, das Modellserver versteht. Die Kubernetes Gateway API Inference Extension macht aus Gateways wie Envoy Gateway und GKE Gateway Inferenz-Gateways: Ein Endpunktauswähler liest Kennzahlen von den Replikaten der Modellserver, etwa den Status des Präfix-Caches und welche LoRA-Adapter geladen sind. Anschließend leitet er jede Anfrage an das Replikat weiter, das sie am schnellsten bedienen kann. So wird die Wiederverwendung des KV-Caches auf Servern wie vLLM maximiert. Ein Round-Robin-Load-Balancer kann das nicht leisten, da er nicht berücksichtigt, welche Daten die einzelnen Replikate zwischengespeichert haben.
Dieselben Gateway-Steuerungen gelten auch für Computer-Vision-APIs. Die Ultralytics Platform schaltet sie ihrer gemeinsam genutzten Modell-API vor: Anfragen werden mit einem beliebigen aktiven API-Schlüssel des Arbeitsbereichs authentifiziert. Für jeden Schlüssel gilt ein Limit von 20 Anfragen pro Minute; gedrosselte Aufrufe erhalten eine 429-Antwort mit einem Retry-After-Header. Direkt an einen dedizierten Endpunkt gesendete Anfragen umgehen diese Begrenzung.
KI-Gateway im Vergleich zu verwandten Begriffen#
Ein API-Gateway übernimmt Authentifizierung, Ratenbegrenzung und Routing für beliebige Webdienste und zählt Anfragen. Ein KI-Gateway ergänzt Tokenabrechnung, Übersetzung zwischen Anbietern, Streaming-Unterstützung und Inhaltsprüfung. Model Serving führt das Modell aus und gibt Vorhersagen zurück; das Gateway befindet sich vor einem oder mehreren Serving-Endpunkten. KI-Agenten-Orchestrierung plant mehrstufige Abläufe über verschiedene Tools und Modelle hinweg. Die einzelnen Modellaufrufe des Agenten können dabei über ein Gateway laufen. Das Model Context Protocol verbindet Agenten mit Tools. Einige Gateways, darunter Azure API Management, verwalten MCP-Server mit denselben Schlüsseln, Limits und Protokollen.
Gateways fügen jedem Aufruf einen zusätzlichen Netzwerkabschnitt hinzu und werden zu einer gemeinsam genutzten Abhängigkeit aller KI-Funktionen. Deshalb werden sie in Produktionsumgebungen zonenübergreifend redundant betrieben. Gehostete Gateways sehen außerdem jeden Prompt und jede Antwort und fallen damit unter Prüfungen zum Datenschutz. Bei Gateways wie Cloudflare AI Gateway und LiteLLM lässt sich die Speicherung von Prompt- und Antwortinhalten deaktivieren.
