LLMOps
LLMOps umfasst die Veröffentlichung, Bewertung und Überwachung von Anwendungen großer Sprachmodelle sowie die Kontrolle ihrer Kosten. Es ist ein Teilbereich von MLOps.
LLMOps (Betrieb großer Sprachmodelle) umfasst die Verfahren und Tools zum Entwickeln, Veröffentlichen und Betreiben von Anwendungen mit großen Sprachmodellen (LLMs) in der Produktion. Dazu gehören das Versionieren von Prompts und Modellauswahlen, die Bewertung generierter Texte vor und nach der Veröffentlichung, das Nachverfolgen mehrstufiger Anfragen durch Abrufvorgänge und Tool-Aufrufe, die Kontrolle von Latenz und Tokenkosten sowie der Schutz vor Fehlern wie Halluzinationen und Prompt-Injection-Angriffen. LLMOps ist der Zweig der Betriebsverfahren für maschinelles Lernen (MLOps), der sich mit solchen Anwendungen befasst. Der Begriff verbreitete sich 2023, als Unternehmen Chatbot-Prototypen in Produkte überführten. Die meisten Teams passen ein gehostetes Modell oder ein Grundlagenmodell mit offenen Gewichten mithilfe von Prompt Engineering, abrufgestützter Generierung (RAG) oder Feinabstimmung an, statt ein Modell von Grund auf zu trainieren. Dadurch verlagert sich der Großteil der Betriebsarbeit von den Trainingspipelines auf alles, was das Modell umgibt.
Wie sich LLMOps von MLOps unterscheidet#
Die Veröffentlichungseinheit umfasst mehr als nur einen Satz Gewichte. Eine Änderung kann die Prompt-Vorlage, Modellname und -version, Abtasteinstellungen, den Abrufindex und die Tool-Definitionen betreffen. Jedes Element wird versioniert, da jede einzelne Komponente das Verhalten verändert. Prompt-Verwaltungstools speichern Vorlagen mit Versionsnummern, die eine Anwendung zur Laufzeit abruft. Dadurch lässt sich eine Prompt-Änderung veröffentlichen und zurücknehmen, ohne eine neue Codeversion bereitzustellen. Auch gehostete Modelle können sich im Hintergrund ändern. Daher verwenden Teams, sofern Anbieter dies ermöglichen, mit Datum versehene Modellversionen und führen vor einem Wechsel ihre Tests erneut aus. Auch die Datenarbeit nimmt eine andere Form an: Bei einer RAG-Anwendung werden die Dokumente, die Einstellungen für die Aufteilung in Abschnitte und das Embedding-Modell hinter dem Suchindex versioniert. Ein Wechsel des Embedding-Modells bedeutet, dass der gesamte Korpus neu eingebettet werden muss. Feinabgestimmte Varianten werden häufig als kleine LoRA-Adapter gespeichert, die ein Server auf ein gemeinsam genutztes Basismodell lädt.
Die Bewertung ist schwieriger, weil generierter Text selten nur eine richtige Antwort hat. Teams pflegen einen Referenzdatensatz mit repräsentativen Eingaben und Referenzantworten oder Bewertungsmaßstäben. Die Ausgaben werden mit exakten Prüfungen, menschlicher Beurteilung oder einem LLM als Bewertungsinstanz bewertet, bei dem ein leistungsstarkes Modell die Antworten benotet. In der Studie von 2023 „Judging LLM-as-a-Judge“ stellten Lianmin Zheng und Kollegen fest, dass GPT-4 in mehr als 80 % der Fälle mit den Präferenzen von Menschen übereinstimmte – genauso häufig, wie Menschen untereinander übereinstimmen. Jede mögliche Veröffentlichung wird mit derselben Testsuite geprüft, und Produktionsanfragen liefern fortlaufend neue Fälle:
Kosten und Latenz werden für jede Anfrage einzeln verwaltet. Da gehostete Modelle pro Token abrechnen, senken Teams ihre Ausgaben durch Prompt-Caching, semantisches Caching und Modellweiterleitung, bei der einfache Anfragen an kleinere Modelle gehen. Ein verwandtes Muster schaltet ein günstiges Modell einem teuren Modell vor: Die Vorlage YOLO → VLM Monitor in Ultralytics Platform Agents führt zuerst YOLO26 aus und ruft das Bild-Sprach-Modell nur für Bilder auf, in denen YOLO eine Person erkennt. Die Nutzung des Sprachmodells wird über den eigenen Anbieterschlüssel des Arbeitsbereichs abgerechnet. Parallel dazu laufen Sicherheitsmaßnahmen: KI-Schutzmechanismen filtern jede Anfrage und Ausgabe, und beim Red Teaming wird vor jeder Veröffentlichung nach Jailbreaks gesucht.
Nachverfolgung, Gateways und Bereitstellung#
Die Beobachtbarkeit von LLM-Anwendungen basiert auf Ablaufverfolgungen. Jede Anfrage wird als Baum von Spans dargestellt, die den Prompt, jeden Modellaufruf, jeden Abruf aus einer Vektordatenbank und jeden Tool-Aufruf eines KI-Agenten erfassen. Dazu kommen Angaben zu Tokenanzahl, Latenz und Kosten. Die semantischen Konventionen für generative KI von OpenTelemetry vereinheitlichen die Attributnamen für Modelle und Tokenverbrauch. Tools wie LangSmith, Langfuse, Arize Phoenix und MLflow Tracing speichern die Ablaufverfolgungen und ermöglichen ihre Suche. Die Ablaufverfolgungen fließen auch in die laufende Bewertung ein: Ausgewählte Antworten aus der Produktion werden anhand derselben Bewertungsinstanzen und Maßstäbe wie in der Offline-Testsuite bewertet. Das „Daumen hoch“ oder „Daumen runter“ eines Nutzers wird der Ablaufverfolgung zugeordnet, aus der die Antwort hervorging.
Ein KI-Gateway sitzt zwischen Anwendungen und Modellanbietern. Es verwaltet API-Schlüssel und setzt an einer zentralen Stelle Ratenbegrenzungen, Ausweichlösungen und Ausgabenbudgets durch. Teams, die Modelle mit offenen Gewichten selbst hosten, betreiben sie auf Inferenzservern wie vLLM und SGLang. Diese nutzen kontinuierliche Stapelverarbeitung und ausgelagerten Speicher für den KV-Cache, um auf jeder GPU viele gleichzeitige Anfragen zu bedienen.
