KV Cache

Der KV Cache (Key-Value Cache) ist eine entscheidende Optimierungstechnik, die primär in Large Language Models (LLMs) und anderen auf dem Transformer basierenden Architekturen verwendet wird, um die Inferenzlatenz zu beschleunigen und die Rechenkosten zu senken. Im Kern speichert der KV Cache die Key- und Value-Matrizen, die vom Attention-Mechanismus für vorherige Tokens in einer Sequenz generiert wurden. Durch das Speichern dieser Zwischenberechnungen vermeidet das Modell, die Attention-Zustände für den gesamten Verlauf der Konversation jedes Mal neu zu berechnen, wenn ein neues Token generiert wird. Dieser Prozess verwandelt den Workflow der Textgenerierung von einer Operation mit quadratischer Komplexität in eine mit linearer Komplexität, was Interaktionen in Echtzeit mit Chatbots und KI-Agenten ermöglicht.

Link to this sectionMechanismus und Vorteile#

In einem Standard-Transformer-Modell erfordert die Generierung des nächsten Wortes, alle vorherigen Wörter zu berücksichtigen, um den Kontext zu verstehen. Ohne Caching müsste das Modell die mathematischen Beziehungen für die gesamte Sequenz bei jedem Schritt neu berechnen. Der KV Cache löst dies, indem er als Speicherbank fungiert.

• Geschwindigkeitsverbesserung: Durch das Abrufen vorberechneter Keys und Values aus dem Speicher beschleunigt das System die Inferenz-Engine drastisch. Dies ist essenziell für Anwendungen, die eine geringe Latenz erfordern, wie etwa Echtzeit-Inferenz in Kundenservice-Bots.
• Ressourceneffizienz: Obwohl dies die Speicherauslastung (VRAM) erhöht, reduziert es signifikant die pro Token erforderliche Rechenleistung (FLOPs). Dieser Kompromiss wird oft durch Techniken wie Modellquantisierung oder Paging verwaltet, ähnlich wie Betriebssysteme RAM verwalten.
• Erweiterter Kontext: Ein effizientes Management des KV Cache ermöglicht es Modellen, ein größeres Kontextfenster zu handhaben, wodurch sie lange Dokumente verarbeiten oder kohärente Konversationen über längere Zeiträume aufrechterhalten können.

Link to this sectionPraxisanwendungen#

Der KV Cache ist eine grundlegende Komponente beim Einsatz moderner generativer KI, aber seine Prinzipien erstrecken sich auch auf Computer Vision (CV).

1. Generative Chatbots: Dienste wie ChatGPT oder Claude verlassen sich stark auf KV-Caching. Wenn ein Benutzer eine Folgefrage stellt, liest das Modell nicht den gesamten Chatverlauf von Grund auf neu. Stattdessen hängt es die neue Eingabe an die zwischengespeicherten Zustände des vorherigen Turns an, was nahezu sofortige Antworten ermöglicht.

2. Video-Verständnis: Bei Aufgaben des Video-Verständnisses verarbeiten Modelle Frames sequenziell. Ähnlich wie bei Text-Tokens können visuelle Merkmale vergangener Frames zwischengespeichert werden, um dem Modell zu helfen, Objekte zu verfolgen oder Aktionen zu erkennen, ohne den gesamten Videoverlauf neu zu verarbeiten. Dies ist besonders relevant für die Aktionserkennung, bei der der zeitliche Kontext entscheidend ist.

Link to this sectionEffizientes Speichermanagement#

Da Modelle immer größer werden, kann die Größe des KV Cache zu einem Flaschenhals werden und Gigabytes an GPU-Speicher verbrauchen. Aktuelle Fortschritte konzentrieren sich auf die Optimierung dieses Speichers.

• PagedAttention: Inspiriert vom virtuellen Speicher in Betriebssystemen ermöglicht PagedAttention (eingeführt durch vLLM), dass der KV Cache in nicht zusammenhängenden Speicherblöcken gespeichert werden kann. Dies reduziert die Fragmentierung und ermöglicht höhere Batch-Größen während des Model Serving.
• KV Cache Quantisierung: Um Platz zu sparen, wenden Entwickler oft Mixed Precision oder Int8-Quantisierung spezifisch auf die zwischengespeicherten Werte an. Dies reduziert den Speicherbedarf und ermöglicht es Edge AI-Geräten mit begrenztem RAM, leistungsfähige Modelle auszuführen.
• Prompt Caching: Eine verwandte Technik, bei der die KV-Zustände eines statischen System-Prompts (z. B. "Du bist ein hilfreicher Programmierassistent") einmal berechnet und über viele verschiedene Benutzersitzungen hinweg wiederverwendet werden. Dies ist eine Kernfunktion zur Optimierung von Workflows im Prompt Engineering im großen Maßstab.

Link to this sectionUnterscheidung verwandter Konzepte#

Es ist hilfreich, den KV Cache von anderen Caching- und Optimierungsbegriffen zu unterscheiden:

• KV Cache vs. Prompt Caching: Der KV Cache bezieht sich typischerweise auf den dynamischen, Token-für-Token-Speicher, der während eines einzelnen Generierungs-Streams verwendet wird. Prompt Caching bezieht sich speziell auf das Speichern des verarbeiteten Zustands einer festen Eingabeanweisung, um sie über mehrere unabhängige Inferenzaufrufe hinweg wiederzuverwenden.
• KV Cache vs. Embeddings: Embeddings sind Vektordarstellungen von Eingabedaten (Text oder Bilder), die semantische Bedeutung erfassen. Der KV Cache speichert die Aktivierungen (Keys und Values), die aus diesen Embeddings innerhalb der Attention-Layer abgeleitet wurden, speziell zum Zweck der Sequenzgenerierung.
• KV Cache vs. Modellgewichte: Modellgewichte sind die statischen, erlernten Parameter des neuronalen Netzwerks. Der KV Cache besteht aus dynamischen, temporären Daten, die während des Forward-Pass einer spezifischen Eingabesequenz generiert werden.

Link to this sectionBeispiel: Kontext in Vision-Modellen#

Während KV-Caching am bekanntesten in der NLP ist, lässt sich das Konzept der Zustandsverwaltung auch auf fortschrittliche Vision-Modelle übertragen. Im folgenden Beispiel simulieren wir die Idee, den Zustand (Kontext) in einem Video-Tracking-Szenario mit Ultralytics YOLO26 zu übergeben. Hier behält der Tracker die Identität von Objekten über Frames hinweg bei, konzeptionell ähnlich wie ein Cache den Kontext über Tokens hinweg beibehält.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Track objects in a video, maintaining identity state across frames
# The 'track' mode effectively caches object features to link detections
results = model.track(source="https://ultralytics.com/images/bus.jpg", show=False)

# Print the ID of the tracked objects
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.numpy()}")

Entwickler, die Datensätze verwalten und optimierte Modelle bereitstellen möchten, können die Ultralytics Platform nutzen, die den Workflow von der Datenannotation bis zur effizienten Modellbereitstellung vereinfacht. Für diejenigen, die sich für die tieferen Mechanismen der Attention interessieren, bieten Bibliotheken wie PyTorch die grundlegenden Bausteine, in denen diese Caching-Mechanismen implementiert sind.