KV Cache

Der KV-Cache (Key-Value Cache) ist eine wichtige Optimierungstechnik, die vor allem in großen Sprachmodellen (LLMs) und anderen Transformer-basierten Architekturen zum Einsatz kommt, um die Inferenzlatenz zu verringern und Rechenkosten zu senken. Im Kern speichert der KV-Cache die Schlüssel- und Wertematrizen, die der Aufmerksamkeitsmechanismus für vorherige Tokens in einer Sequenz erzeugt hat. Durch das Speichern dieser Zwischenergebnisse muss das Modell bei jedem neu generierten Token die Aufmerksamkeitszustände für den gesamten Gesprächsverlauf nicht erneut berechnen. Dadurch wird der Ablauf der Textgenerierung von einer Operation mit quadratischer zu einer mit linearer Komplexität, sodass Echtzeitinteraktionen mit Chatbots und KI-Agenten möglich werden.

Funktionsweise und Vorteile#

In einem herkömmlichen Transformer-Modell muss bei der Generierung des nächsten Wortes der gesamte vorherige Text berücksichtigt werden, um den Kontext zu verstehen. Ohne Zwischenspeicherung müsste das Modell bei jedem Schritt die mathematischen Beziehungen für die gesamte Sequenz neu berechnen. Der KV-Cache löst dieses Problem, indem er als Arbeitsspeicher dient.

• Höhere Geschwindigkeit: Durch das Abrufen vorberechneter Schlüssel und Werte aus dem Speicher beschleunigt das System die Inferenz-Engine erheblich. Das ist wichtig für Anwendungen mit geringen Latenzanforderungen, etwa für Echtzeitinferenz in Kundenservice-Bots.
• Ressourceneffizienz: Der KV-Cache erhöht zwar den Speicherverbrauch (VRAM), senkt aber deutlich den Rechenaufwand (FLOPs) pro Token. Dieser Kompromiss lässt sich häufig durch Techniken wie Modellquantisierung oder Paging handhaben – ähnlich wie Betriebssysteme den RAM verwalten.
• Größerer Kontext: Durch eine effiziente Verwaltung des KV-Caches können Modelle ein größeres Kontextfenster verarbeiten. So lassen sich lange Dokumente verarbeiten und über längere Zeiträume zusammenhängende Gespräche führen.

Anwendungen in der Praxis#

Der KV-Cache ist eine grundlegende Komponente bei der Bereitstellung moderner generativer KI. Seine Prinzipien lassen sich jedoch auch auf die Computer Vision (CV) übertragen.

1. Generative Chatbots: Dienste wie ChatGPT oder Claude nutzen den KV-Cache intensiv. Stellt ein Nutzer eine Folgefrage, liest das Modell nicht den gesamten Gesprächsverlauf von vorn. Stattdessen ergänzt es die neue Eingabe zu den zwischengespeicherten Zuständen des vorherigen Gesprächsabschnitts und kann so nahezu sofort antworten.

2. Videoverständnis: Bei Aufgaben zum Videoverständnis verarbeiten Modelle Frames nacheinander. Ähnlich wie Text-Tokens lassen sich visuelle Merkmale aus vorherigen Frames zwischenspeichern, damit das Modell Objekte verfolgen oder Aktionen erkennen kann, ohne den gesamten bisherigen Videoverlauf erneut zu verarbeiten. Das ist besonders relevant für die Handlungserkennung, bei der der zeitliche Kontext entscheidend ist.

Effiziente Speicherverwaltung#

Mit zunehmender Modellgröße kann der KV-Cache zum Engpass werden und mehrere Gigabyte GPU-Speicher beanspruchen. Neuere Entwicklungen konzentrieren sich auf die Optimierung dieser Speicherung.

• PagedAttention: Inspiriert vom virtuellen Speicher in Betriebssystemen ermöglicht PagedAttention (eingeführt von vLLM), den KV-Cache in nicht zusammenhängenden Speicherblöcken abzulegen. Dadurch wird die Fragmentierung verringert und eine höhere Batchgröße bei der Modellbereitstellung ermöglicht.
• Quantisierung des KV-Caches: Um Speicherplatz zu sparen, verwenden Entwickler häufig gemischte Genauigkeit oder int8-Quantisierung speziell für die zwischengespeicherten Werte. So sinkt der Speicherbedarf, und Edge-KI-Geräte mit begrenztem RAM können leistungsfähige Modelle ausführen.
• Prompt-Caching: Bei einer verwandten Technik werden die KV-Zustände einer statischen Systemanweisung (z. B. „Du bist ein hilfreicher Programmierassistent“) einmal berechnet und in vielen verschiedenen Nutzersitzungen wiederverwendet. Das ist eine zentrale Funktion zur Optimierung von Abläufen im Prompt Engineering bei großem Umfang.

Verwandte Konzepte unterscheiden#

Es ist hilfreich, den KV-Cache von anderen Begriffen für Caching und Optimierung abzugrenzen:

• KV-Cache vs. Prompt-Caching: Der KV-Cache bezeichnet typischerweise den dynamischen, Token für Token aufgebauten Speicher, der während eines einzelnen Generierungsablaufs verwendet wird. Prompt-Caching bezeichnet speziell das Speichern des verarbeiteten Zustands einer festen Eingabeanweisung, damit dieser bei mehreren unabhängigen Inferenzaufrufen wiederverwendet werden kann.
• KV-Cache vs. Embeddings: Embeddings sind Vektorrepräsentationen von Eingabedaten (Text oder Bilder), die deren semantische Bedeutung erfassen. Der KV-Cache speichert die aus diesen Embeddings abgeleiteten Aktivierungen (Schlüssel und Werte) in den Aufmerksamkeits-Layern, und zwar speziell für die Sequenzgenerierung.
• KV-Cache vs. Modellgewichte: Modellgewichte sind die statischen, erlernten Parameter des neuronalen Netzes. Der KV-Cache besteht aus dynamischen, temporären Daten, die während des Vorwärtslaufs einer bestimmten Eingabesequenz erzeugt werden.

Beispiel: Kontext in Bildverarbeitungsmodellen#

Der KV-Cache ist vor allem aus dem NLP bekannt, doch das Konzept, Zustände beizubehalten, lässt sich auch auf fortgeschrittene Bildverarbeitungsmodelle übertragen. Im folgenden Beispiel simulieren wir, wie in einem Video-Tracking-Szenario ein Zustand (Kontext) weitergegeben wird. Dazu verwenden wir Ultralytics YOLO26. Der Tracker behält hier die Identität von Objekten über mehrere Frames hinweg bei – vergleichbar damit, wie ein Cache den Kontext über mehrere Tokens hinweg erhält.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Track objects in a video, maintaining identity state across frames
# The 'track' mode effectively caches object features to link detections
results = model.track(source="https://ultralytics.com/images/bus.jpg", show=False)

# Print the ID of the tracked objects
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.numpy()}")

Entwickler, die Datensätze verwalten und optimierte Modelle bereitstellen möchten, können die Ultralytics Platform nutzen. Sie vereinfacht den Ablauf von der Datenannotation bis zur effizienten Modellbereitstellung. Wer sich für die Funktionsweise von Aufmerksamkeit interessiert, findet in Bibliotheken wie PyTorch die grundlegenden Bausteine, mit denen diese Caching-Mechanismen implementiert werden.