Prompt Caching

Prompt Caching ist eine fortgeschrittene Optimierungsstrategie, die primär in generative AI eingesetzt wird, um Kosten bei der Inferenz deutlich zu senken und die Antwortzeiten zu verbessern. Im Bereich von Large Language Models (LLMs) erfordert die Verarbeitung von Text die Umwandlung von Eingaben in numerische Sequenzen, die als tokens bekannt sind. Häufig bleibt ein großer Teil der Eingabedaten – wie eine detaillierte Systemanweisung, ein langes juristisches Dokument oder eine Codebasis – über viele verschiedene Benutzeranfragen hinweg statisch. Anstatt diese unveränderten Abschnitte für jede neue Anfrage erneut zu verarbeiten, speichert das Prompt Caching die vorab berechneten mathematischen Zustände (häufig als Key-Value-Cache bezeichnet) im Speicher. Dies ermöglicht es der inference engine, redundante Berechnungen zu überspringen und die Rechenleistung nur auf die neuen, dynamischen Teile des Benutzerprompts zu konzentrieren.

Mechanismen und Vorteile#

Die grundlegende Mechanik des Prompt Cachings basiert auf der Architektur von Transformers, die Daten sequenziell verarbeiten. Durch das Erkennen des repetitiven Präfixes eines Prompts kann das System die entsprechenden Zustände des attention mechanism direkt aus dem Hochgeschwindigkeitsspeicher laden.

• Reduzierte Latenz: Caching senkt die inference latency drastisch, insbesondere die Time to First Token (TTFT). Dies stellt sicher, dass Echtzeitanwendungen wie interaktive chatbots sich für den Benutzer unmittelbar anfühlen.
• Kosteneffizienz: Da Cloud Computing-Anbieter oft nach Rechenzeit oder Token-Verarbeitung abrechnen, führt das Überspringen der schweren Arbeit für den statischen Kontext zu erheblichen Einsparungen.
• Erhöhter Durchsatz: Durch die Freigabe von GPU-Ressourcen können Server ein größeres Volumen an gleichzeitigen Anfragen verarbeiten, wodurch die gesamte model serving-Infrastruktur skalierbarer wird.

Praxisanwendungen#

Prompt Caching transformiert Branchen, die auf umfangreichen Datenkontext angewiesen sind.

1. Coding-Assistenten: In der Softwareentwicklung nutzen Tools wie GitHub Copilot riesige Mengen an Kontext aus den geöffneten Dateien des Benutzers und der Repository-Struktur. Durch das Caching der embeddings der Codebasis kann das Modell Code-Vervollständigungsvorschläge in Echtzeit bereitstellen, ohne die gesamte Projektdateistruktur für jeden Tastendruck neu analysieren zu müssen.

2. Rechtliche und medizinische Analyse: Fachleute fragen häufig AI Agents anhand massiver statischer Dokumente ab, wie etwa Rechtsprechungsarchiven oder Patientenakten. Unter Verwendung von Retrieval-Augmented Generation (RAG) ruft das System relevante Textabschnitte ab. Prompt Caching stellt sicher, dass der grundlegende Kontext dieser abgerufenen Dokumente für Folgefragen nicht neu berechnet werden muss, was den Question Answering-Workflow optimiert.

Relevanz in der Computer Vision#

Obwohl es traditionell mit Text assoziiert wird, ist das Konzept des Cachings im multimodalen Computer Vision (CV) von entscheidender Bedeutung. Modelle wie YOLO-World ermöglichen Benutzern die Objekterkennung mithilfe von Open-Vocabulary-Textprompts. Wenn ein Benutzer eine Liste von Klassen definiert (z. B. „person, backpack, car“), berechnet das Modell Text-Embeddings für diese Klassen. Das Caching dieser Embeddings verhindert, dass das Modell die Textprompts für jeden einzelnen Video-Frame neu codieren muss, was eine Real-Time Inference mit hoher Geschwindigkeit ermöglicht.

Unterscheidung verwandter Begriffe#

• Vs. Prompt Engineering: Prompt Engineering umfasst den menschlichen Aufwand, die optimale Texteingabe zu entwerfen, um das Modell anzuleiten. Prompt Caching ist eine backend-seitige Rechenoptimierung, die die maschinelle Verarbeitung dieses Textes speichert.
• Vs. Prompt Tuning: Prompt Tuning ist eine Transfer Learning-Technik, die spezifische Model Weights (Soft Prompts) aktualisiert, um ein Modell an eine Aufgabe anzupassen. Caching ändert die Parameter des Modell nicht; es speichert lediglich Aktivierungszustände zur Laufzeit im Speicher ab.

Code-Beispiel: Caching von Texteeinbettungen in der Vision#

Das folgende Python-Snippet demonstriert das Konzept des „Cachings“ eines Prompts in einem visuellen Kontext unter Verwendung des Pakets ultralytics. Durch das einmalige Festlegen der Klassen in einem YOLO-World-Modell werden die Text-Embeddings berechnet und gespeichert (persistent gemacht), sodass das Modell effizient Vorhersagen auf mehreren Bildern treffen kann, ohne die Textbeschreibung erneut zu verarbeiten.

from ultralytics import YOLOWorld

# Load a YOLO-World model capable of open-vocabulary detection
model = YOLOWorld("yolov8s-world.pt")

# "Cache" the prompt: Define classes once.
# The model computes and stores text embeddings for these specific terms.
model.set_classes(["helmet", "reflective vest", "gloves"])

# Run inference repeatedly. The text prompt is not re-computed for each call.
# This mimics the efficiency gains of prompt caching in LLMs.
results_1 = model.predict("construction_site_1.jpg")
results_2 = model.predict("construction_site_2.jpg")

Für die Verwaltung von Datensätzen und die Bereitstellung dieser optimierten Modelle bietet die Ultralytics Platform eine umfassende Umgebung zum Annotieren von Daten, zum Trainieren von State-of-the-Art-Modellen wie YOLO26 und zur Überwachung der Bereitstellungsleistung über verschiedene Edge AI-Geräte hinweg.