Semantic Caching

Semantisches Caching ist eine fortschrittliche Optimierungstechnik, die hauptsächlich in der generativen KI und für große Sprachmodelle (LLMs) eingesetzt wird. Dabei werden Antworten auf Grundlage der Bedeutung (Semantik) einer Abfrage statt ihres exakten Wortlauts gespeichert und abgerufen. Erkennt das System, dass ein neuer Prompt im Wesentlichen dieselbe Frage stellt wie ein zuvor beantworteter Prompt, muss das KI-Modell nicht erneut aufgerufen werden. Dadurch werden die Verarbeitungszeit und die API-Kosten erheblich reduziert.

Funktionsweise des semantischen Cachings#

Im Gegensatz zum herkömmlichen Caching, das identische Zeichenfolgen erfordert, wandelt ein semantischer Cache eingehende Abfragen in hochdimensionale numerische Vektoren um, die als Embeddings bezeichnet werden. Wenn ein Benutzer einen Prompt übermittelt, führen Systeme, die semantisches Caching mit Redis oder ähnliche In-Memory-Speicher verwenden, eine Vektorsuche durch, um den neuen Vektor mit zuvor gespeicherten Vektoren in einer Vektordatenbank zu vergleichen.

Dieser Vergleich basiert auf mathematischen Distanzmaßen, am häufigsten auf der Kosinusähnlichkeit. Überschreitet der Ähnlichkeitswert zwischen der neuen Abfrage und einer zwischengespeicherten Abfrage einen vordefinierten Schwellenwert (z. B. 0,95), wird dies als „Cache-Treffer“ registriert. Das System gibt die gespeicherte Antwort sofort zurück und überspringt die Inferenz-Engine vollständig. Liegt der Wert unter dem Schwellenwert, handelt es sich um einen „Cache-Fehltreffer“. Dadurch wird das Modell aufgefordert, eine neue Antwort zu generieren und das neue Paar aus Embedding und Antwort für zukünftige Interaktionen zu speichern. Dieser Ablauf ist in modernen Cloud-Architekturen für die Skalierung von KI-Anwendungen äußerst effektiv.

Anwendungen in der Praxis#

Semantisches Caching ist entscheidend für die kosteneffiziente Bereitstellung von KI-Lösungen in verschiedensten Bereichen.

• Chatbots für den Kundensupport: In einem IT-Support-Helpdesk könnten Hunderte Benutzer Varianten derselben Frage stellen (z. B. „Wie setze ich mein Passwort zurück?“ oder „Schritte bei vergessenem Passwort“). Semantisches Caching erkennt diese Absichten als identisch, sodass das Modell die Antwort nur einmal berechnen muss. Dadurch werden die Inferenzlatenz und der Tokenverbrauch für Lösungen zur API-Verwaltung erheblich reduziert.
• Visuelle Suche und RAG: In multimodalen Pipelines verwenden Plattformen die Merkmalsextraktion, um die Embeddings von Referenzbildern zwischenzuspeichern. Lädt ein Benutzer ein Bild hoch, um visuell ähnliche Elemente zu finden, kann das System semantisch passende, zwischengespeicherte Ergebnisse sofort abrufen und so das visuelle Empfehlungssystem deutlich beschleunigen, ohne große visuelle Eingaben wiederholt kodieren zu müssen. Entwickler integrieren häufig Tools wie LangChain, um diese Caching-Schichten zu orchestrieren.

Unterscheidung verwandter Caching-Begriffe#

Um die KI-Optimierung vollständig zu verstehen, ist es hilfreich, semantisches Caching von anderen Formen der Speicherverwaltung zu unterscheiden:

• Im Vergleich zum Prompt-Caching: Beim Prompt-Caching werden die vorberechneten mathematischen Zustände eines statischen Kontexts (z. B. eines langen Dokumentpräfixes) während einer aktiven Sitzung gespeichert, um nachfolgende Abfragen zu beschleunigen. Beim semantischen Caching wird die endgültige Text- oder Bildausgabe einer vollständigen Interaktion gespeichert, um völlig neue, aber inhaltlich identische Absichten zu bedienen.
• Im Vergleich zum KV-Cache: Der KV-Cache ist ein Speichermechanismus auf niedriger Ebene innerhalb einer Transformer-Architektur, der während der Token-für-Token-Texterzeugung Zwischenzustände der Aufmerksamkeit speichert, um die Echtzeitinferenz zu ermöglichen. Semantisches Caching arbeitet auf der Anwendungsebene und speichert den gesamten Austausch zwischen Eingabe und Ausgabe, bevor dieser überhaupt die Schichten des Modells erreicht.

Simulation des semantischen Cachings in der Bildverarbeitung#

Das folgende Python-Beispiel zeigt, wie sich der grundlegende Mechanismus eines semantischen Caches mit PyTorch und dem Paket ultralytics simulieren lässt. Durch die Berechnung der Ähnlichkeit zwischen einem zuvor zwischengespeicherten Bild und einem neuen Anfragebild mithilfe eines Klassifikationsmodells von Ultralytics YOLO26 kann das System bestimmen, ob ein vollständiger Inferenzdurchlauf erforderlich ist.

import torch
from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model for embedding generation
model = YOLO("yolo26n-cls.pt")

# Extract the embedding for a previously 'cached' reference image
cached_embed = model.embed("reference_shoe.jpg")[0].flatten()

# Extract the embedding for a new user query image
new_embed = model.embed("user_uploaded_shoe.jpg")[0].flatten()

# Calculate cosine similarity to check for a semantic cache hit
similarity = torch.nn.functional.cosine_similarity(cached_embed, new_embed, dim=0)

# Apply a threshold to determine if the images are semantically equivalent
if similarity > 0.90:
    print(f"Cache hit! Similarity: {similarity.item():.2f}. Returning cached response.")
else:
    print(f"Cache miss! Similarity: {similarity.item():.2f}. Running full inference.")

Für Teams, die Datensätze verwalten und hochoptimierte Computer-Vision-Modelle bereitstellen möchten, die sich nahtlos in fortschrittliche Caching-Architekturen integrieren lassen, bietet die Ultralytics Platform eine intuitive End-to-End-Umgebung für das Trainieren, Nachverfolgen und Bereitstellen von Modellen in großem Maßstab.