Prompt-Caching

So funktioniert Prompt-Caching

Wenn ein LLM eine Eingabeaufforderung verarbeitet, durchläuft er mehrere Rechenschritte, einschließlich der Tokenisierung und komplexer Berechnungen innerhalb seiner neuronalen Netzwerkschichten, die oft Aufmerksamkeitsmechanismen beinhalten. Die Zwischenspeicherung von Eingabeaufforderungen speichert in der Regel den Zwischenzustand der Berechnungen (wie Schlüssel-Wert-Paare in den Aufmerksamkeitsschichten der Transformer-Architektur, oft als KV-Cache bezeichnet), der mit einer bestimmten Eingabeaufforderung oder einem Präfix einer Eingabeaufforderung verbunden ist. Wenn ein neuer Prompt eintrifft, prüft das System, ob sein Präfix mit einem zuvor verarbeiteten und zwischengespeicherten Prompt übereinstimmt. Wird eine Übereinstimmung gefunden, wird der zwischengespeicherte Zwischenzustand abgerufen, so dass das Modell die anfänglichen Berechnungsschritte umgehen und die Antwort aus diesem gespeicherten Zustand generieren kann. Dies ist besonders effektiv bei konversationeller KI oder in Szenarien, in denen die Eingabeaufforderungen einen gemeinsamen Anfang haben. Zur effizienten Verwaltung dieser Zwischenspeicher verwenden Systeme häufig Key-Value-Stores wie Redis oder Memcached.

Vorteile von Prompt Caching

Die Implementierung einer prompten Zwischenspeicherung bietet mehrere Vorteile:

• Geringere Latenzzeit: Erhebliche Verkürzung der Antwortzeiten bei wiederholten oder ähnlichen Abfragen, wodurch das Nutzererlebnis in interaktiven Anwendungen wie Chatbots verbessert wird.
• Geringere Rechenkosten: Verringert die Belastung teurer Hardware wie GPUs, was zu Kosteneinsparungen führt, insbesondere bei der Nutzung von Cloud-Computing-Ressourcen oder API-Aufrufen zu kommerziellen LLMs.
• Verbesserter Durchsatz: Das System kann mehr Anfragen gleichzeitig bearbeiten, da die Ressourcen schneller freigegeben werden.
• Konsistenz: Gewährleistet identische Antworten für identische Aufforderungen, was bei bestimmten Anwendungen wünschenswert sein kann.

Anwendungen in der realen Welt

Promptes Zwischenspeichern ist in verschiedenen KI-gesteuerten Systemen nützlich:

1. Konversationelle KI und virtuelle Assistenten: In Systemen wie virtuellen Assistenten für den Kundendienst beginnen viele Gespräche mit ähnlichen Begrüßungen oder allgemeinen Fragen (z. B. "Wie sind Ihre Öffnungszeiten?", "Wie kann ich mein Passwort zurücksetzen?"). Durch die Zwischenspeicherung der anfänglichen Verarbeitung dieser allgemeinen Eingaben kann das System viel schneller reagieren. Zum Beispiel kann der Verarbeitungsstatus nach der Bearbeitung von "Hallo, ich brauche Hilfe bei..." zwischengespeichert und sofort für mehrere Benutzer mit ähnlichen Anfragen wiederverwendet werden. Erforschen Sie KI im Kundenservice.
2. Plattformen zur Generierung von Inhalten: Werkzeuge für die Texterstellung, wie z. B. Schreibassistenten oder Codegeneratoren, erhalten häufig Aufforderungen mit wiederkehrenden Anweisungen oder Kontextpräfixen (z. B. "Übersetze den folgenden Text ins Französische:", "Schreibe Python-Code für..."). Das Zwischenspeichern des Status, der diesen Präfixen entspricht, beschleunigt den Generierungsprozess, was besonders in interaktiven oder hochvolumigen Umgebungen nützlich ist. Erfahren Sie mehr über generative KI-Anwendungsfälle.

Prompt-Caching im Vergleich zu verwandten Konzepten

Es ist hilfreich, das Prompt-Caching von anderen verwandten Techniken zu unterscheiden:

• Schnelles Engineering: Der Schwerpunkt liegt auf der Entwicklung effektiver Prompts, die dem KI-Modell die gewünschten Antworten entlocken. Das Caching optimiert die Ausführung dieser Prompts, unabhängig davon, wie gut sie entwickelt sind.
• Prompt-Anreicherung: Die Eingabeaufforderung eines Benutzers wird um Kontext oder klärende Informationen ergänzt , bevor sie an das Modell gesendet wird. Die Zwischenspeicherung erfolgt während oder nach der Verarbeitung des (potenziell angereicherten) Prompts durch das Modell.
• Promptes Tuning und LoRA: Hierbei handelt es sich um parametereffiziente Feinabstimmungsmethoden (PEFT), die das Verhalten eines Modells durch das Trainieren kleiner zusätzlicher Parametersätze anpassen und so das Modell effektiv auf bestimmte Aufgaben abstimmen. Caching ist eine Optimierung zur Inferenzzeit, die das Modell selbst nicht verändert.
• Retrieval-Augmented Generation (RAG): Verbessert Prompts, indem relevante Informationen aus externen Wissensdatenbanken abgerufen und dem Kontext des Prompts hinzugefügt werden. Während RAG die Eingabe verändert, kann die Verarbeitung der kombinierten Eingabeaufforderung (ursprüngliche Abfrage + abgerufene Daten) weiterhin durch Caching erfolgen.
• Standardausgabe-Caching: Beim herkömmlichen Web-Caching wird die endgültige Ausgabe einer Anfrage gespeichert. Bei der Zwischenspeicherung von Eingabeaufforderungen werden häufig Berechnungszwischenstände innerhalb der Verarbeitungspipeline des Modells gespeichert, was eine flexiblere Wiederverwendung ermöglicht, insbesondere bei Eingabeaufforderungen mit gemeinsamen Präfixen, aber unterschiedlichen Endungen.

Während die Zwischenspeicherung von Eingabeaufforderungen vorwiegend mit LLMs in Verbindung gebracht wird, könnte das zugrunde liegende Prinzip der Zwischenspeicherung von Berechnungen auch in komplexen multimodalen Modellen Anwendung finden, bei denen Text-Eingabeaufforderungen mit anderen Modalitäten interagieren, obwohl dies bei Standard-Computer-Vision-Aufgaben wie der Objekterkennung mit Modellen wie Ultralytics YOLO weniger üblich ist(siehe YOLO-Modellvergleiche). Plattformen wie Ultralytics HUB rationalisieren die Bereitstellung und Verwaltung von KI-Modellen, wobei Optimierungen wie das Zwischenspeichern für die Leistung in Produktionsumgebungen entscheidend sein können(erfahren Sie mehr über bewährte Verfahren für die Bereitstellung).