Anreicherung mit Prompt

So funktioniert Prompt Enrichment

Der Anreicherungsprozess beginnt in der Regel mit der Analyse der ursprünglichen Benutzeranfrage. Auf der Grundlage dieser Analyse nutzt das System zusätzliche Informationsquellen oder vordefinierte Regeln, um die Eingabeaufforderung anzureichern. Das kann bedeuten, dass es auf den Verlauf der Benutzerinteraktion zugreift, relevante Dokumente aus einer Wissensdatenbank abruft, den Kontext der laufenden Konversation einbezieht oder spezielle Formatierungsanweisungen anwendet, die das Modell erfordert. Eine einfache Aufforderung wie "Fasse die neuesten Entwicklungen von Ultralytics zusammen" könnte zum Beispiel erweitert werden zu "Fasse die wichtigsten Funktionen und Leistungsverbesserungen von Ultralytics YOLOv11 im Vergleich zu YOLOv8mit Schwerpunkt auf Objekterkennungsaufgaben ". Häufig werden Techniken wie Retrieval-Augmented Generation (RAG) eingesetzt, bei denen das System relevante Datenschnipsel (z. B. aus Ultralytics Docs) abruft und sie in das Kontextfenster des Prompts einfügt, bevor es ihn an das LLM sendet. So wird sichergestellt, dass das Modell über den nötigen Hintergrund verfügt, um eine umfassende und genaue Antwort zu geben.

Anwendungen und Beispiele

Prompt Enrichment ist für zahlreiche KI-gesteuerte Anwendungen wertvoll und verbessert die Qualität der Interaktion und die Aufgabenerfüllung:

• Chatbots für den Kundensupport: Ein Kunde, der fragt: "Wie ist der Status meiner Bestellung?", kann seine Eingabeaufforderung über eine API-Integration mit seiner Benutzer-ID oder seiner aktuellen Bestellnummer aus einem CRM-System (Customer Relationship Management) anreichern lassen. Mit der angereicherten Eingabeaufforderung kann der Chatbot sofort eine konkrete Antwort geben, anstatt weitere klärende Fragen zu stellen.
• Virtuelle Assistenten für die Personalisierung: Wenn ein/e Nutzer/in einen virtuellen Assistenten wie Google Assistant oder Alexa bittet, "Musik abzuspielen", kann die Aufforderung auf der Grundlage der Hörhistorie des/der Nutzers/in, der bevorzugten Genres, der Tageszeit oder sogar der aktuellen Aktivität, die über verbundene Geräte erkannt wird, angereichert werden, was zu einer personalisierten Musikauswahl führt.
• Tools zur Inhaltserstellung: Ein kreativer Schreibassistent, der die Texterstellung nutzt, könnte eine vage Aufforderung wie "Schreibe eine Geschichte" erhalten. Die Aufforderung könnte mit Details aus früheren Interaktionen angereichert werden, z. B. "Schreibe eine kurze Science-Fiction-Geschichte, die in einer dystopischen Zukunft spielt und in der ein rebellischer Protagonist vorkommt", um die Ausgabe besser auf die wahrscheinlichen Interessen des Nutzers abzustimmen.
• Semantische Suchsysteme: Bei der Suche nach internen Unternehmensdokumenten kann eine Abfrage wie "Finde Berichte über die Leistung im vierten Quartal" mit der Abteilung, der Rolle und den Zugriffsrechten des Nutzers angereichert werden, um die relevantesten und zulässigen Dokumente aus einem riesigen Datensee abzurufen.

Prompt Enrichment vs. Verwandte Konzepte

Es ist wichtig, die Nuancen zwischen prompter Anreicherung und ähnlichen Begriffen zu verstehen:

• Prompt Engineering: Dabei handelt es sich in der Regel um einen manuellen Prozess, bei dem Menschen sorgfältig Prompts erstellen, um der KI die gewünschten Antworten zu entlocken. Prompt Enrichment hingegen zielt darauf ab, diesen Verbesserungsprozess zu automatisieren oder halbautomatisch zu gestalten, oft aufbauend auf einem ersten, weniger ausgefeilten User Prompt.
• Prompt-Tuning: Bei dieser Technik werden weiche Prompt-Einbettungen durch Gradientenabstieg erlernt, um ein eingefrorenes, vortrainiertes Modell für bestimmte Aufgaben zu konditionieren. Dabei werden Teile der Eingabedarstellung des Modells verändert und nicht der Textprompt selbst. Es handelt sich um eine Form der parameter-effizienten Feinabstimmung (PEFT).
• Feinabstimmung: Dabei werden die Modellgewichte eines vorab trainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz aktualisiert. Beim Prompt Enrichment werden die Parameter des Modells nicht verändert, sondern nur der Eingabeprompt, mit dem das bestehende Modell gefüttert wird.
• Retrieval-Augmented Generation (RAG): RAG ist eine spezielle Methode, die häufig in Prompt Enrichment Systemen eingesetzt wird. Sie konzentriert sich darauf, relevante externe Daten abzurufen und sie dem Kontext des Prompts hinzuzufügen, um die sachliche Grundlage zu verbessern und Halluzinationen zu reduzieren.

Relevanz in der Computer Vision

Während das Prompt Enrichment meist mit LLMs und Natural Language Understanding (NLU) in Verbindung gebracht wird, werden seine Prinzipien auch in der Computer Vision (CV) immer wichtiger. Traditionelle CV-Aufgaben wie die standardmäßige Objekterkennung mit Modellen wie Ultralytics YOLO beruhen in der Regel auf Bildeingaben und nicht auf komplexen Texteingaben. Neuere multimodale Modelle und promptable Vision-Systeme wie CLIP, YOLO und YOLOE akzeptieren jedoch Text- oder Bildeingaben, um Aufgaben wie die Erkennung von Nullschüssen anzuleiten. Bei diesen Modellen kann die Anreicherung eines einfachen Textprompts (z. B. "Erkenne Fahrzeuge") mit mehr Kontext (z. B. "Erkenne nur Einsatzfahrzeuge wie Krankenwagen und Feuerwehrautos in diesem Verkehrskamerabild") die Leistung und Spezifität erheblich verbessern. Plattformen wie Ultralytics HUB könnten solche Techniken integrieren, um die Benutzerinteraktion bei der Definition komplexer Bildverarbeitungsaufgaben oder bei der Analyse der Ergebnisse zu vereinfachen, was einen Bereich der laufenden KI-Forschung und -Entwicklung darstellt, der darauf abzielt, die Sicherheit und Benutzerfreundlichkeit von KI in verschiedenen Bereichen zu verbessern.