Arricchimento del Prompt (Prompt Enrichment)

L'arricchimento del prompt è il processo che consiste nell'arricchire automaticamente l'input iniziale dell'utente con un contesto, dati o istruzioni rilevanti prima di sottoporlo a un sistema. istruzioni prima di sottoporlo a un modello di modello di Intelligenza Artificiale (IA). Inserendo dettagli specifici che l'utente inserendo dettagli specifici che l'utente potrebbe aver omesso, questa tecnica garantisce che Modelli linguistici di grandi dimensioni (LLM) e sistemi di visione ricevono un'interrogazione completa, che porta a risultati più accurati, personalizzati e perseguibili. Agisce come un intelligente che ottimizza le interazioni tra l'uomo e la macchina senza richiedere all'utente di essere un esperto nella creazione di richieste dettagliate. un esperto nella creazione di messaggi dettagliati.

Il meccanismo di arricchimento

La funzione principale dell'arricchimento dei prompt è quella di colmare il divario tra l'intenzione, forse vaga, dell'utente e l'input preciso di cui l'IA ha bisogno. un'intelligenza artificiale. Quando viene ricevuta una richiesta, il sistema recupera informazioni supplementari, come le preferenze dell'utente, i dati storici o le letture dei sensori in tempo reale, dati storici o letture di sensori in tempo reale, da un grafo della conoscenza o da un database. I dati recuperati vengono formattati in modo programmatico e aggiunti all'interrogazione originale.

Ad esempio, in elaborazione del linguaggio naturale (NLP), una semplice domanda come "Qual è lo stato?" è insufficiente per un modello. Attraverso l'arricchimento, il sistema identifica l'ID della sessione attiva dell'utente, cerca l'ultima transazione in un database vettoriale e riscrive la domanda in: "Qual è lo stato? database vettoriale e riscrive la domanda in: "L'utente (ID: 5521) chiede informazioni sull'ordine n. 998, che è attualmente in transito. Fornire un aggiornamento sullo stato in base questi dati di tracciamento".

Applicazioni nel mondo reale

L'arricchimento tempestivo è essenziale per l'implementazione di robuste applicazioni di applicazioni di IA generativa in vari settori:

1. Assistenza clienti consapevole del contesto: Negli helpdesk automatizzati, un chatbot utilizza l'arricchimento per accedere alla storia degli acquisti e all'ambiente tecnico del cliente. cliente e al suo ambiente tecnico. Invece di chiedere all'utente la versione del suo dispositivo, il sistema la recupera dai metadati dell'account e la inserisce nella richiesta. dai metadati dell'account e la inserisce nella richiesta. Questo permette all'agente agente AI di fornire immediatamente le fasi di risoluzione dei problemi specifiche del risoluzione dei problemi, migliorando significativamente l'esperienza del cliente. l'esperienza del cliente.
2. Configurazione dinamica della visione artificiale: Nelle operazioni di sicurezza, l'utente può semplicemente attivare un'impostazione di "modalità notturna". "modalità notturna". Dietro le quinte, l'arricchimento dei prompt traduce questo intento di alto livello in classi di oggetti specifiche per un classi di oggetti specifici per un Modello di linguaggio di visione (VLM) o un rilevatore a vocabolario aperto. Il sistema arricchisce il messaggio per cercare in modo specifico "torcia", "movimento sospetto" o "torcia". "movimento sospetto" o "persona non autorizzata", consentendo al modello di adattare dinamicamente il suo di individuare gli oggetti in modo dinamico.

Esempio: Arricchimento dinamico delle classi con YOLO

Il seguente esempio Python dimostra il concetto di arricchimento dei prompt utilizzando Ultralytics YOLO. In questo caso, la semplice selezione "modalità" dell'utente viene arricchita programmaticamente in un elenco di classi descrittive specifiche che il modello scansiona.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load an open-vocabulary YOLO model
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    # model.predict("site_image.jpg") # Run inference
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


# Example usage
run_enriched_inference("site_safety")

Arricchimento del Prompt vs. Concetti Correlati

Per implementare operazioni di Machine Learning Operations (MLOps), è utile distinguere l'arricchimento immediato da termini simili:

• Generazione aumentata dal recupero (RAG): RAG è un metodo specifico di arricchimento. Si riferisce strettamente al meccanismo di reperimento di documenti rilevanti da un corpus esterno per fondare la risposta del modello. L'arricchimento è un concetto più ampio che comprende RAG ma anche ma anche l'iniezione di dati statici di sessione, metadati dell'utente o tempo del sistema senza necessariamente eseguire una complessa ricerca semantica. ricerca semantica.
• Prompt Engineering: Si tratta di l'attività manuale di progettazione di prompt efficaci. L'arricchimento è un processo automatico che applica i principi di principi di ingegneria dei prompt dinamicamente in fase di esecuzione.
• Messa a punto del prompt: Si tratta di una messa a punto efficiente dei parametri (PEFT) in cui i "suggerimenti morbidi" (tensori apprendibili) vengono ottimizzati durante l'addestramento. L'arricchimento dei prompt avviene interamente durante in tempo reale e non altera i pesi del modello. pesi del modello.
• Apprendimento a pochi colpi: Si tratta di fornire esempi all'interno del prompt per insegnare al modello un compito. consiste nel fornire esempi all'interno del prompt per insegnare al modello un compito. I sistemi di arricchimento spesso iniettano questi esempi dinamici in base al tipo di compito, combinando in modo efficace i due concetti.

Rilevanza nei moderni sistemi di intelligenza artificiale

Come modelli come Ultralytics YOLO11 e GPT-4 diventano sempre più capacità, il collo di bottiglia si sposta spesso sulla qualità dell'input. L'arricchimento tempestivo attenua le allucinazioni nei LLM, fondando il modello su dati di dati concreti e forniti. In visione computerizzata (CV), consente di creare sistemi di rilevamento a sistemi di rilevamento flessibili e a colpo sicuro, in grado di adattarsi istantaneamente a nuovi ambienti senza bisogno di riqualificarsi, semplicemente modificando le di testo immessi nel sistema. Questa flessibilità è fondamentale per costruire soluzioni di IA scalabili soluzioni di intelligenza artificiale scalabili e multimodali che possono ragionare sia su testo e sulle immagini.