Prompt Enrichment

L'arricchimento dei prompt è il processo automatizzato di ampliamento dell'input iniziale di un utente con contesto pertinente, istruzioni specifiche o dati supplementari prima di inviarlo a un modello di intelligenza artificiale (AI). Questa tecnica funge da livello middleware intelligente che ottimizza l'interazione tra persone e macchine, garantendo che i modelli linguistici di grandi dimensioni (LLMs) e i sistemi di visione artificiale ricevano query complete. Inserendo dettagli che un utente potrebbe omettere, come preferenze storiche, dati sulla posizione o vincoli tecnici, l'arricchimento dei prompt migliora significativamente l'accuratezza e la personalizzazione dell'output del modello senza richiedere all'utente di essere esperto nella formulazione di istruzioni dettagliate.

Il meccanismo dell'arricchimento#

La funzione principale dell'arricchimento dei prompt è colmare il divario tra un intento umano vago e l'input preciso e ricco di dati richiesto dai modelli per ottenere prestazioni ottimali. Quando riceve una query, il sistema la analizza e recupera le informazioni di contesto necessarie da un grafo della conoscenza o da un database strutturato. Questi dati recuperati vengono formattati programmaticamente e aggiunti al prompt originale.

Ad esempio, nei flussi di lavoro di elaborazione del linguaggio naturale (NLP), una domanda semplice come "Qual è lo stato?" è insufficiente dal punto di vista del contesto. Un sistema di arricchimento identifica la sessione attiva, recupera l'ultimo numero d'ordine da un database transazionale e riscrive il prompt come segue: "L'utente sta chiedendo informazioni sull'ordine n. 998, attualmente in transito. Fornisci un aggiornamento sulla spedizione in base a questo stato." Questo processo utilizza spesso database vettoriali per trovare rapidamente il contesto semanticamente pertinente da inserire.

Applicazioni nel mondo reale#

L'arricchimento dei prompt è essenziale per distribuire applicazioni robuste di IA generativa in diversi settori, migliorando sia i sistemi basati sul testo sia quelli basati sulla visione:

1. Assistenza clienti consapevole del contesto: nei servizi di helpdesk automatizzati, un chatbot utilizza l'arricchimento per accedere alla cronologia degli acquisti e all'ambiente tecnico del cliente. Invece di chiedere all'utente la versione del dispositivo, il sistema recupera queste informazioni dai metadati dell'account e le inserisce nel prompt. Questo consente all'agente IA di fornire immediatamente procedure di risoluzione dei problemi specifiche per il dispositivo, migliorando significativamente l'esperienza del cliente.

2. Configurazione dinamica della visione artificiale: nelle operazioni di sicurezza, un utente potrebbe semplicemente attivare l'impostazione "Modalità notturna". In background, l'arricchimento dei prompt traduce questo intento di alto livello in classi di oggetti specifiche per un rilevatore a vocabolario aperto come YOLO-World. Il sistema arricchisce il prompt per cercare specificamente "torcia", "movimento sospetto" o "persona non autorizzata", consentendo al modello di adattare dinamicamente il proprio focus sul rilevamento degli oggetti.

Esempio: arricchimento dinamico delle classi#

Il seguente esempio in Python illustra il concetto di arricchimento dei prompt utilizzando il pacchetto ultralytics. In questo caso, l'intento di alto livello dell'utente viene arricchito programmaticamente in un elenco di classi descrittive specifiche che il modello analizza.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Arricchimento dei prompt a confronto con concetti correlati#

Per implementare operazioni efficaci di apprendimento automatico (MLOps), è utile distinguere l'arricchimento dei prompt da termini simili:

• Generazione aumentata dal recupero (RAG): RAG è uno specifico metodo di arricchimento. Si riferisce esclusivamente al meccanismo di recupero di documenti pertinenti da un corpus esterno per fondare la risposta del modello su informazioni concrete. L'arricchimento è il concetto più ampio che include RAG, ma comprende anche l'inserimento di dati statici della sessione, metadati dell'utente o dell'ora di sistema senza eseguire necessariamente una complessa ricerca semantica.
• Prompt engineering: è l'attività manuale di progettazione di prompt efficaci. L'arricchimento è un processo automatizzato che applica dinamicamente i principi del prompt engineering durante l'esecuzione.
• Prompt tuning: è una tecnica di fine-tuning efficiente in termini di parametri (PEFT) in cui i "soft prompt" (tensori apprendibili) vengono ottimizzati durante l'addestramento. L'arricchimento dei prompt avviene interamente durante l'inferenza in tempo reale e non modifica i pesi del modello.
• Apprendimento few-shot: consiste nel fornire esempi all'interno del prompt per insegnare al modello un'attività. I sistemi di arricchimento spesso inseriscono dinamicamente questi esempi few-shot in base al tipo di attività, combinando di fatto entrambi i concetti.

Rilevanza nei moderni sistemi di IA#

Man mano che modelli come Ultralytics YOLO26 e GPT-4 diventano più capaci, il collo di bottiglia spesso si sposta sulla qualità dell'input. L'arricchimento dei prompt riduce le allucinazioni nei LLM ancorando il modello a dati fattuali forniti. Nella visione artificiale (CV), consente di realizzare sistemi di rilevamento flessibili basati sull'apprendimento zero-shot, in grado di adattarsi istantaneamente a nuovi ambienti senza riaddestramento, semplicemente modificando i prompt testuali forniti al sistema. Questa flessibilità è fondamentale per creare soluzioni di IA multimodale scalabili, capaci di ragionare sia sul testo sia sulle immagini. Gli utenti che desiderano gestire i dataset utilizzati per fornire il contesto a questi sistemi spesso si affidano a strumenti come la Ultralytics Platform per organizzare e annotare efficacemente le proprie informazioni.