Prompt Engineering

L'ingegneria del prompt è l'arte e la scienza di progettare input efficaci (prompt) per guidare i modelli di Intelligenza Artificiale (AI), in particolare i Large Language Models (LLM), verso la generazione degli output desiderati. È analogo all'essere un abile comunicatore con un'AI, sapendo esattamente cosa dire e come dirlo per ottenere la migliore risposta possibile. Questa pratica è fondamentale perché le prestazioni, la rilevanza e la qualità dell'output di un modello AI sono altamente sensibili al modo in cui viene formulata una query. Un'efficace ingegneria del prompt consente agli utenti di sfruttare appieno il potenziale dei potenti modelli di base per un'ampia gamma di attività.

Come funziona il Prompt Engineering

Il nucleo dell'ingegneria del prompt è strutturare un input che fornisca un contesto chiaro e sufficiente per il modello. Mentre una semplice domanda può produrre una risposta di base, un prompt ben progettato può controllare il tono, il formato e la complessità. I componenti chiave di un prompt avanzato possono includere:

• Istruzione: Una direttiva chiara e specifica che indica al modello quale compito eseguire (ad esempio, "Riassumi il seguente articolo in tre punti elenco").
• Contesto: Fornire informazioni di background o dati rilevanti che il modello dovrebbe utilizzare per informare la sua risposta.
• Persona: Assegnazione di un ruolo che l'AI deve adottare, che influenza il tono e lo stile dell'output (ad esempio, "Agisci come un esperto analista finanziario").
• Formato: Specificare la struttura desiderata dell'output, come un elenco, un oggetto JSON o uno stile di scrittura specifico.
• Esempi: Includere esempi del formato di input e output desiderato, una tecnica nota come few-shot learning, aiuta a guidare la risposta del modello. Una risorsa completa per queste tecniche è disponibile nella Prompting Guide.

Applicazioni nel mondo reale

1. Automazione dell'assistenza clienti: Per garantire la coerenza e l'accuratezza del marchio, un'azienda può utilizzare il prompt engineering per guidare il suo chatbot di supporto. Un prompt potrebbe istruire l'IA ad adottare un tono amichevole e disponibile, a utilizzare una knowledge base interna per rispondere alle domande sui prodotti e a definire un protocollo chiaro per quando inoltrare una conversazione a un operatore umano. Questo controlla il comportamento dell'IA, impedendole di fornire informazioni errate o di interagire con i clienti in modo non conforme al marchio.

2. Generazione di contenuti creativi: Nei modelli text-to-image come Midjourney o DALL-E 3 di OpenAI, il prompt è lo strumento principale per la creazione. Un prompt semplice come "un'immagine di un'auto" produrrà un risultato generico. Tuttavia, un prompt dettagliato come "Un'auto sportiva rossa vintage degli anni '60 che sfreccia lungo un'autostrada costiera al tramonto, stile fotorealistico, illuminazione cinematografica, risoluzione 8K" fornisce istruzioni specifiche sul soggetto, l'ambientazione, lo stile e la qualità, producendo un'immagine altamente personalizzata e visivamente straordinaria.

Rilevanza nella Computer Vision

Sebbene sia nata nell'elaborazione del linguaggio naturale (NLP), l'ingegneria dei prompt è sempre più rilevante nella computer vision (CV). Ciò è dovuto allo sviluppo di modelli multimodali in grado di elaborare contemporaneamente testo e immagini. Modelli come CLIP e rivelatori a vocabolario aperto come YOLO-World possono eseguire attività come il rilevamento di oggetti basato su descrizioni testuali arbitrarie. Per questi modelli, la creazione di un prompt di testo efficace (ad esempio, "rileva tutte le 'biciclette' ma ignora le 'motociclette'") è una forma di ingegneria del prompt fondamentale per guidare questi modelli di linguaggio visivo. Piattaforme come Ultralytics HUB facilitano l'interazione con vari modelli, dove la definizione delle attività attraverso le interfacce può trarre vantaggio dai principi dell'ingegneria dei prompt.

Prompt Engineering vs. Concetti Correlati

È importante distinguere il prompt engineering da altri concetti di machine learning:

• Fine-Tuning: Ciò comporta l'aggiornamento dei pesi di un modello continuando il processo di training su un nuovo set di dati. Il prompt engineering, al contrario, non modifica il modello stesso, ma piuttosto guida il comportamento del modello esistente al momento dell'inferenza.
• Ottimizzazione del prompt (Prompt Tuning): Un metodo di fine-tuning efficiente in termini di parametri (PEFT), l'ottimizzazione del prompt prevede l'apprendimento di un piccolo insieme di "soft prompt" embedding che vengono anteposti all'input. Automatizza la creazione del prompt attraverso l'addestramento, mentre l'ingegneria del prompt è il processo manuale di creazione di "hard prompt" basati su testo.
• Chain-of-Thought (CoT) Prompting: CoT è una tecnica specifica di prompt engineering in cui un'istruzione come "pensa passo dopo passo" viene aggiunta al prompt. Questo incoraggia il modello a scomporre problemi complessi in passaggi di ragionamento intermedi, portando spesso a risultati più accurati, come descritto in dettaglio nell'articolo di ricerca originale di Google AI.
• Concatenazione di prompt (Prompt Chaining): Questa tecnica prevede la suddivisione di un'attività complessa in prompt multipli e sequenziali, dove l'output di un passaggio è l'input per il successivo. L'ingegneria del prompt è la pratica più ampia di progettare efficacemente ciascuno di questi singoli prompt. Framework come LangChain sono progettati per orchestrare tali catene.
• Generazione aumentata dal recupero (RAG): RAG è un sistema che migliora un prompt recuperando prima i dati rilevanti da una base di conoscenza esterna. Il prompt engineering è fondamentale all'interno di un sistema RAG per formulare correttamente sia la query di ricerca iniziale sia il prompt finale che combina la domanda dell'utente con le informazioni recuperate.