Prompt Engineering

L'ingegneria dei prompt è il processo strategico di strutturazione e ottimizzazione del testo di input, noto come prompt, per guidare in modo efficace guidare modelli di intelligenza artificiale (AI) verso la generazione di risultati specifici e di alta qualità. Sebbene inizialmente sia stato reso popolare dall'ascesa dei modelli linguistici di grandi dimensioni (LLM) come GPT-4, questa disciplina si è evoluta fino a diventare un'abilità critica per interagire con vari sistemi generativi. Si tratta di capire le sfumature di come un modello interpreta il linguaggio, e le istruzioni per colmare il divario tra l'intento umano e l'esecuzione automatica. Selezionando attentamente le parole, formattazione e fornendo il contesto, gli utenti possono migliorare in modo significativo l'accuratezza e la pertinenza delle risposte dell'IA generativa senza bisogno di risposte dell'intelligenza artificiale generativa, senza dover modificare i parametri parametri di base del modello.

La meccanica dei suggerimenti efficaci

L'ingegneria del prompt si basa sul principio che i modelli di IA sono sensibili alla formulazione e alla struttura degli input. input. Un prompt ben congegnato contiene solitamente componenti specifici progettati per ridurre l'ambiguità. Questi includono istruzioni esplicite, informazioni di contesto rilevanti (contesto) e specifiche di output come il formato, ad esempio ad esempio, la richiesta di una risposta in JSON o in un elenco puntato. Le tecniche avanzate includono l'apprendimento a pochi colpi, in cui l'utente fornisce esempi delle coppie input-output desiderate all'interno del prompt per guidare il ragionamento del modello. Un altro metodo potente è catena di pensieri, che incoraggia il modello a che incoraggia il modello a suddividere i problemi complessi in fasi di ragionamento intermedie, migliorando le prestazioni nei compiti più logici, come illustrato in compiti ad alto contenuto logico, come illustrato in RicercaGoogle pubblicazioni.

Rilevanza nella Computer Vision

Sebbene sia spesso associata alla generazione di testi, l'ingegneria dei prompt è sempre più vitale nella Visione artificiale (CV). I moderni modelli multimodali e rilevatori di vocaboli aperti, come YOLO, consentono agli utenti di definire gli obiettivi di rilevamento utilizzando il linguaggio naturale obiettivi di rilevamento utilizzando il linguaggio naturale piuttosto che ID di classe predefiniti. In questo contesto, il "prompt" è il testo descrizione testuale dell'oggetto (ad esempio, "casco rosso" o "casco"). Questa capacità, spesso definita come apprendimento a zero scatti, consente ai modelli di detect oggetti oggetti su cui non sono stati addestrati esplicitamente, semplicemente elaborando la relazione semantica tra il testo richiesto e le caratteristiche visive. testo e le caratteristiche visive.

L'esempio seguente mostra come l'ingegneria del prompt viene applicata in modo programmatico utilizzando il metodo ultralytics per definire dinamicamente le classi per rilevamento degli oggetti:

from ultralytics import YOLO

# Load a YOLO-World model capable of interpreting text prompts
model = YOLO("yolo-world.pt")

# Use prompt engineering to define custom classes without retraining
# The model aligns these text descriptions with visual features
model.set_classes(["person in safety vest", "forklift", "cardboard box"])

# Run inference on an image to detect the prompted objects
results = model.predict("warehouse.jpg")

Applicazioni nel mondo reale

L'utilità dell'ingegneria rapida si estende a diversi settori, migliorando l'automazione e la creatività:

• Generazione automatica di contenuti: Nel marketing e nei media, i professionisti utilizzano prompt dettagliati per guidare generatori di testo-immagine come Midjourney o Diffusione stabile. Una richiesta specifica che descrive illuminazione, lo stile artistico e la composizione consente ai designer di prototipare rapidamente le risorse visive, risparmiando tempo rispetto ai metodi di rendering tradizionali. rispetto ai metodi di rendering tradizionali.
• Assistenza clienti intelligente: Le aziende utilizzano chatbot alimentati da LLM per gestire le richieste dei clienti. Gli ingegneri creano "messaggi di sistema" che definiscono il personaggio del bot (ad esempio, "Lei è un utile assistente tecnico"), stabiliscono i limiti per evitare l'allucinazione e istruiscono l'intelligenza artificiale a recuperare le risposte da un sito web. di assistenza tecnica"), stabiliscono i limiti per evitare le allucinazioni e istruiscono l'intelligenza artificiale a recuperare le risposte da una specifica base di conoscenze. specifiche conoscenze di base.

Distinguere i concetti correlati

È importante differenziare il prompt engineering da termini simili nel panorama dell'apprendimento automatico:

• Ingegneria dei prompt vs. ottimizzazione dei prompt: L'ingegneria dei prompt comporta la creazione manuale di query in linguaggio naturale. Al contrario, la messa a punto dei prompt è un meccanismo meccanismo efficiente in termini di parametri che apprende (vettori numerici) durante la fase di addestramento per ottimizzare gli input del modello. per ottimizzare gli input del modello, spesso invisibili all'utente umano.
• Ingegneria tempestiva vs. messa a punto: Il fine-tuning aggiorna in modo permanente i modello mediante l'addestramento su un set di dati specializzato. Il Prompt Engineering non modifica il modello stesso, ma ottimizza solo l'input durante l'inferenza in tempo reale. l'inferenza in tempo reale.
• Prompt Engineering vs. RAG. RAG: Retrieval-Augmented Generation (RAG) è un'architettura di sistema che recupera dati esterni per fondare la risposta del modello. risposta del modello. Il Prompt Engineering è la tecnica utilizzata all'interno di RAG per formattare correttamente i dati recuperati e presentarli al LLM per l'elaborazione. dati recuperati e presentarli all'LLM per l'elaborazione.