Prompt Chaining

Il concatenamento dei prompt suddivide un'attività in una sequenza di chiamate a un modello linguistico di grandi dimensioni (LLM) o a un altro modello, in cui ogni prompt viene composto a partire dall'output della chiamata precedente. Invece di un unico prompt lungo che deve leggere un'email di assistenza, trovare il numero d'ordine, verificare l'ordine e preparare una risposta, una catena esegue un prompt separato e più circoscritto per ogni passaggio, mentre il codice ordinario trasferisce i risultati e li verifica nel frattempo. Ogni output intermedio può essere esaminato, testato e corretto autonomamente. Tongshuang Wu, Michael Terry e Carrie Cai hanno studiato questo schema in AI Chains, presentato a CHI 2022, dove il concatenamento ha migliorato la qualità dei risultati e il senso di trasparenza e controllo dei partecipanti in uno studio utente con 20 persone.

Come funziona una catena di prompt#

Una catena è un programma fisso. Lo sviluppatore decide i passaggi, il loro ordine e il modello di prompt per ciascuno, mentre il codice trasferisce i dati tra i passaggi, spesso come JSON che uno schema di output strutturato garantisce essere analizzabile. La guida di Anthropic Building Effective Agents classifica il concatenamento dei prompt come un flusso di lavoro, un sistema il cui percorso è definito nel codice, e descrive i controlli programmatici, detti gate, tra i passaggi per confermare che il processo sia ancora sulla strada giusta. Gli esempi includono la stesura di testi di marketing e la loro traduzione, nonché la preparazione di una scaletta, la verifica rispetto a criteri e solo allora la stesura del documento. Il compromesso è tra latenza e accuratezza: è più facile ottenere risultati corretti con ogni chiamata, ma ogni passaggio aggiunge un round trip.

I gate sono importanti perché gli errori si accumulano. Un valore estratto in modo errato nel primo passaggio diventa un fatto affermato con sicurezza nel terzo, perciò le catene convalidano di solito formati, intervalli o campi obbligatori prima di passare i dati. Le catene più lunghe aggiungono cicli come quello riportato sopra, ripetendo un passaggio con il messaggio di errore incluso nel prompt, oppure un passaggio di instradamento in cui una prima chiamata etichetta la richiesta e il codice sceglie il prompt che la gestisce. Framework come LangChain forniscono componenti per comporre catene, anche se molte catene di produzione consistono in poche chiamate di funzione in Python puro.

Applicazioni nel mondo reale#

• Generazione di codice: AlphaCodium concatena l'analisi del problema, la generazione dei test, la stesura della soluzione e la correzione guidata dai test, portando il pass@5 di GPT-4 sui problemi di validazione di CodeContests dal 19% con un singolo prompt diretto al 44%.
• Elaborazione dei documenti: Le pipeline per fatture e contratti estraggono i campi con una chiamata, li convalidano nel codice e generano riepiloghi o email da quei campi convalidati con un'altra chiamata.
• Generazione aumentata dal recupero (RAG): Una prima chiamata riscrive la domanda dell'utente come query di ricerca, il recupero viene eseguito nel codice su un database vettoriale e una seconda chiamata risponde usando i passaggi recuperati.
• Riconoscimento delle targhe: Un modello YOLO rileva le targhe nei fotogrammi video e ogni targa ritagliata viene inviata a GPT-4o mini, che legge i caratteri come testo, così il modello linguistico vede esclusivamente targhe.

Ultralytics Platform Agents crea questo tipo di catena su una tela visiva. Il modello YOLO → VLM Monitor esegue YOLO26 su un'immagine, passa i rilevamenti a un blocco Gate che prosegue solo se trova almeno una persona e invia l'immagine insieme ai risultati a monte a un modello visione-linguaggio in un blocco LLM. Ecco la stessa catena in Python, fino al prompt per il secondo collegamento:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Link 1: detect objects and list their class names
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
names = [result.names[int(c)] for c in result.boxes.cls]

# Gate: call the language model only when a person is present
if "person" in names:
    # Link 2: build the next prompt from link 1's output
    prompt = f"Objects detected: {', '.join(names)}. In one sentence, describe what the people are doing."
    print(prompt)

Il prompt stampato trasferisce i risultati di rilevamento degli oggetti alla chiamata successiva, mentre un'immagine senza persone non la raggiunge mai.

Concatenamento dei prompt e concetti correlati#

• Prompting chain-of-thought: Chiede a una singola chiamata del modello di esporre i passaggi del ragionamento. Una catena di prompt distribuisce i passaggi tra più chiamate, con codice interposto.
• Agenti AI e prompting ReAct: Il modello sceglie l'azione successiva e decide quando ha finito. In una catena, lo sviluppatore ha fissato in anticipo i passaggi, il che rende le catene più facili da testare e ne rende prevedibili i costi.
• Flussi di lavoro agentici: La famiglia più ampia di sistemi LLM composti da più passaggi e strumenti, che comprende il concatenamento, l'instradamento, le chiamate parallele e le configurazioni orchestratore-lavoratore.
• Prompt engineering: L'arte di scrivere ogni singolo prompt. Il concatenamento è una scelta progettuale che riguarda quanti prompt usare e come far fluire i dati tra di essi.