ReAct Prompting
Il prompting ReAct alterna passaggi di ragionamento di un LLM ad azioni come ricerche o chiamate a strumenti, leggendo ogni risultato prima di decidere cosa fare dopo.
Il prompting ReAct, abbreviazione di ragionamento e azione, fa alternare a un modello linguistico di grandi dimensioni (LLM) la formulazione di un pensiero sull'attività, l'esecuzione di un'azione come una ricerca o la chiamata di uno strumento e la lettura dell'osservazione restituita dall'azione; il ciclo si ripete finché il modello non è in grado di rispondere. Il ragionamento pianifica e tiene traccia delle azioni, mentre le azioni acquisiscono informazioni esterne al modello, così le risposte si basano su prove recuperate anziché solo sulla memoria. Shunyu Yao e colleghi della Princeton University e di Google Research hanno introdotto il metodo in ReAct: sinergia tra ragionamento e azione nei modelli linguistici, presentato a ICLR 2023. Con solo uno o due esempi nel prompt, ReAct ha superato i metodi di apprendimento per imitazione e di apprendimento per rinforzo addestrati su molti più dati, con un vantaggio assoluto di 34 e 10 punti percentuali nel tasso di successo rispettivamente nelle attività domestiche ALFWorld e nel benchmark di acquisti online WebShop. Gli attuali agenti IA che usano strumenti eseguono lo stesso ciclo.
Come funziona ReAct#
Un prompt ReAct è un prompt few-shot con una manciata di traiettorie di esempio, ciascuna composta da una domanda seguita da righe alternate di Pensiero, Azione e Osservazione. Data una nuova domanda, il modello scrive un pensiero e un'azione, poi si ferma. Il codice del controller analizza l'azione, esegue lo strumento corrispondente, aggiunge il risultato come osservazione successiva e richiama il modello con la trascrizione più lunga. Per rispondere alle domande, il paper forniva al modello un'interfaccia minima a Wikipedia con tre azioni: search[entity] restituisce le prime frasi di una pagina, lookup[string] restituisce la frase successiva della pagina corrente che contiene una stringa e finish[answer] conclude l'attività.
Una traiettoria ReAct#
Questo esempio tratto dal prompt del paper per HotpotQA, un dataset di risposta alle domande che richiede di combinare informazioni da diverse pagine di Wikipedia, mostra il ciclo che recupera da una prima ricerca senza la risposta:
Question: What is the elevation range for the area that the eastern sector of the Colorado orogeny extends into?
Thought 1: I need to search Colorado orogeny, find the area that the eastern sector of the Colorado orogeny extends into, then find the elevation range of the area.
Action 1: Search[Colorado orogeny]
Observation 1: The Colorado orogeny was an episode of mountain building (an orogeny) in Colorado and surrounding areas.
Thought 2: It does not mention the eastern sector. So I need to look up eastern sector.
Action 2: Lookup[eastern sector]
Observation 2: (Result 1 / 1) The eastern sector extends into the High Plains and is called the Central Plains orogeny.
Thought 3: The eastern sector of Colorado orogeny extends into the High Plains. So I need to search High Plains and find its elevation range.
Action 3: Search[High Plains]
Observation 3: High Plains refers to one of two distinct land regions:
Thought 4: I need to instead search High Plains (United States).
Action 4: Search[High Plains (United States)]
Observation 4: The High Plains are a subregion of the Great Plains. From east to west, the High Plains rise in elevation from around 1,800 to 7,000 ft (550 to 2,130 m).
Thought 5: High Plains rise in elevation from around 1,800 to 7,000 ft, so the answer is 1,800 to 7,000 ft.
Action 5: Finish[1,800 to 7,000 ft]Il Pensiero 2 rileva che la pagina non contiene l'informazione necessaria e passa a una ricerca mirata; il Pensiero 4 risolve una ricerca ambigua. Sono due correzioni impossibili con una sequenza fissa di ricerche.
Risultati e limiti#
Ancorare il ragionamento alle osservazioni riduce soprattutto l'invenzione di fatti. Nell'analisi degli errori del paper su HotpotQA con PaLM-540B, le allucinazioni hanno causato il 56% degli errori della catena di pensiero e nessuno di quelli di ReAct; il tasso di falsi positivi della catena di pensiero era del 14%, contro il 6% di ReAct. Il ciclo ha un proprio modo di fallire: le ricerche che non restituiscono nulla di utile hanno causato il 23% degli errori di ReAct, perché un'osservazione vuota compromette il ragionamento successivo. Su HotpotQA, ReAct da solo ha raggiunto un exact match del 27,4%, contro il 29,4% della catena di pensiero; nell'attività di fact-checking Fever, invece, è risultato in testa con un'accuratezza del 60,9%, contro il 56,3%. Il risultato migliore su HotpotQA, il 35,1%, è arrivato combinando i due metodi: quando ReAct non riusciva a rispondere entro un numero prefissato di passaggi, si passava alla catena di pensiero autoconsistente.
ReAct negli agenti moderni#
Le attuali API LLM integrano nel modello il passaggio dell'azione tramite la chiamata di funzioni: il modello emette una chiamata strutturata a uno strumento anziché una riga di testo, l'applicazione la esegue e restituisce il risultato; il ciclo rimane lo stesso, con Pensiero, Azione e Osservazione. Gli strumenti vanno ben oltre la ricerca e includono l'esecuzione di codice, i database, i browser negli agenti che usano il computer e i servizi esposti tramite il Model Context Protocol (MCP). Nell'RAG agentico, l'agente decide quando e cosa recuperare, anziché recuperare una sola volta prima di generare. Poiché un agente agisce sul testo che legge, i sistemi ReAct ereditano il rischio di prompt injection attraverso i risultati degli strumenti; per questo i permessi degli strumenti sono limitati e le azioni rischiose vengono spesso eseguite in sandbox.
Chiedi all'IA di Ultralytics Platform AutoTrain agisce tramite strumenti in questo modo: esegue i comandi ul cloud della CLI di Platform per trovare dataset, avviare sessioni di addestramento, confrontare modelli completati, esportarli o distribuirne uno, e formula la risposta in base ai risultati restituiti da quei comandi.
ReAct e tecniche correlate#
- Prompting con catena di pensiero: Ragiona in un unico passaggio usando le conoscenze del modello, senza poter verificare un fatto mentre risponde. ReAct aggiunge azioni che acquisiscono nuove informazioni tra un passaggio di ragionamento e l'altro.
- Prompt chaining: Lo sviluppatore fissa nel codice la sequenza delle chiamate al modello. In ReAct, il modello sceglie ogni azione successiva in base a ciò che ha osservato fino a quel momento.
- Albero dei pensieri (ToT): Esplora diversi percorsi di ragionamento candidati, tornando indietro da quelli deboli, senza interagire con un ambiente esterno. ReAct segue un unico percorso, ma lo ancora alle osservazioni.
- Modelli di ragionamento: Sono addestrati a sviluppare un ragionamento lungo prima di rispondere e, in molti sistemi attuali, chiamano anche strumenti tra un passaggio di ragionamento e l'altro, integrando così il ciclo ReAct nel modello stesso.










