Context Engineering

L'ingegneria del contesto è la pratica di decidere quali informazioni inserire nella finestra di contesto di un modello a ogni passaggio di un'applicazione di IA: istruzioni, esempi, documenti recuperati, definizioni degli strumenti, risultati degli strumenti, memoria e cronologia della conversazione, oltre a quanto includere di ciascuno, in quale ordine e cosa escludere. Il termine si è diffuso a metà del 2025, quando gli agenti IA hanno iniziato a eseguire attività articolate in decine o centinaia di passaggi. Andrej Karpathy l'ha definita «la delicata arte e scienza di riempire la finestra di contesto con le informazioni giuste per il passaggio successivo», e Effective Context Engineering for AI Agents di Anthropic la descrive come la selezione «dell'insieme ottimale di token» durante l'inferenza. L'ingegneria dei prompt, cioè la stesura delle istruzioni, ne è una parte.

Perché il contesto richiede ingegneria#

Un modello linguistico di grandi dimensioni (LLM) conosce solo i dati di addestramento e ciò che è presente nel contesto, quindi la mancanza di contesto produce risposte generiche o allucinazioni. Anche un contesto eccessivo è problematico. La precisione diminuisce man mano che gli input crescono, un fenomeno chiamato degrado del contesto, e lo studio Lost in the Middle ha rilevato che i modelli utilizzano meglio le informazioni all'inizio o alla fine di un input lungo e peggio quelle al centro. Anthropic descrive il contesto come un budget di attenzione soggetto a rendimenti decrescenti, in cui ogni token aggiunto lo consuma. Ogni token comporta inoltre costi e latenza di inferenza. Il problema si accentua con un agente, perché ogni passaggio aggiunge chiamate agli strumenti e i relativi risultati, facendo crescere il contesto a ogni azione, che il nuovo materiale sia ancora rilevante oppure no.

Strategie fondamentali#

La panoramica sull'ingegneria del contesto di LangChain raggruppa le tecniche in quattro strategie, che corrispondono ai metodi per attività a lungo termine descritti da Anthropic:

• Scrivere: salvare le informazioni al di fuori della finestra di contesto, in un blocco appunti, un file di note o una memoria a lungo termine, così da conservarle anche quando la conversazione prosegue. Anthropic chiama questa pratica presa strutturata di appunti.
• Selezionare: recuperare solo ciò che serve al passaggio corrente, per esempio passaggi pertinenti, ricordi o descrizioni degli strumenti. Anthropic descrive agenti che conservano riferimenti leggeri, come percorsi di file o query, e caricano i contenuti solo quando servono.
• Comprimere: mantenere solo i token necessari all'attività, riassumendo o riducendo il contenuto. La compattazione riassume un contesto quasi pieno e prosegue in una nuova finestra a partire da quel riepilogo.
• Isolare: suddividere il lavoro tra sotto-agenti con finestre di contesto pulite, che restituiscono risultati sintetici a un agente principale, oppure conservare i dati voluminosi in una sandbox o in un oggetto di stato anziché nel contesto.

L'ordine e la stabilità contano quanto il contenuto. La memorizzazione nella cache dei prompt riutilizza solo un prefisso identico, quindi di solito i contesti vengono organizzati collocando prima le istruzioni fisse e le definizioni degli strumenti, e per ultimo il materiale variabile. Una rassegna di oltre 1.400 articoli di Lingrui Mei e colleghi organizza il settore in recupero e generazione del contesto, elaborazione del contesto e gestione del contesto, implementati nella generazione con recupero aumentato, nei sistemi di memoria, nel ragionamento integrato con gli strumenti e nei sistemi multi-agente.

Strumenti, protocolli e competenze#

Gran parte del contesto di un agente proviene dagli strumenti, e il Protocollo del contesto del modello (MCP), introdotto da Anthropic nel novembre 2024 e successivamente donato a una fondazione sotto l'egida della Linux Foundation, standardizza il modo in cui le applicazioni espongono strumenti e dati ai modelli. Anche le definizioni degli strumenti fanno parte del contesto: ogni strumento che un agente può chiamare occupa token in ogni richiesta, quindi alcuni agenti caricano le definizioni degli strumenti solo quando l'attività lo richiede. Le competenze degli agenti applicano la stessa idea alle istruzioni, raggruppando indicazioni e file di riferimento in cartelle che un agente carica solo quando servono per un'attività.

Le competenze degli agenti Ultralytics adottano questo approccio per gli agenti di programmazione che lavorano con Ultralytics YOLO. Le competenze vengono caricate solo quando viene richiesta un'attività pertinente; una competenza router yolo associa ogni richiesta alla fase del ciclo di vita interessata, come dataset, addestramento o esportazione; i fatti sensibili alla versione, come i nomi dei pesi, gli argomenti di addestramento e i formati di esportazione, sono raccolti in cataloghi basati su una release ultralytics fissata, e ogni competenza indica all'agente di fare affidamento sul pacchetto installato quando i due differiscono.

Ingegneria del contesto e termini correlati#

• Ingegneria dei prompt: riguarda il modo in cui formulare istruzioni ed esempi. L'ingegneria del contesto gestisce anche tutto il resto che arriva al modello, in ogni passaggio di un'applicazione.
• Arricchimento dei prompt: aggiunge dati a una singola richiesta prima che arrivi al modello; è una delle operazioni di selezione dell'ingegneria del contesto.
• Finestra di contesto: la lunghezza massima dell'input del modello, che determina il budget disponibile. L'ingegneria del contesto decide come utilizzarlo, e una finestra più ampia non elimina questa necessità, poiché la precisione diminuisce man mano che la finestra si riempie.
• Fine-tuning: modifica ciò che il modello conosce aggiornandone i pesi. L'ingegneria del contesto modifica ciò che il modello vede durante l'inferenza e lascia invariati i pesi.