Agent Evaluation

La valutazione dell'agente è il test sistematico della capacità di un agente di IA di completare gli obiettivi in modo sicuro, corretto ed efficiente attraverso una o più interazioni. A differenza della normale valutazione del modello, essa esamina l'intero sistema: il modello sottostante, le istruzioni, la memoria, gli strumenti, la logica di controllo e l'ambiente. Una valutazione utile verifica quindi non solo ciò che un agente di IA dice o modifica in ultima analisi, ma anche le azioni che compie lungo il percorso.

Come funziona la valutazione dell'agente#

Una valutazione inizia con un'attività, come la risoluzione di una richiesta di supporto, l'ispezione dell'immagine di un prodotto o l'aggiornamento di un record di database. L'agente tenta l'attività all'interno di un ambiente di test controllato, producendo una traccia o una traiettoria: un registro di messaggi, output intermedi, chiamate a strumenti, argomenti, errori e modifiche di stato.

Un valutatore confronta quindi il tentativo con criteri di successo definiti. Come spiegato nella guida alle valutazioni per agenti di IA di Anthropic, i valutatori possono essere programmi deterministici, giudici basati su modelli o revisori umani. I controlli deterministici funzionano bene per risultati verificabili, come la creazione o meno di un record. I valutatori basati su modelli possono valutare qualità come la pertinenza o il tono, ma dovrebbero essere calibrati rispetto ai giudizi umani.

Una suite di valutazione contiene normalmente molte attività rappresentative e può ripetere ciascuna attività più volte perché il comportamento dell'agente può variare tra un'esecuzione e l'altra. Anche l'imbracatura dell'agente circostante deve essere inclusa: la modifica delle descrizioni degli strumenti, delle regole di memoria o della logica di ripetizione può alterare le prestazioni anche quando il modello sottostante rimane invariato.

Cosa misura la valutazione dell'agente#

Una suite affidabile combina diverse dimensioni anziché comprimere le prestazioni in un unico punteggio:

• Successo dell'attività: L'ambiente ha raggiunto lo stato finale richiesto?
• Qualità dell'uso degli strumenti: L'agente ha selezionato lo strumento corretto, fornito argomenti validi e interpretato il suo risultato in modo accurato? Le metriche di valutazione dell'agente di Google includono misure separate per risposte finali, uso degli strumenti, traiettorie, allucinazioni e sicurezza.
• Qualità della traiettoria: Le azioni erano pertinenti, ordinate correttamente e ragionevolmente efficienti? Una risposta corretta raggiunta tramite passaggi non sicuri o dispendiosi può comunque rappresentare un fallimento.
• Affidabilità: Con quale frequenza l'agente ha successo in prove ripetute, richieste parafrasate, casi difficili e guasti degli strumenti?
• Sicurezza e conformità alle policy: Rispetta i permessi, protegge i dati sensibili e richiede l'approvazione prima di azioni consequenziali? La guida alle minacce dell'IA agentica di OWASP aiuta i team a identificare rischi come agenzia eccessiva e interazioni non sicure con gli strumenti.
• Prestazioni operative: Latenza, utilizzo dei token, conteggio delle chiamate agli strumenti, tasso di errore e costo per attività completata contano in produzione.

Un dataset dorato di attività revisionate, risultati attesi e casi limite fornisce un riferimento stabile. Tuttavia, dovrebbe essere integrato con casi antagonistici e guasti derivati dalla produzione. Il centro risorse per l'IA del NIST colloca test, valutazione, verifica, validazione e misurazione continua all'interno di una gestione del rischio di IA più ampia.

Valutazione dell'agente rispetto ai concetti correlati#

La valutazione dell'agente è più ampia della valutazione del modello, che di solito testa gli output di un modello su un dataset fisso. Differisce anche dall'osservabilità: l'osservabilità registra ciò che è accaduto in un sistema attivo, mentre la valutazione applica criteri per determinare se tale comportamento fosse accettabile.

Allo stesso modo, il red teaming dell'IA cerca attivamente guasti sfruttabili, mentre la valutazione di routine misura le capacità note e le regressioni ripetutamente. I flussi di lavoro agentici definiscono come vengono eseguite le attività; la valutazione testa se tali flussi di lavoro producono risultati affidabili.

I test dei componenti rimangono preziosi. Ad esempio, se un agente utilizza la visione tramite chiamata di funzioni e uso di strumenti, gli sviluppatori dovrebbero convalidare separatamente il modello di visione prima di valutare il ciclo decisionale completo.

from ultralytics import YOLO

# Load the agent's visual perception model
model = YOLO("yolo26n.pt")

# Evaluate it against labeled reference data
metrics = model.val(data="coco8.yaml", split="val")

# Report a useful component-level detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Questo documentato flusso di lavoro di validazione Ultralytics YOLO misura il componente di percezione. Non stabilisce se l'agente abbia scelto l'immagine giusta, interpretato correttamente le rilevazioni o intrapreso un'azione appropriata.

Applicazioni nel mondo reale#

• Ispezione visiva di produzione: Un agente cattura l'immagine di un prodotto, richiama un rilevatore, controlla le regole di qualità e instrada gli elementi incerti per la revisione umana. La valutazione può verificare l'accuratezza del rilevamento dei difetti, i corretti argomenti dello strumento, il comportamento di escalation e se i prodotti rifiutati entrino effettivamente nella coda di ispezione.

• Agenti vocali del servizio clienti: Un agente vocale può autenticare un chiamante, recuperare informazioni sull'account ed elaborare una richiesta attraverso più turni. I test dovrebbero variare accenti, interruzioni, istruzioni ambigue e interruzioni degli strumenti misurando al contempo completamento delle attività, qualità conversazionale, azioni non autorizzate e latenza. Il flusso di lavoro di valutazione dell'agente di Google descrive la valutazione delle tracce complete piuttosto che delle sole risposte finali.

Costruire un processo di valutazione pratico#

Inizia con un piccolo set di attività normali, importanti casi limite e guasti precedentemente osservati. Definisci condizioni di superamento osservabili prima di eseguire l'agente, quindi combina controlli deterministici con revisioni basate su rubriche e revisioni umane periodiche. Esegui nuovamente la suite ogni volta che i prompt, i modelli, gli strumenti o le abilità dell'agente cambiano.

Dopo il deployment, collega i test offline con la revisione delle tracce campionate e il monitoraggio del modello. Per gli agenti abilitati alla visione, Ultralytics Platform supporta l'annotazione dei dataset, il training del modello, il deployment e il monitoraggio dei servizi di percezione chiamati dagli agenti. La valutazione efficace è continua: i guasti di produzione diventano nuovi casi di test e ogni modifica del sistema deve dimostrare un miglioramento senza interrompere il comportamento stabilito.