Computer Use Agents (CUAs)

Gli agenti per l'uso del computer (CUA) sono agenti di IA che usano un computer come farebbe una persona: osservano schermate, decidono cosa fare e agiscono muovendo il mouse, facendo clic, digitando e scorrendo. Poiché operano tramite l'interfaccia grafica anziché un'API, un CUA può usare quasi tutte le applicazioni desktop o web, compresi i software legacy che non offrono alcuna integrazione. Anthropic ha rilasciato computer use per Claude 3.5 Sonnet in beta pubblica nell'ottobre 2024. OpenAI ha seguito nel gennaio 2025 con Operator, basato su un modello denominato Computer-Using Agent, e in seguito ha integrato Operator nell'agente ChatGPT. Google ha rilasciato il suo modello Gemini 2.5 Computer Use nell'ottobre 2025.

Come funzionano gli agenti per l'uso del computer#

Un CUA esegue un ciclo di percezione e azione. Il suo harness dell'agente acquisisce una schermata e la invia, insieme all'attività e alla cronologia, a un modello visione-linguaggio (VLM). Il modello risponde con un'azione e le relative coordinate in pixel, ad esempio un clic sinistro in (512, 384) o la digitazione di un termine di ricerca; l'harness la esegue tramite le API di input del sistema operativo, acquisisce una nuova schermata e ripete il ciclo. La documentazione di Anthropic consiglia per le attività desktop una risoluzione di 1024 x 768 o 1280 x 720; quando un harness riduce le schermate prima dell'invio, scala le coordinate del modello fino alla risoluzione effettiva dello schermo.

La parte più difficile del ciclo è il grounding: trasformare «apri la fattura di marzo» nel pixel esatto della riga giusta. I modelli end-to-end prevedono le coordinate direttamente dalla schermata. Altri agenti analizzano prima lo schermo e lo convertono in un elenco di elementi etichettati con il rilevamento di oggetti e il riconoscimento ottico dei caratteri (OCR), poi lasciano che un modello linguistico di grandi dimensioni (LLM) selezioni un elemento tramite il suo ID, trasformando l'individuazione precisa in una domanda a scelta multipla. Gli agenti browser possono anche leggere l'albero di accessibilità o il DOM della pagina, quando disponibile, e ripiegare sui pixel in caso contrario.

Analisi dello schermo con il rilevamento di oggetti#

OmniParser di Microsoft, rilasciato nel 2024, è il parser di schermate di questo tipo più noto. Rileva tutte le icone cliccabili e i campi di testo, aggiunge una descrizione a ogni icona con un modello Florence-2 affinché il modello linguistico sappia a cosa serve e legge il testo con l'OCR; l'output analizzato ha aumentato l'accuratezza di GPT-4V nel fare clic sull'elemento giusto nel benchmark ScreenSpot. Il suo rilevatore di aree interattive è un modello Ultralytics YOLOv8 sottoposto a fine-tuning su schermate di pagine web popolari, le cui bounding box degli elementi cliccabili provenivano dal DOM di ogni pagina. L'analisi basata sul rilevamento è adatta a schermate piene di piccole icone senza etichetta, in cui un rilevatore in tempo reale veloce individua ogni obiettivo in un unico passaggio e il VLM deve solo scegliere tra questi.

Benchmark#

OSWorld, presentato nell'aprile 2024, mette alla prova gli agenti con 369 attività reali su applicazioni Ubuntu, Windows e macOS, dalla modifica di fogli di calcolo al cambio delle impostazioni di sistema; ogni risultato viene verificato con uno script. Al momento del lancio, gli esseri umani completavano il 72,36% delle attività e il modello migliore solo il 12,24%. Computer-Using Agent di OpenAI ha raggiunto il 38,1% nel gennaio 2025, Claude Sonnet 4.5 il 61,4% nel settembre 2025 e Claude Sonnet 4.6 il 72,5% sul set OSWorld-Verified ripulito nel febbraio 2026, circa il tasso umano dello studio originale. WebArena valuta gli agenti browser con 812 attività su siti di shopping, forum, hosting di codice e gestione dei contenuti self-hosted; come OSWorld, assegna un punteggio a ogni attività verificando lo stato finale con uno script, secondo la prassi standard per la valutazione degli agenti.

CUA e approcci correlati#

• Automazione robotica dei processi (RPA): riproduce clic e sequenze di tasti registrati per una singola interfaccia fissa, quindi basta spostare un pulsante per interrompere lo script. Un CUA legge la schermata corrente e pianifica ogni passaggio, a scapito della velocità e con una certa imprevedibilità.
• Chiamata di funzioni e uso degli strumenti: chiama l'API di un'applicazione con argomenti strutturati; è più veloce e affidabile quando esiste un'API. L'uso del computer copre i software che ne sono sprovvisti.
• Modelli di azione di grandi dimensioni (LAM): modelli addestrati specificamente a produrre azioni nelle interfacce software. Molti CUA usano modelli multimodali generali, addestrati all'uso del computer insieme a molte altre attività.

Applicazioni e rischi#

I CUA automatizzano l'inserimento di dati nei sistemi legacy, compilano moduli web a partire da documenti, eseguono test della GUI seguendo un flusso di lavoro come farebbe un utente e raccolgono informazioni su siti privi di API. Tutto ciò che appare sullo schermo è un input per il modello, quindi una pagina web, un'email o un documento può contenere una prompt injection che dice all'agente di fare altro. I fornitori raccomandano di eseguire i CUA in una sandbox per agenti, ad esempio una macchina virtuale dedicata con privilegi minimi, di tenerli lontani dagli account connessi che contengono dati sensibili e di richiedere una conferma per acquisti, messaggi inviati e altre azioni rilevanti. Operator restituiva il controllo all'utente ogni volta che un sito chiedeva credenziali di accesso, dati di pagamento o un CAPTCHA.