Computer Use Agents (CUAs)

I Computer Use Agents (CUAs) rappresentano un grande salto nel modo in cui i sistemi di intelligenza artificiale interagiscono con gli ambienti digitali. A differenza dei tradizionali AI Agents che si affidano esclusivamente a API di backend o a prompt basati su testo, un CUA è progettato per interagire con un'interfaccia utente grafica (GUI) esattamente come farebbe un essere umano. Osservando lo schermo, muovendo il cursore, cliccando sugli elementi e digitando su una tastiera virtuale, i CUAs colmano il divario tra le capacità astratte di Generative AI e le operazioni software pratiche e quotidiane.

Questa evoluzione è spesso vista come un passo verso Artificial General Intelligence (AGI), poiché sfida i limiti storici dell'intelligenza delle macchine — a volte indicati come Moravec's Paradox — richiedendo all'IA di percepire e navigare senza problemi in ambienti visivi idiosincratici.

Il passaggio alle interfacce visive#

Storicamente, l'automazione di attività tra diverse applicazioni software richiedeva integrazioni dirette o rigidi DOM-based parsing. Tuttavia, l'ultima generazione di CUAs sfrutta avanzati Vision-Language Models (VLM) e sofisticate tecniche di Computer Vision (CV) per interpretare i pixel su uno schermo.

Significativi progressi tra la fine del 2024 e l'inizio del 2025 hanno accelerato l'adozione dei CUAs. Ad esempio, Anthropic's Claude Computer Use ha introdotto un'API generalizzata affinché i modelli possano osservare un desktop e interagire cliccando tra le applicazioni. Analogamente, OpenAI's Operator ha debuttato come anteprima di ricerca capace di eseguire attività di navigazione web aperti. Questi sistemi vengono ora regolarmente valutati su rigorosi benchmark come WebArena e OSWorld per misurare la loro capacità di completare flussi di lavoro digitali complessi e multi-fase.

Poiché questi agenti hanno il controllo diretto su un sistema, si consiglia vivamente agli sviluppatori di eseguirli all'interno di Virtual Machines in sandbox per mitigare rischi come azioni indesiderate o Prompt Injection malevole.

Applicazioni nel mondo reale#

I CUA stanno trasformando rapidamente i settori eseguendo attività complesse e a più passaggi in ecosistemi software isolati.

• Autonomous Quality Assurance (QA): Nel GUI automation testing, i CUAs possono navigare visivamente attraverso applicazioni web, cliccare sui flussi di lavoro degli utenti e verificare gli elementi del layout senza script di test fragili. Se un pulsante cambia colore o si sposta, l'agente si adatta naturalmente.
• Legacy Robotic Process Automation: Per le applicazioni desktop meno recenti che mancano di API moderne, i CUAs potenziano la Robotic Process Automation (RPA). L'agente può aprire un CRM legacy, leggere fatture non strutturate e digitare manualmente i dati estratti nel sistema, snellendo l'inserimento dei dati aziendali.

Costruire la percezione per i CUA#

Mentre i grandi VLM possono analizzare interi screenshot, è spesso più efficiente e accurato abbinarli a modelli di object detection localizzati. Questi modelli mappano UI elements come pulsanti, icone e campi di testo in tempo reale, fornendo coordinate esatte su cui l'agente deve cliccare.

Gli sviluppatori possono utilizzare framework come PyTorch insieme al modello Ultralytics YOLO26 per costruire livelli di percezione altamente reattivi per un CUA. La Ultralytics Platform può essere utilizzata per il model training su dataset GUI personalizzati. Il seguente frammento Python dimostra come un CUA potrebbe usare il predict mode del pacchetto ultralytics per trovare un pulsante sullo schermo:

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

CUA vs. Concetti correlati#

Comprendere come i Computer Use Agents si inseriscono nel più ampio ecosistema dell'IA è essenziale per implementare le giuste strategie di action chunking:

• vs. Auto-GPT: Mentre Auto-GPT è un agente autonomo che si affida principalmente alla generazione di testo e a script predefiniti per eseguire cicli di attività, un CUA interagisce intrinsecamente e direttamente con interfacce visive e sistemi operativi.
• vs. Function Calling (Tool Use): Function Calling (Tool Use) consente a un'IA di eseguire una specifica funzione di codice di backend predefinita (come il recupero delle previsioni meteo tramite API). Al contrario, i CUAs eseguono azioni UI di front-end, manipolando l'ambiente digitale esattamente come farebbe un utente finale.