Computer Use Agents (CUAs)

Les agents d'utilisation informatique (Computer Use Agents ou CUA) représentent un bond en avant majeur dans la manière dont les systèmes d'intelligence artificielle interagissent avec les environnements numériques. Contrairement aux AI Agents traditionnels qui reposent exclusivement sur des API backend ou des invites textuelles, un CUA est conçu pour interagir avec une interface utilisateur graphique (GUI) exactement comme le ferait un humain. En observant l'écran, en déplaçant un curseur, en cliquant sur des éléments et en tapant sur un clavier virtuel, les CUA comblent le fossé entre les capacités abstraites de Generative AI et les opérations logicielles pratiques du quotidien.

Cette évolution est souvent perçue comme un pas vers l'Artificial General Intelligence (AGI), car elle remet en cause les limites historiques de l'intelligence artificielle — parfois appelée Moravec's Paradox — en exigeant que l'IA perçoive et navigue de manière fluide dans des environnements visuels idiosyncrasiques.

Le passage aux interfaces visuelles#

Historiquement, l'automatisation de tâches à travers différentes applications logicielles nécessitait des intégrations directes ou une DOM-based parsing rigide. Cependant, la dernière génération de CUA utilise des Vision-Language Models (VLM) avancés et des techniques sophistiquées de Computer Vision (CV) pour interpréter les pixels d'un écran.

Des avancées significatives entre la fin de 2024 et le début de 2025 ont accéléré l'adoption des CUA. Par exemple, Anthropic's Claude Computer Use a introduit une API généralisée permettant aux modèles d'observer un bureau et de cliquer dans les applications. De même, OpenAI's Operator a fait ses débuts en tant qu'aperçu de recherche capable d'exécuter des tâches de navigation web ouvertes. Ces systèmes sont désormais régulièrement évalués sur des benchmarks rigoureux comme WebArena et OSWorld pour mesurer leur capacité à accomplir des flux de travail numériques complexes et multi-étapes.

Puisque ces agents ont un contrôle direct sur un système, il est fortement conseillé aux développeurs de les exécuter dans des Virtual Machines isolées en bac à sable afin d'atténuer les risques tels que les actions involontaires ou le Prompt Injection malveillant.

Applications concrètes#

Les CUA transforment rapidement les industries en exécutant des tâches complexes en plusieurs étapes au sein d'écosystèmes logiciels isolés.

• Assurance qualité autonome (QA) : Dans le cadre des GUI automation testing, les CUA peuvent naviguer visuellement à travers les applications web, cliquer sur les flux de travail des utilisateurs et vérifier les éléments de mise en page sans scripts de test fragiles. Si un bouton change de couleur ou se déplace, l'agent s'adapte naturellement.
• Automatisation des processus robotiques hérités : Pour les applications de bureau plus anciennes qui manquent d'API modernes, les CUA dynamisent le Robotic Process Automation (RPA). L'agent peut ouvrir un CRM existant, lire des factures non structurées et taper manuellement les données extraites dans le système, rationalisant ainsi la saisie de données en entreprise.

Construire la perception pour les CUA#

Bien que les grands VLM puissent analyser des captures d'écran entières, il est souvent plus efficace et précis de les associer à des modèles de object detection localisés. Ces modèles cartographient en temps réel les UI elements tels que les boutons, les icônes et les champs de texte, fournissant des coordonnées exactes sur lesquelles l'agent peut cliquer.

Les développeurs peuvent utiliser des frameworks comme PyTorch avec le modèle Ultralytics YOLO26 pour construire des couches de perception hautement réactives pour un CUA. La Ultralytics Platform peut être utilisée pour le model training sur des jeux de données GUI personnalisés. L'extrait Python suivant montre comment un CUA pourrait utiliser le predict mode du package ultralytics pour trouver un bouton sur l'écran :

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

CUA vs. concepts associés#

Comprendre comment les agents d'utilisation informatique s'intègrent dans l'écosystème global de l'IA est essentiel pour mettre en œuvre les bonnes stratégies de action chunking :

• vs Auto-GPT : Alors que Auto-GPT est un agent autonome qui s'appuie principalement sur la génération de texte et des scripts prédéfinis pour boucler sur des tâches, un CUA interagit intrinsèquement et directement avec des interfaces visuelles et des systèmes d'exploitation.
• vs Appel de fonction (Utilisation d'outils) : Function Calling (Tool Use) permet à une IA d'exécuter une fonction de code backend spécifique et prédéfinie (comme la récupération d'une API météo). En revanche, les CUA exécutent des actions d'interface utilisateur front-end, manipulant l'environnement numérique exactement comme le ferait un utilisateur final.