Computer Use Agents (CUAs)

Les agents d’utilisation d’ordinateur (CUA) sont des agents d’IA qui utilisent un ordinateur comme une personne : ils observent des captures d’écran, décident quoi faire, puis agissent en déplaçant la souris, en cliquant, en tapant et en faisant défiler. Comme ils utilisent l’interface graphique plutôt qu’une API, un CUA peut se servir de presque n’importe quelle application de bureau ou Web, y compris d’anciens logiciels sans aucune intégration. Anthropic a lancé computer use pour Claude 3.5 Sonnet en bêta publique en octobre 2024. OpenAI a suivi en janvier 2025 avec Operator, fondé sur un modèle nommé Computer-Using Agent, puis a intégré Operator à l’agent ChatGPT. Google a lancé son modèle Gemini 2.5 Computer Use en octobre 2025.

Fonctionnement des agents d’utilisation d’ordinateur#

Un CUA fonctionne selon une boucle perception-action. Son environnement d’exécution d’agent capture une capture d’écran et l’envoie à un modèle vision-langage (VLM) avec la tâche et l’historique jusque-là. Le modèle renvoie une action et ses coordonnées en pixels, comme un clic gauche en (512, 384) ou la saisie d’un terme de recherche ; l’environnement d’exécution l’effectue au moyen des API d’entrée du système d’exploitation, capture une nouvelle capture d’écran et recommence. La documentation d’Anthropic recommande un écran de 1024 x 768 ou 1280 x 720 pour les tâches de bureau ; lorsqu’un environnement d’exécution réduit les captures d’écran avant leur envoi, il remet à l’échelle les coordonnées du modèle pour les faire correspondre à l’écran réel.

La partie la plus difficile de la boucle est l’ancrage : convertir « ouvre la facture de mars » en pixel exact de la bonne ligne. Les modèles de bout en bout prédisent directement les coordonnées à partir de la capture d’écran. D’autres agents commencent par analyser l’écran en une liste d’éléments étiquetés à l’aide de la détection d’objets et de la reconnaissance optique de caractères (OCR), puis laissent un grand modèle de langage (LLM) choisir un élément par son identifiant, transformant ainsi le pointage précis en question à choix multiples. Les agents de navigateur peuvent aussi lire l’arbre d’accessibilité ou le DOM de la page lorsqu’ils sont disponibles, et se rabattre sur les pixels dans le cas contraire.

Analyse d’écran par détection d’objets#

OmniParser de Microsoft, lancé en 2024, est le parseur d’écran le plus connu de ce type. Il détecte chaque icône cliquable et chaque champ de texte, ajoute une description à chaque icône à l’aide d’un modèle Florence-2 pour que le modèle de langage sache à quoi elle sert, et lit le texte par OCR ; le résultat analysé a amélioré la précision de GPT-4V pour cliquer sur le bon élément du benchmark ScreenSpot. Son détecteur de régions interactives est un modèle Ultralytics YOLOv8 ajusté finement sur des captures d’écran de pages Web populaires, dont les boîtes des éléments cliquables provenaient du DOM de chaque page. L’analyse fondée sur la détection convient aux écrans remplis de petites icônes sans étiquette : un détecteur en temps réel rapide y repère toutes les cibles en un seul passage, et le VLM n’a plus qu’à choisir entre elles.

Benchmarks#

Présenté en avril 2024, OSWorld évalue les agents sur 369 tâches réelles dans des applications Ubuntu, Windows et macOS, de la modification de feuilles de calcul au changement des paramètres système, et vérifie chaque résultat à l’aide d’un script. À son lancement, les humains réussissaient 72,36 % des tâches, contre seulement 12,24 % pour le meilleur modèle. Computer-Using Agent d’OpenAI a atteint 38,1 % en janvier 2025, Claude Sonnet 4.5 a atteint 61,4 % en septembre 2025, et Claude Sonnet 4.6 a obtenu 72,5 % sur l’ensemble OSWorld-Verified nettoyé en février 2026, soit à peu près le taux humain de l’article d’origine. WebArena évalue les agents de navigateur au moyen de 812 tâches sur des sites auto-hébergés d’achat, de forums, d’hébergement de code et de gestion de contenu ; comme OSWorld, il note chaque tâche en vérifiant l’état final à l’aide d’un script, pratique standard de l’évaluation des agents.

CUA et approches apparentées#

• Automatisation robotisée des processus (RPA) : rejoue les clics et frappes enregistrés pour une mise en page fixe ; un bouton déplacé suffit donc à briser le script. Un CUA analyse l’écran actuel et planifie chaque étape, au prix d’une vitesse réduite et d’une certaine imprévisibilité.
• Appel de fonctions et utilisation d’outils : appelle l’API d’une application avec des arguments structurés, ce qui est plus rapide et plus fiable lorsqu’une API existe. L’utilisation d’un ordinateur permet de se servir des logiciels qui n’en ont pas.
• Grands modèles d’action (LAM) : modèles spécialement entraînés pour produire des actions dans des interfaces logicielles. De nombreux CUA reposent sur des modèles multimodaux généralistes entraînés à utiliser un ordinateur en plus de leurs autres capacités.

Applications et risques#

Les CUA automatisent la saisie de données dans d’anciens systèmes, remplissent des formulaires Web à partir de documents, exécutent des tests d’interface graphique qui suivent un processus comme le ferait un utilisateur et recueillent des informations sur des sites sans API. Tout ce qui apparaît à l’écran est fourni au modèle ; une page Web, un e-mail ou un document peut donc contenir une injection d’invite qui lui demande de faire autre chose. Les fournisseurs recommandent d’exécuter les CUA dans un bac à sable d’agent, par exemple une machine virtuelle dédiée dotée de privilèges minimaux, de les tenir à l’écart des comptes connectés contenant des données sensibles et d’exiger une confirmation pour les achats, les messages envoyés et toute autre action importante. Operator rendait la main à l’utilisateur chaque fois qu’un site demandait des identifiants de connexion, des informations de paiement ou un CAPTCHA.