Computer Use Agents (CUAs)

Os agentes de uso do computador (CUAs) são agentes de IA que operam um computador como uma pessoa: observam capturas de tela, decidem o que fazer e agem movendo o mouse, clicando, digitando e rolando. Como trabalham pela interface gráfica em vez de usar uma API, um CUA pode utilizar quase qualquer aplicação de desktop ou web, inclusive software legado sem qualquer integração. A Anthropic lançou o uso do computador para o Claude 3.5 Sonnet em versão beta pública em outubro de 2024. A OpenAI lançou o Operator em janeiro de 2025, baseado num modelo que chamou de Computer-Using Agent, e depois integrou o Operator ao agente do ChatGPT. A Google lançou seu modelo Gemini 2.5 Computer Use em outubro de 2025.

Como funcionam os agentes de uso do computador#

Um CUA executa um ciclo de percepção e ação. Seu ambiente de execução do agente captura uma captura de tela e a envia, junto com a tarefa e o histórico até então, a um modelo de visão e linguagem (VLM). O modelo responde com uma ação e suas coordenadas em pixels, como clicar com o botão esquerdo em (512, 384) ou digitar um termo de pesquisa; o ambiente de execução a realiza pelas APIs de entrada do sistema operacional, captura uma nova tela e repete o processo. A documentação da Anthropic recomenda uma tela de 1024 x 768 ou 1280 x 720 para tarefas de desktop e, quando o ambiente de execução reduz as capturas de tela antes de enviá-las, ele amplia as coordenadas do modelo de volta ao tamanho real da tela.

A parte mais difícil do ciclo é o aterramento: transformar "abre a fatura de março" no pixel exato da linha certa. Os modelos de ponta a ponta preveem as coordenadas diretamente a partir da captura de tela. Outros agentes primeiro analisam a tela e criam uma lista de elementos rotulados com detecção de objetos e reconhecimento óptico de caracteres (OCR), e depois deixam um modelo de linguagem grande (LLM) escolher um elemento pelo ID, transformando a seleção precisa num problema de múltipla escolha. Os agentes de navegador também podem ler a árvore de acessibilidade ou o DOM da página, quando disponíveis, e recorrer aos pixels quando não estão.

Análise de tela com detecção de objetos#

Lançado em 2024, o OmniParser da Microsoft é o analisador de tela mais conhecido desse tipo. Ele detecta todos os ícones clicáveis e campos de texto, descreve cada ícone com um modelo Florence-2 para que o modelo de linguagem saiba o que ele faz e lê o texto com OCR; a saída analisada aumentou a precisão do GPT-4V ao clicar no elemento certo no benchmark ScreenSpot. Seu detector de regiões interativas é um modelo Ultralytics YOLOv8 ajustado com capturas de tela de páginas web populares cujas caixas de elementos clicáveis foram obtidas do DOM de cada página. A análise baseada em detecção é adequada para telas repletas de ícones pequenos e sem rótulos, nas quais um detector rápido de tempo real encontra todos os alvos numa passagem, deixando ao VLM apenas a tarefa de escolher entre eles.

Benchmarks#

Apresentado em abril de 2024, o OSWorld testa agentes em 369 tarefas reais em aplicações Ubuntu, Windows e macOS, desde editar planilhas até alterar configurações do sistema, e verifica cada resultado com um script. No lançamento, os humanos concluíram 72,36% das tarefas, enquanto o melhor modelo concluiu apenas 12,24%. O Computer-Using Agent da OpenAI chegou a 38,1% em janeiro de 2025, o Claude Sonnet 4.5 alcançou 61,4% em setembro de 2025 e o Claude Sonnet 4.6 obteve 72,5% no conjunto OSWorld-Verified revisado em fevereiro de 2026, aproximadamente a taxa humana do artigo original. O WebArena avalia agentes de navegador com 812 tarefas em sites auto-hospedados de compras, fóruns, hospedagem de código e gerenciamento de conteúdo e, assim como o OSWorld, pontua cada tarefa verificando o estado final com um script, prática padrão na avaliação de agentes.

CUAs e abordagens relacionadas#

• Automação robótica de processos (RPA): reproduz cliques e teclas gravados para um layout fixo, portanto um botão que muda de lugar interrompe o script. Um CUA lê a tela atual e planeja cada etapa, com o custo de ser mais lento e um pouco imprevisível.
• Chamada de funções e uso de ferramentas: chama a API de uma aplicação com argumentos estruturados, o que é mais rápido e confiável sempre que existe uma API. O uso do computador permite operar softwares que não têm uma.
• Modelos de ação grandes (LAMs): modelos treinados especificamente para produzir ações em interfaces de software. Muitos CUAs usam modelos multimodais gerais, treinados para o uso do computador entre muitas outras tarefas.

Aplicações e riscos#

Os CUAs automatizam a entrada de dados em sistemas legados, preenchem formulários web com base em documentos, executam testes de interface gráfica (GUI) que seguem um fluxo de trabalho como faria um usuário e coletam informações em sites sem APIs. Tudo o que aparece na tela é uma entrada para o modelo, portanto uma página web, um e-mail ou um documento pode conter uma injeção de prompt que instrua o agente a fazer outra coisa. Os fornecedores recomendam executar os CUAs num ambiente isolado para agentes, como uma máquina virtual dedicada com privilégios mínimos, mantê-los longe de contas conectadas que contenham dados sensíveis e exigir confirmação para compras, mensagens enviadas e outras ações importantes; o Operator também devolvia o controle ao usuário sempre que um site pedia dados de acesso, informações de pagamento ou um CAPTCHA.