Computer Use Agents (CUAs)

Los agentes de uso del ordenador (CUA) son agentes de IA que manejan un ordenador como lo haría una persona: miran capturas de pantalla, deciden qué hacer y actúan moviendo el ratón, haciendo clic, escribiendo y desplazándose. Como funcionan mediante la interfaz gráfica en lugar de una API, un CUA puede utilizar casi cualquier aplicación de escritorio o web, incluido software heredado que no ofrece ninguna integración. Anthropic lanzó computer use para Claude 3.5 Sonnet como beta pública en octubre de 2024. OpenAI le siguió en enero de 2025 con Operator, impulsado por un modelo al que llamó Computer-Using Agent, y más tarde integró Operator en el agente de ChatGPT. Google lanzó su modelo Gemini 2.5 Computer Use en octubre de 2025.

Cómo funcionan los agentes de uso del ordenador#

Un CUA ejecuta un bucle de percepción y acción. Su arnés del agente captura una captura de pantalla y la envía, junto con la tarea y el historial acumulado, a un modelo de visión y lenguaje (VLM). El modelo responde con una acción y sus coordenadas en píxeles, como hacer clic con el botón izquierdo en (512, 384) o escribir un término de búsqueda, y el arnés la ejecuta mediante las API de entrada del sistema operativo, captura una nueva pantalla y repite el proceso. La documentación de Anthropic recomienda una pantalla de 1024 x 768 o 1280 x 720 para tareas de escritorio; cuando un arnés reduce las capturas antes de enviarlas, vuelve a escalar las coordenadas del modelo para ajustarlas a la pantalla real.

La parte más difícil del bucle es la asignación a elementos: traducir «abre la factura de marzo» al píxel exacto de la fila correcta. Los modelos integrales predicen las coordenadas directamente a partir de la captura de pantalla. Otros agentes primero analizan la pantalla para generar una lista de elementos etiquetados mediante detección de objetos y reconocimiento óptico de caracteres (OCR), y luego dejan que un modelo de lenguaje grande (LLM) elija un elemento por su ID, convirtiendo el señalamiento preciso en una pregunta de opción múltiple. Los agentes de navegador también pueden leer el árbol de accesibilidad o el DOM de la página, si está disponible, y recurrir a los píxeles cuando no lo está.

Análisis de pantalla mediante detección de objetos#

OmniParser de Microsoft, lanzado en 2024, es el analizador de pantalla más conocido de este tipo. Detecta todos los iconos en los que se puede hacer clic y los campos de texto, describe cada icono con un modelo Florence-2 para que el modelo de lenguaje sepa para qué sirve y lee el texto mediante OCR; el resultado del análisis mejoró la precisión de GPT-4V al hacer clic en el elemento correcto en el benchmark ScreenSpot. Su detector de regiones interactivas es un modelo Ultralytics YOLOv8 ajustado con capturas de páginas web populares cuyos cuadros de elementos en los que se puede hacer clic procedían del DOM de cada página. El análisis basado en detección es adecuado para pantallas repletas de iconos pequeños sin etiquetas, donde un detector rápido en tiempo real encuentra todos los objetivos en una sola pasada y el VLM solo tiene que elegir entre ellos.

Benchmarks#

OSWorld, presentado en abril de 2024, evalúa agentes con 369 tareas reales en aplicaciones de Ubuntu, Windows y macOS, desde editar hojas de cálculo hasta cambiar ajustes del sistema, y comprueba cada resultado mediante un script. En el momento de su lanzamiento, las personas completaban el 72,36 % de las tareas y el mejor modelo solo el 12,24 %. El agente Computer-Using Agent de OpenAI alcanzó el 38,1 % en enero de 2025, Claude Sonnet 4.5 llegó al 61,4 % en septiembre de 2025 y Claude Sonnet 4.6 obtuvo un 72,5 % con el conjunto depurado OSWorld-Verified en febrero de 2026, aproximadamente la tasa humana del artículo original. WebArena evalúa agentes de navegador con 812 tareas en sitios autoalojados de compras, foros, alojamiento de código y gestión de contenidos; al igual que OSWorld, puntúa cada tarea comprobando el estado final con un script, la práctica habitual en la evaluación de agentes.

CUA y enfoques relacionados#

• Automatización robótica de procesos (RPA): Reproduce los clics y las pulsaciones de teclas grabados para un diseño fijo, así que cambiar un botón de sitio rompe el script. Un CUA lee la pantalla actual y planifica cada paso, a cambio de menor velocidad y cierta imprevisibilidad.
• Llamadas a funciones y uso de herramientas: Llama a la API de una aplicación con argumentos estructurados, lo que resulta más rápido y fiable siempre que exista una API. El uso del ordenador sirve para el software que no tiene ninguna.
• Modelos de acciones grandes (LAM): Modelos entrenados específicamente para generar acciones en interfaces de software. Muchos CUA se basan en modelos multimodales generales entrenados para el uso del ordenador, entre otras tareas.

Aplicaciones y riesgos#

Los CUA automatizan la introducción de datos en sistemas heredados, rellenan formularios web a partir de documentos, ejecutan pruebas de GUI que siguen un flujo de trabajo como lo haría un usuario y recopilan información en sitios sin API. Todo lo que aparece en pantalla es una entrada para el modelo, así que una página web, un correo electrónico o un documento puede incluir una inyección de prompts que indique al agente que haga otra cosa. Los proveedores recomiendan ejecutar los CUA en un entorno aislado para agentes, como una máquina virtual dedicada con privilegios mínimos; mantenerlos alejados de cuentas con sesión iniciada que contengan datos sensibles; y exigir confirmación para compras, mensajes enviados y otras acciones importantes. Operator devolvía el control al usuario siempre que un sitio solicitaba credenciales de inicio de sesión, datos de pago o un CAPTCHA.