Computer Use Agents (CUAs)

Computer Use Agents (CUAs) stellen einen bedeutenden Sprung in der Art und Weise dar, wie künstliche Intelligenzsysteme mit digitalen Umgebungen interagieren. Im Gegensatz zu herkömmlichen AI Agents, die sich ausschließlich auf Backend-APIs oder textbasierte Prompts verlassen, ist ein CUA darauf ausgelegt, mit einer grafischen Benutzeroberfläche (GUI) exakt wie ein Mensch zu interagieren. Indem sie den Bildschirm beobachten, einen Cursor bewegen, auf Elemente klicken und auf einer virtuellen Tastatur tippen, schlagen CUAs die Brücke zwischen abstrakten Generative AI-Fähigkeiten und praktischen, alltäglichen Softwarevorgängen.

Diese Entwicklung wird oft als Schritt in Richtung Artificial General Intelligence (AGI) angesehen, da sie die historischen Grenzen maschineller Intelligenz – manchmal als Moravec's Paradox bezeichnet – herausfordert, indem sie von der KI verlangt, idiosynkratische visuelle Umgebungen nahtlos wahrzunehmen und in ihnen zu navigieren.

Link to this sectionDer Wandel zu visuellen Schnittstellen#

Historisch gesehen erforderte die Automatisierung von Aufgaben über verschiedene Softwareanwendungen hinweg direkte Integrationen oder starres DOM-based parsing. Die neueste Generation von CUAs nutzt jedoch fortschrittliche Vision-Language Models (VLM) und ausgefeilte Computer Vision (CV)-Techniken, um Pixel auf einem Bildschirm zu interpretieren.

Significant breakthroughs between late 2024 and early 2025 have accelerated CUA adoption. For instance, Anthropic's Claude Computer Use introduced a generalized API for models to look at a desktop and click around applications. Similarly, OpenAI's Operator debuted as a research preview capable of executing open-ended web browsing tasks. These systems are now routinely evaluated on rigorous benchmarks like WebArena and OSWorld to measure their ability to complete complex, multi-step digital workflows.

Da diese Agenten direkte Kontrolle über ein System haben, wird Entwicklern dringend empfohlen, sie in isolierten Virtual Machines auszuführen, um Risiken wie unbeabsichtigte Aktionen oder bösartige Prompt Injection zu mindern.

Link to this sectionPraxisanwendungen#

CUAs verändern Branchen rapide, indem sie komplexe, mehrstufige Aufgaben über isolierte Software-Ökosysteme hinweg ausführen.

• Autonome Qualitätssicherung (QA): Bei GUI automation testing können CUAs visuell durch Webanwendungen navigieren, Benutzerabläufe durchklicken und Layout-Elemente ohne fehleranfällige Testskripte verifizieren. Wenn eine Schaltfläche die Farbe ändert oder sich verschiebt, passt sich der Agent natürlich an.
• Legacy Robotic Process Automation: Für ältere Desktop-Anwendungen, denen moderne APIs fehlen, werten CUAs die Robotic Process Automation (RPA) auf. Der Agent kann ein altes CRM öffnen, unstrukturierte Rechnungen lesen und die extrahierten Daten manuell in das System eingeben, wodurch die Dateneingabe im Unternehmen optimiert wird.

Link to this sectionWahrnehmung für CUAs aufbauen#

Während große VLMs ganze Screenshots analysieren können, ist es oft effizienter und genauer, sie mit lokalisierten object detection-Modellen zu koppeln. Diese Modelle bilden UI elements wie Schaltflächen, Symbole und Textfelder in Echtzeit ab und liefern exakte Koordinaten, auf die der Agent klicken kann.

Developers can use frameworks like PyTorch alongside the Ultralytics YOLO26 model to build highly responsive perception layers for a CUA. The Ultralytics Platform can be utilized for model training on custom GUI datasets. The following Python snippet demonstrates how a CUA might use the ultralytics package's predict mode to find a button on the screen:

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

Link to this sectionCUAs vs. verwandte Konzepte#

Zu verstehen, wie Computer Use Agents in das breitere KI-Ökosystem passen, ist für die Implementierung der richtigen action chunking-Strategien unerlässlich:

• vs. Auto-GPT: Während Auto-GPT ein autonomer Agent ist, der sich hauptsächlich auf Textgenerierung und vordefinierte Skripte verlässt, um Aufgaben in Schleifen abzuarbeiten, interagiert ein CUA von Natur aus direkt mit visuellen Schnittstellen und Betriebssystemen.
• vs. Function Calling (Tool Use): Function Calling (Tool Use) ermöglicht es einer KI, eine spezifische, vordefinierte Backend-Codefunktion auszuführen (wie das Abrufen einer Wetter-API). Im Gegensatz dazu führen CUAs UI-Aktionen im Frontend aus und manipulieren die digitale Umgebung exakt so, wie es ein Endbenutzer tun würde.