Computer Use Agents (CUAs)

Computerbedienungsagenten (CUAs) sind KI-Agenten, die Computer wie Menschen bedienen: Sie betrachten Bildschirmaufnahmen, entscheiden, was zu tun ist, und führen Aktionen aus, indem sie die Maus bewegen, klicken, tippen und scrollen. Da sie über die grafische Benutzeroberfläche statt über eine API arbeiten, können CUAs fast jede Desktop- oder Webanwendung nutzen, darunter auch ältere Software ohne jegliche Integrationsmöglichkeiten. Anthropic veröffentlichte Computer Use für Claude 3.5 Sonnet im Oktober 2024 als öffentliche Betaversion. Im Januar 2025 folgte OpenAI mit Operator, der von einem Modell angetrieben wurde, das OpenAI Computer-Using Agent nannte. Später integrierte das Unternehmen Operator in den ChatGPT-Agenten. Google veröffentlichte sein Modell Gemini 2.5 Computer Use im Oktober 2025.

So funktionieren Computerbedienungsagenten#

Ein CUA arbeitet in einer Wahrnehmungs- und Handlungsschleife. Sein Agentengerüst erstellt eine Bildschirmaufnahme und sendet sie zusammen mit der Aufgabe und dem bisherigen Verlauf an ein Bild-Sprach-Modell (VLM). Das Modell antwortet mit einer Aktion und den zugehörigen Pixelkoordinaten, etwa einem Linksklick bei (512, 384) oder der Eingabe eines Suchbegriffs. Das Agentengerüst führt die Aktion über die Eingabe-APIs des Betriebssystems aus, erstellt eine neue Bildschirmaufnahme und wiederholt den Vorgang. Laut Anthropic-Dokumentation eignen sich für Desktop-Aufgaben Bildschirme mit einer Auflösung von 1024 × 768 oder 1280 × 720. Verkleinert ein Agentengerüst die Bildschirmaufnahmen vor dem Senden, skaliert es die Koordinaten des Modells wieder auf die tatsächliche Bildschirmgröße hoch.

Der schwierigste Teil dieser Schleife ist die Verortung: Aus „öffne die Rechnung vom März“ muss der genaue Pixel der richtigen Zeile ermittelt werden. End-to-End-Modelle sagen die Koordinaten direkt anhand der Bildschirmaufnahme voraus. Andere Agenten zerlegen den Bildschirm zuerst mithilfe von Objekterkennung und optischer Zeichenerkennung (OCR) in eine Liste beschrifteter Elemente. Anschließend kann ein großes Sprachmodell (LLM) anhand der Kennung ein Element auswählen. So wird aus dem präzisen Zeigen eine Multiple-Choice-Aufgabe. Browseragenten können auch den Barrierefreiheitsbaum oder das DOM der Seite auslesen, sofern verfügbar, und andernfalls auf Bildschirmpixel zurückgreifen.

Bildschirmzerlegung mit Objekterkennung#

OmniParser von Microsoft, 2024 veröffentlicht, ist der bekannteste Bildschirmparser dieser Art. Er erkennt jedes anklickbare Symbol und Textfeld, beschreibt die Symbole mithilfe eines Florence-2-Modells, damit das Sprachmodell ihre Funktion kennt, und liest Text mit OCR. Die zerlegte Ausgabe verbesserte die Genauigkeit von GPT-4V beim Anklicken des richtigen Elements im ScreenSpot-Benchmark. Der Detektor für interaktive Bereiche ist ein Ultralytics-Modell YOLOv8, das anhand von Bildschirmaufnahmen beliebter Webseiten feinabgestimmt wurde. Die Begrenzungsrahmen anklickbarer Elemente stammten jeweils aus dem DOM der Seite. Eine auf Erkennung basierende Zerlegung eignet sich für Bildschirme mit vielen kleinen, unbeschrifteten Symbolen: Ein schneller Detektor für den Echtzeitbetrieb findet alle Ziele in einem Durchlauf, und das VLM muss nur noch eines davon auswählen.

Benchmarks#

OSWorld, im April 2024 vorgestellt, prüft Agenten anhand von 369 realen Aufgaben in Anwendungen für Ubuntu, Windows und macOS. Die Aufgaben reichen vom Bearbeiten von Tabellen bis zum Ändern von Systemeinstellungen. Jedes Ergebnis wird mit einem Skript überprüft. Bei der Veröffentlichung erledigten Menschen 72,36 % der Aufgaben, das beste Modell dagegen nur 12,24 %. OpenAIs Computer-Using Agent erreichte im Januar 2025 38,1 %, Claude Sonnet 4.5 im September 2025 61,4 % und Claude Sonnet 4.6 im Februar 2026 72,5 % auf der bereinigten Datensatzversion OSWorld-Verified – ungefähr die Erfolgsquote der Menschen aus dem ursprünglichen Artikel. WebArena prüft Browseragenten anhand von 812 Aufgaben auf selbst gehosteten Einkaufs-, Foren-, Codehosting- und Content-Management-Websites. Wie bei OSWorld wird jede Aufgabe überprüft, indem ein Skript den Endzustand kontrolliert – das übliche Vorgehen bei der Agentenbewertung.

CUAs im Vergleich zu verwandten Ansätzen#

• Robotergesteuerte Prozessautomatisierung (RPA): Spielt Klicks und Tastatureingaben ab, die für ein festes Layout aufgezeichnet wurden. Wird eine Schaltfläche verschoben, funktioniert das Skript nicht mehr. Ein CUA liest den aktuellen Bildschirm und plant jeden Schritt, ist dafür aber langsamer und weniger vorhersehbar.
• Funktionsaufrufe und Tool-Nutzung: Rufen die API einer Anwendung mit strukturierten Argumenten auf. Sofern eine API vorhanden ist, ist das schneller und zuverlässiger. Computerbedienung kommt bei Software zum Einsatz, für die es keine API gibt.
• Große Aktionsmodelle (LAMs): Modelle, die gezielt darauf trainiert wurden, Aktionen in Softwareoberflächen auszugeben. Viele CUAs basieren auf allgemeinen multimodalen Modellen, die neben vielen anderen Aufgaben auch für die Computerbedienung trainiert wurden.

Anwendungsfälle und Risiken#

CUAs automatisieren die Dateneingabe in ältere Systeme, füllen Webformulare anhand von Dokumenten aus, führen GUI-Tests durch, die Arbeitsabläufe wie ein Nutzer ausführen, und sammeln Informationen auf Websites ohne APIs. Alles auf dem Bildschirm wird dem Modell als Eingabe übergeben. Daher kann eine Webseite, E-Mail oder ein Dokument eine Prompt-Injection enthalten, die den Agenten zu etwas anderem auffordert. Anbieter empfehlen, CUAs in einer isolierten Agentenumgebung wie einer eigens dafür vorgesehenen virtuellen Maschine mit möglichst geringen Berechtigungen auszuführen, sie von angemeldeten Konten mit sensiblen Daten fernzuhalten und bei Käufen, versendeten Nachrichten und anderen folgenreichen Aktionen eine Bestätigung zu verlangen. Operator übergab die Kontrolle außerdem immer dann an den Nutzer zurück, wenn eine Website Anmeldedaten, Zahlungsdaten oder ein CAPTCHA verlangte.