Computer Use Agents (CUAs)

Bilgisayar kullanım ajanları (CUA'lar), bilgisayarı bir insan gibi kullanan yapay zekâ ajanlarıdır: ekran görüntülerine bakar, ne yapacaklarına karar verir ve fareyi hareket ettirerek, tıklayarak, yazarak ve kaydırarak işlem yaparlar. API yerine grafik arayüz üzerinden çalıştıklarından, CUA'lar hiçbir entegrasyon sunmayan eski yazılımlar da dâhil olmak üzere neredeyse tüm masaüstü veya web uygulamalarını kullanabilir. Anthropic, Claude 3.5 Sonnet için bilgisayar kullanımını Ekim 2024'te herkese açık beta olarak yayımladı. OpenAI, Ocak 2025'te Computer-Using Agent adını verdiği bir modelle çalışan Operator'ı piyasaya sürdü ve daha sonra Operator'ı ChatGPT agent'a dâhil etti. Google, Gemini 2.5 Computer Use modelini Ekim 2025'te yayımladı.

Bilgisayar Kullanım Ajanları Nasıl Çalışır?#

Bir CUA, algıla-eyleme geç döngüsüyle çalışır. Ajan altyapısı, ekran görüntüsünü alır ve görevle o ana kadarki geçmişi görsel-dil modeline (VLM) gönderir. Model, (512, 384) konumunda sol tıklama yapmak veya bir arama terimi yazmak gibi tek bir eylemi ve piksel koordinatlarını yanıtlar; altyapı da eylemi işletim sisteminin girdi API'leri üzerinden uygular, yeni ekran görüntüsünü alır ve döngüyü tekrarlar. Anthropic'in belgeleri masaüstü görevleri için 1024 x 768 veya 1280 x 720 ekran önerir. Altyapı ekran görüntülerini göndermeden önce küçültürse modelin koordinatlarını gerçek ekran boyutlarına göre yeniden ölçeklendirir.

Döngünün en zor kısmı eşlemedir: "Mart ayına ait faturayı aç" isteğini doğru satırdaki tam piksele dönüştürmek. Uçtan uca modeller koordinatları doğrudan ekran görüntüsünden tahmin eder. Diğer ajanlar önce ekranı nesne tespiti ve optik karakter tanıma (OCR) ile etiketli öğeler listesine ayrıştırır, ardından bir büyük dil modelinin (LLM) öğeyi kimliğine göre seçmesini sağlar; böylece hassas işaretleme çoktan seçmeli bir soruya dönüşür. Tarayıcı ajanları, varsa sayfanın erişilebilirlik ağacını veya DOM'unu da okuyabilir ve bunlar yoksa piksellere başvurabilir.

Nesne Tespitiyle Ekran Ayrıştırma#

Microsoft'un 2024'te yayımladığı OmniParser, bu tür ekran ayrıştırıcılarının en bilinen örneğidir. Tıklanabilir her simgeyi ve metin alanını algılar, dil modelinin ne işe yaradığını anlayabilmesi için her simgeyi Florence-2 modeliyle açıklama metniyle etiketler, metni OCR ile okur. Ayrıştırılmış çıktı, GPT-4V'nin ScreenSpot kıyaslamasında doğru öğeye tıklama doğruluğunu artırdı. Etkileşimli bölge algılayıcısı, popüler web sayfalarının tıklanabilir öğe kutularının her sayfanın DOM'undan alındığı ekran görüntüleriyle ince ayar uygulanmış bir Ultralytics YOLOv8 modelidir. Algılama tabanlı ayrıştırma, küçük ve etiketsiz simgelerle dolu ekranlar için uygundur: hızlı bir gerçek zamanlı algılayıcı her hedefi tek geçişte bulur, VLM'nin yapması gereken tek şey de aralarından seçim yapmaktır.

Kıyaslamalar#

Nisan 2024'te tanıtılan OSWorld, Ubuntu, Windows ve macOS uygulamalarında elektronik tabloları düzenlemekten sistem ayarlarını değiştirmeye kadar 369 gerçek görevde ajanları test eder ve her sonucu bir betikle denetler. Yayımlandığında insanlar görevlerin %72,36'sını tamamlarken en iyi model yalnızca %12,24'ünü tamamladı. OpenAI'ın Computer-Using Agent'ı Ocak 2025'te %38,1'e, Claude Sonnet 4.5 Eylül 2025'te %61,4'e ulaştı; Claude Sonnet 4.6 ise Şubat 2026'da temizlenmiş OSWorld-Verified veri kümesinde %72,5 puan alarak özgün makaledeki insan oranına yaklaştı. WebArena, kendi sunucularında barındırılan alışveriş, forum, kod barındırma ve içerik yönetimi sitelerinde 812 görevle tarayıcı ajanlarını değerlendirir. OSWorld gibi her görevi son durumu bir betikle denetleyerek puanlar; bu, ajan değerlendirmesinde standart uygulamadır.

CUA'lar ve İlgili Yaklaşımlar#

• Robotik süreç otomasyonu (RPA): Tek bir sabit düzen için kaydedilmiş tıklamaları ve tuş vuruşlarını yeniden oynatır; düğmenin yer değiştirmesi betiği bozar. CUA güncel ekranı okur ve her adımı planlar; bunun karşılığında daha yavaş ve bir ölçüde öngörülemez olur.
• İşlev çağırma ve araç kullanımı: Yapılandırılmış bağımsız değişkenlerle uygulamanın API'sini çağırır; API olduğunda daha hızlı ve güvenilirdir. Bilgisayar kullanımı, API'si olmayan yazılımları kapsar.
• Büyük eylem modelleri (LAM'ler): Yazılım arayüzlerinde eylem çıktısı vermek üzere özel olarak eğitilmiş modeller. Pek çok CUA, bilgisayar kullanımının yanı sıra başka görevlerde de eğitilmiş genel çok modlu modellerle çalışır.

Uygulamalar ve Riskler#

CUA'lar eski sistemlere veri girişini otomatikleştirir, belgelerdeki bilgileri web formlarına doldurur, bir kullanıcının izleyeceği iş akışını takip eden grafik kullanıcı arayüzü testleri çalıştırır ve API'si olmayan sitelerden bilgi toplar. Ekrandaki her şey modele girdi oluşturduğundan, bir web sayfası, e-posta veya belge ajana başka bir şey yapmasını söyleyen bir istem enjeksiyonu içerebilir. Sağlayıcılar CUA'ları sınırlı ayrıcalıklara sahip özel bir sanal makine gibi bir ajan korumalı alanında çalıştırmayı, hassas veriler içeren oturum açılmış hesaplardan uzak tutmayı ve satın alma, mesaj gönderme gibi önemli eylemlerde onay istemeyi önerir. Operator da bir site giriş bilgileri, ödeme bilgileri veya CAPTCHA istediğinde denetimi kullanıcıya geri verdi.