Computer Use Agents (CUAs)

Bilgisayar Kullanım Ajanları (CUA), yapay zeka sistemlerinin dijital ortamlarla etkileşim biçiminde büyük bir sıçramayı temsil eder. Yalnızca arka uç API'lerine veya metin tabanlı komut istemlerine güvenen geleneksel AI Agents'ların aksine, bir CUA, bir grafik kullanıcı arayüzüyle (GUI) tam olarak bir insanın yapacağı gibi etkileşime girecek şekilde tasarlanmıştır. Ekranı gözlemleyerek, bir imleci hareket ettirerek, öğelere tıklayarak ve sanal bir klavyede yazarak CUA'lar, soyut Generative AI yetenekleri ile pratik, günlük yazılım işlemleri arasındaki boşluğu doldurur.

Bu evrim genellikle Artificial General Intelligence (AGI) yönünde bir adım olarak görülür; çünkü yapay zekanın özgün görsel ortamları sorunsuzca algılayıp bunlarda gezinmesini gerektirerek, Moravec's Paradox olarak da adlandırılan makine zekasının tarihi sınırlamalarına meydan okur.

Görsel Arayüzlere Geçiş#

Tarihsel olarak, farklı yazılım uygulamalarında görevleri otomatikleştirmek, doğrudan entegrasyonlar veya katı DOM-based parsing gerektiriyordu. Bununla birlikte, en son CUA nesli, ekrandaki pikselleri yorumlamak için gelişmiş Vision-Language Models (VLM) ve sofistike Computer Vision (CV) tekniklerini kullanır.

2024'ün sonları ile 2025'in başları arasındaki önemli gelişmeler CUA benimsenmesini hızlandırdı. Örneğin, Anthropic's Claude Computer Use, modellerin bir masaüstüne bakması ve uygulamalarda tıklama yapması için genelleştirilmiş bir API sundu. Benzer şekilde, OpenAI's Operator, uçsuz bucaksız webte gezinme görevlerini yürütme yeteneğine sahip bir araştırma önizlemesi olarak piyasaya çıktı. Bu sistemler artık karmaşık, çok adımlı dijital iş akışlarını tamamlama yeteneklerini ölçmek için WebArena ve OSWorld gibi titiz kıyaslamalarda rutin olarak değerlendirilmektedir.

Bu ajanların bir sistem üzerinde doğrudan kontrolü olduğundan, geliştiricilerin istenmeyen eylemler veya kötü amaçlı Prompt Injection gibi riskleri azaltmak için bunları korumalı Virtual Machines içinde çalıştırmaları şiddetle tavsiye edilir.

Gerçek Dünya Uygulamaları#

CUA'lar, izole edilmiş yazılım ekosistemlerinde karmaşık ve çok adımlı görevleri yürüterek endüstrileri hızla dönüştürüyor.

• Otonom Kalite Güvencesi (QA): GUI automation testing alanında CUA'lar, kırılgan test betikleri olmadan web uygulamalarında görsel olarak gezinebilir, kullanıcı iş akışlarına tıklayabilir ve düzen öğelerini doğrulayabilir. Bir düğme renk değiştirirse veya hareket ederse, ajan doğal olarak uyum sağlar.
• Eski Robotik Süreç Otomasyonu: Modern API'lerden yoksun eski masaüstü uygulamaları için CUA'lar Robotic Process Automation (RPA) sistemlerine güç katar. Ajan eski bir CRM'i açabilir, yapılandırılmamış faturaları okuyabilir ve çıkarılan verileri manuel olarak sisteme yazarak kurumsal veri girişini kolaylaştırabilir.

CUA'lar İçin Algı Oluşturma#

Büyük VLM'ler tüm ekran görüntülerini analiz edebilse de, bunları yerelleştirilmiş object detection modelleriyle eşleştirmek genellikle daha verimli ve doğrudur. Bu modeller düğmeler, simgeler ve metin alanları gibi UI elements öğelerini gerçek zamanlı olarak haritalandırarak ajanın tıklaması için kesin koordinatlar sağlar.

Geliştiriciler, bir CUA için son derece duyarlı algılama katmanları oluşturmak amacıyla PyTorch çerçevesini Ultralytics YOLO26 modeliyle birlikte kullanabilir. Özel GUI veri kümeleri üzerinde model training için Ultralytics Platform kullanılabilir. Aşağıdaki Python kod parçacığı, bir CUA'nın ekranda bir düğme bulmak için ultralytics paketinin predict mode özelliğini nasıl kullanabileceğini göstermektedir:

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

CUA'lar ve İlgili Kavramlar#

Bilgisayar Kullanım Ajanlarının daha geniş yapay zeka ekosistemine nasıl uyduğunu anlamak, doğru action chunking stratejilerini uygulamak için esastır:

• vs. Auto-GPT: Auto-GPT öncelikle görevler arasında döngü yapmak için metin üretimine ve önceden tanımlanmış betiklere güvenen otonom bir ajan iken, bir CUA doğası gereği görsel arayüzler ve işletim sistemleriyle doğrudan etkileşime girer.
• vs. Fonksiyon Çağırma (Araç Kullanımı): Function Calling (Tool Use), bir yapay zekanın belirli, önceden tanımlanmış bir arka uç kod fonksiyonunu (hava durumu API'si almak gibi) yürütmesine izin verir. Buna karşın CUA'lar ön uç UI eylemlerini yürüterek dijital ortamı tam olarak bir son kullanıcının yapacağı gibi manipüle eder.