Agent Evaluation

Ajan değerlendirmesi, bir AI ajanının bir veya daha fazla etkileşimde hedefleri güvenli, doğru ve verimli biçimde tamamlama yeteneğinin sistematik olarak test edilmesidir. Sıradan model değerlendirmesinden farklı olarak, temel model, talimatlar, bellek, araçlar, kontrol mantığı ve ortam dâhil tüm sistemi inceler. Bu nedenle yararlı bir değerlendirme, bir AI ajanının nihayetinde ne söylediğini veya neyi değiştirdiğini değil, bu sırada attığı adımları da kontrol eder.

Ajan Değerlendirmesi Nasıl Çalışır?#

Değerlendirme, destek talebini çözme, ürün görüntüsünü inceleme veya veri tabanı kaydını güncelleme gibi bir görevle başlar. Ajan, kontrollü bir test ortamında görevi yerine getirmeye çalışır ve mesajların, ara çıktıların, araç çağrılarının, bağımsız değişkenlerin, hataların ve durum değişikliklerinin kaydı olan bir iz veya yörünge oluşturur.

Ardından bir değerlendirici, girişimi tanımlanmış başarı ölçütleriyle karşılaştırır. Değerlendiriciler üç yaygın türe ayrılır: deterministik programlar, model tabanlı değerlendiriciler ve insan incelemeciler. Deterministik kontroller, bir kaydın oluşturulup oluşturulmadığı gibi doğrulanabilir sonuçlarda işe yarar. Model tabanlı değerlendiriciler ilgi düzeyi veya üslup gibi nitelikleri değerlendirebilir, ancak insan yargılarına göre kalibre edilmelidir.

Bir değerlendirme paketi normalde çok sayıda temsili görev içerir ve ajan davranışı çalıştırmalar arasında değişebildiğinden her görevi birkaç kez tekrarlayabilir. Çevredeki ajan altyapısı da değerlendirmeye dâhil edilmelidir: temel model değişmese bile araç açıklamalarını, bellek kurallarını veya yeniden deneme mantığını değiştirmek performansı etkileyebilir.

Ajan Değerlendirmesi Neleri Ölçer?#

Güvenilir bir paket, performansı tek bir puana indirgemek yerine birkaç boyutu bir araya getirir:

• Görev başarısı: Ortam gerekli son duruma ulaştı mı?
• Araç kullanımı kalitesi: Aracı doğru seçti mi, geçerli bağımsız değişkenler sağladı mı ve sonucu doğru yorumladı mı? Google'ın ajan değerlendirme metrikleri nihai yanıtlar, araç kullanımı, izlekler, halüsinasyonlar ve güvenlik için ayrı ölçümler içerir.
• Yörünge kalitesi: Eylemler konuyla ilgili, doğru sırada ve makul ölçüde verimli miydi? Güvenli olmayan veya gereksiz adımlarla ulaşılan doğru bir yanıt da başarısızlık sayılabilir.
• Güvenilirlik: Ajan tekrarlanan denemelerde, başka sözcüklerle ifade edilmiş isteklerde, zor vakalarda ve araç arızalarında ne sıklıkla başarılı oluyor?
• Güvenlik ve politika uyumu: İzinlere uyuyor, hassas verileri koruyor ve önemli sonuçlar doğurabilecek eylemlerden önce onay istiyor mu? OWASP ajan tabanlı AI tehdit kılavuzu, ekiplerin aşırı yetki ve güvenli olmayan araç etkileşimleri gibi riskleri belirlemesine yardımcı olur.
• Operasyonel performans: Üretimde gecikme, token kullanımı, araç çağrısı sayısı, hata oranı ve tamamlanan görev başına maliyet önemlidir.

İncelenmiş görevlerden, beklenen sonuçlardan ve uç durumlardan oluşan bir altın veri kümesi istikrarlı bir referans sağlar. Ancak bu veri kümesi, düşmanca örneklerle ve üretimden elde edilen başarısızlıklarla desteklenmelidir. NIST AI Kaynak Merkezi, test, değerlendirme, doğrulama, geçerleme ve sürekli ölçümü daha geniş AI risk yönetiminin bir parçası olarak ele alır.

Ajan Değerlendirmesi ve İlişkili Kavramlar#

Ajan değerlendirmesi, genellikle bir modelin sabit bir veri kümesindeki çıktılarının test edildiği model değerlendirmesinden daha kapsamlıdır. Ayrıca gözlemlenebilirlikten de farklıdır: gözlemlenebilirlik canlı bir sistemde ne olduğunu kaydederken, değerlendirme bu davranışın kabul edilebilir olup olmadığını belirlemek için ölçütler uygular.

Benzer şekilde, AI kırmızı takım testleri istismar edilebilir başarısızlıkları etkin biçimde ararken, rutin değerlendirme bilinen yetenekleri ve gerilemeleri düzenli olarak ölçer. Ajan tabanlı iş akışları, görevlerin nasıl gerçekleştirileceğini tanımlar; değerlendirme ise bu iş akışlarının güvenilir sonuçlar üretip üretmediğini test eder.

Bileşen testleri de değerini korur. Örneğin, bir ajan işlev çağırma ve araç kullanımı üzerinden görüden yararlanıyorsa geliştiriciler, karar verme döngüsünün tamamını değerlendirmeden önce görü modelini ayrıca doğrulamalıdır.

from ultralytics import YOLO

# Load the agent's visual perception model
model = YOLO("yolo26n.pt")

# Evaluate it against labeled reference data
metrics = model.val(data="coco8.yaml", split="val")

# Report a useful component-level detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Belgelenmiş bu Ultralytics YOLO doğrulama iş akışı, algılama bileşenini ölçer. Ajanın doğru görüntüyü seçip seçmediğini, algılamaları doğru yorumlayıp yorumlamadığını veya uygun bir eylemde bulunup bulunmadığını göstermez.

Gerçek Dünya Uygulamaları#

• Üretim görsel denetimi: Bir ajan ürün görüntüsünü alır, algılayıcıyı çağırır, kalite kurallarını kontrol eder ve belirsiz ürünleri insan incelemesine yönlendirir. Değerlendirme; kusur algılama doğruluğunu, doğru araç bağımsız değişkenlerini, üst kademeye yönlendirme davranışını ve reddedilen ürünlerin gerçekten denetim kuyruğuna eklenip eklenmediğini doğrulayabilir.

• Müşteri hizmetleri sesli ajanları: Bir sesli ajan arayan kişinin kimliğini doğrulayabilir, hesap bilgilerini getirebilir ve birden fazla tur boyunca isteği işleyebilir. Testler; görev tamamlamayı, konuşma kalitesini, yetkisiz eylemleri ve gecikmeyi ölçerken aksanları, kesintileri, belirsiz talimatları ve araç kesintilerini çeşitlendirmelidir. Google’ın ajan değerlendirme iş akışı, yalnızca nihai yanıtları değil, izlerin tamamını değerlendirmeyi açıklar.

Uygulanabilir Bir Değerlendirme Süreci Oluşturma#

Normal görevlerden, önemli uç durumlardan ve daha önce gözlemlenmiş başarısızlıklardan oluşan küçük bir kümeyle başla. Ajanı çalıştırmadan önce gözlemlenebilir geçme koşullarını tanımla; ardından belirleyici kontrolleri ölçüt tabanlı ve düzenli insan incelemeleriyle birleştir. İstemler, modeller, araçlar veya Ajan Becerileri değiştiğinde paketi yeniden çalıştır.

Dağıtımdan sonra çevrimdışı testleri örneklenmiş iz incelemesi ve model izlemeyle birleştir. Görü destekli ajanlar için Ultralytics Platform, ajanların çağırdığı algılama hizmetlerinin veri kümesi etiketlemesini, model eğitimini, dağıtımını ve izlenmesini destekler. Etkili değerlendirme süreklidir: üretimdeki başarısızlıklar yeni test örneklerine dönüşür ve her sistem değişikliği, yerleşik davranışları bozmadan iyileşme sağladığını göstermelidir.