Agent Sandboxing

Ajanları sandbox ortamında çalıştırma, bir yapay zekâ ajanını, araçlarını veya oluşturduğu kodu kısıtlanmış bir yürütme ortamında çalıştırma uygulamasıdır. Sandbox, ajanın erişebileceği dosyaları, ağları, kimlik bilgilerini, süreçleri ve işlem kaynaklarını sınırlar. Ajan güvenli olmayan bir karar alırsa veya kötü amaçlı talimatları işlerse bu sınırlar, üretim sistemleri ve hassas veriler üzerindeki olası etkiyi azaltır.

Ajanları Sandbox Ortamında Çalıştırma Nasıl İşler?#

Bir ajan genellikle modeli araçlara, belleğe, API'lere ve yürütme döngülerine bağlayan bir ajan altyapısı üzerinden çalışır. Sandbox, bu yeteneklerin çevresine bir uygulama katmanı ekler. İşletim ortamı, modele “özel dosyalara erişme” gibi bir isteme uymasını söyleyip buna güvenmek yerine, bu erişimi teknik olarak engeller.

Uygulamada bir sandbox şu bileşenleri bir araya getirebilir:

• Görev tamamlandıktan sonra yok edilen geçici bir kapsayıcı veya sanal makine.
• Küçük bir yazılabilir çalışma alanına sahip salt okunur bir temel dosya sistemi.
• Yalnızca onaylanan alan adlarına veya dahili hizmetlere izin veren giden ağ kuralları.
• Geçerli kullanıcı ve görevle sınırlandırılmış, kısa ömürlü kimlik bilgileri.
• CPU, bellek, depolama, süreç ve yürütme süresi sınırları.
• Araç çağrılarını, dosya değişikliklerini, ağ isteklerini ve politika ihlallerini kapsayan denetim günlükleri.

Docker varsayılan seccomp profili gibi Linux denetimleri sistem çağrılarını kısıtlayabilirken, Docker kaynak kısıtlamaları kaynak tüketimini sınırlar. Küme ölçeğinde, Kubernetes NetworkPolicies bir ajan iş yükünün hangi hizmetlerle iletişim kurabileceğini denetleyebilir.

Ajanları Sandbox Ortamında Çalıştırmak Neden Önemlidir?#

Ajanlar fonksiyon çağrısı ve araç kullanımı yoluyla eylemler gerçekleştirebilir; bu nedenle hatalarının sonuçları, yanlış bir sohbet robotu yanıtından daha ağır olabilir. Bir kodlama ajanı kabuk komutları çalıştırabilirken bir operasyon ajanı kayıtları güncelleyebilir veya dağıtımları tetikleyebilir.

OWASP Yapay Zekâ Ajanı Güvenlik Rehberi, araçların kötüye kullanılması, ayrıcalık yükseltme, bellek zehirleme ve veri sızdırma gibi riskleri tanımlar. Sandbox kullanımı, özellikle bir ajan web sayfasında, belgede, görüntü meta verilerinde veya araç yanıtında gizlenmiş istem enjeksiyonuyla karşılaştığında bu riskleri sınırlamaya yardımcı olur. OWASP istem enjeksiyonunu önleme rehberi, yalnızca girdi filtrelemesi her kötü niyetli talimatı güvenilir biçimde belirleyemediği için katmanlı savunmalar önerir.

Sandbox kullanımı, aşırı özerklik sorununu da ele alır. Gereksiz araçlara, geniş kapsamlı kimlik bilgilerine ve sınırsız özerkliğe sahip bir ajan, model hatası veya manipüle edilmiş girdi sonrasında zarar verici eylemlerde bulunabilir. OWASP'ın aşırı özerklik rehberi, yalnızca model davranışına güvenmek yerine araç işlevselliğini, izinleri ve özerkliği en aza indirmeyi önerir.

Sandbox Kullanımı ve İlgili Denetimler#

Ajan sandbox'ları diğer güvenlik mekanizmalarını tamamlar, ancak onların yerini almaz:

• Yapay zekâ güvenlik bariyerleri: Güvenlik bariyerleri girdileri, çıktıları veya önerilen eylemleri inceler. Bir güvenlik bariyeri tehdidi gözden kaçırsa bile sandbox, ortam sınırlarını uygular.
• Erişim denetimi: Yetkilendirme, bir eyleme izin verilip verilmediğini belirler. Sandbox, yetkilendirme mantığı atlatılırsa kullanılabilecek kaynakları sınırlar. AWS kimlik ve erişim yönetimi en iyi uygulamaları, geçici kimlik bilgilerini ve en az ayrıcalık ilkesine dayalı izinleri vurgular.
• Kapsayıcılaştırma: Kapsayıcılar süreçleri paketler ve yalıtır; ancak varsayılan kapsayıcı ayarları mutlaka güçlü bir güvenlik sınırı oluşturmaz. Ultralytics Docker Hızlı Başlangıç Rehberi, tutarlı ve yalıtılmış bilgisayarlı görü ortamları sağlar; üretim sandbox'ları ise ek dosya sistemi, yetenek, ağ ve kaynak kısıtlamaları gerektirir.
• Test ortamları: Geliştirme amaçlı bir “sandbox”, bir sistemin üretim dışı kopyasıdır. Ajan sandbox'ı özellikle yürütmeyi kısıtlar ve hem geliştirme hem de üretim ortamlarında uygulanabilir.

Ultralytics Ajan Yetenekleri, kodlama ajanları için yeniden kullanılabilir talimatlar sağlar; ancak yetenekler bir yalıtım sınırı oluşturmaz. Bu yeteneklerin betikleri ve bağımlılıkları yine de gözden geçirilmeli ve uygun izinlerle çalıştırılmalıdır.

Gerçek Dünya Uygulamaları#

Kurumsal kodlama ajanları: Bir kodlama ajanı, geçici bir çalışma alanında bir depoyu inceleyebilir, dosyaları değiştirebilir ve testleri çalıştırabilir. Sandbox yalnızca atanmış depoyu bağlar, üretim kimlik bilgilerini engeller, giden trafiği onaylanmış paket kayıt depolarıyla sınırlar ve birleştirme veya dağıtım öncesinde insan onayı gerektirir. Bu sayede güvenliği ihlal edilmiş bir bağımlılık veya enjekte edilmiş bir talimat, dahili depolama alanını serbestçe tarayamaz veya kaynak kodu dışarı aktaramaz.

Görü destekli operasyon ajanları: Bir depo ajanı, Ultralytics YOLO26 ile kamera görüntülerini analiz edebilir, kapalı koridorları belirleyebilir ve bakım talepleri oluşturabilir. Ajanın sandbox'ı, gelen görüntülere salt okunur erişim ve yalnızca çıkarım ve talep yönetimi API'lerine ağ erişimi sağlayabilir. Ajan; sınırsız kamera yönetimi erişimi, çalışan kayıtları veya dağıtım kimlik bilgileri almamalıdır.

Algılama adımında belgelenmiş Ultralytics YOLO tahmin iş akışı kullanılabilir:

from pathlib import Path

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
output_path = Path("sandbox_result.jpg")

# Kısıtlanmış çalışma alanında görsel çıkarım yap
model = YOLO("yolo26n.pt")
results = model(source)

result = results[0]
result.save(filename=str(output_path))

Python kodu standart çıkarım işlemini gerçekleştirir; çevresindeki çalışma zamanı ise dosyaları, ağı, kimlik bilgilerini ve kaynakları kısıtlayarak sandbox'ı sağlar.

Uygulamaya Yönelik Tasarım Rehberi#

Erişimi varsayılan olarak kapalı tut ve her görevin gerektirdiği izinleri açıkça tanımla. Geçici çalışma alanları, kısa ömürlü kimlik bilgileri, salt okunur bağlamalar, giden ağ izin listeleri, zaman aşımları ve kaynak kotaları kullan. Geri alınamaz eylemler için onay iste ve yetkilendirme denetimlerini modelin dışında tut.

Engellenen işlemler de dâhil olmak üzere, sırları günlüklerde açığa çıkarmadan denenen her eylemi kaydet. Ekipler, ajan iş akışlarında görüntü uç noktası isteklerini, gecikmeyi, hataları ve sistem durumunu izlemek için Ultralytics Platform dağıtım izleme özelliğini kullanabilir. Son olarak, sistemin tamamını kötü amaçlı dosyalara, dolaylı istemlere, yinelenen araç çağrılarına ve kaynak tüketimini tüketmeye yönelik girişimlere karşı test et. NIST Yapay Zekâ Risk Yönetimi Çerçevesi Uygulama Kılavuzu, bu riskleri yönetmek, ölçmek ve sürekli olarak ele almak için daha geniş kapsamlı bir yapı sunar.