AI Red Teaming
Yapay zeka kırmızı takım testleri; jailbreak girişimlerini, veri sızıntılarını, zararlı çıktıları ve sağlamlık sorunlarını bulmak için yapay zeka sistemlerine benzetilmiş saldırganlarla ve kötüye kullanım senaryolarıyla saldırır.
AI kırmızı ekip çalışması; insanların ve otomatik araçların saldırgan ya da kötüye kullanan kişiler rolünü üstlenerek bir yapay zekâ (AI) sisteminin yayımlanmadan önce nasıl başarısız olabileceğini, veri sızdırabileceğini veya zarara yol açabileceğini araştırdığı yapılandırılmış bir hasmane test sürecidir. Adı, kırmızı ekibin bir kuruluşun savunmalarına saldırdığı askerî tatbikatlardan ve siber güvenlikten gelir. AI kırmızı ekipleri hem modelin davranışını hem de çevresindeki yazılımı test eder: Bir büyük dil modelinin (LLM) tehlikeli talimatlar vermeye ikna edilip edilemeyeceğini, bir AI aracısının araçlarını kötüye kullanacak şekilde yönlendirilip yönlendirilemeyeceğini veya bir bilgisayarlı görü modelinin bir çıkartmayla kandırılıp kandırılamayacağını inceler. AB Yapay Zekâ Yasası uyarınca, sistemik risk taşıyan genel amaçlı AI modellerinin sağlayıcıları, modellerinde hasmane testler yapmak ve bunları belgelemek zorundadır.
AI Kırmızı Ekibi Nasıl Çalışır?#
Bir çalışma; sistemi kimin saldırı veya kötüye kullanım amacıyla hedefleyebileceğini, saldırganların ne elde edebileceğini ve uygulama açısından hangi zararların en önemli olduğunu belirleyen bir tehdit modeliyle başlar. Test uzmanları daha sonra saldırılar üretir, bunları hedefe karşı yürütür ve yanıtları puanlar. Başarılı her saldırı, ek ince ayar, yeni AI koruma önlemleri veya daha sıkı araç izinleri gibi bir azaltma önlemini şekillendiren bir bulguya dönüşür. Ardından azaltma uygulanmış sistem yeniden saldırıya uğratılır.
İnsan kırmızı ekip üyeleri yaratıcılık ve alan uzmanlığı sunar. Anthropic araştırmacıları, 2,7 ila 52 milyar parametreli modellere karşı kitle çalışanlarının yazdığı 38.961 kırmızı ekip saldırısından oluşan bir veri kümesi yayımladı. İnsan geri bildiriminden pekiştirmeli öğrenmeyle (RLHF) eğitilmiş modellerin ölçekleri büyüdükçe kırmızı ekip testlerine karşı daha dirençli hâle geldiğini, test ettikleri diğer model türlerinde ise bunun görülmediğini buldular. Otomasyon, arama alanını genişletir: DeepMind araştırmacıları, bir dil modelini diğerine test senaryoları ürettirmek için kullandı ve 280 milyar parametreli bir sohbet robotundan on binlerce saldırgan yanıt çıkardı. Microsoft'un PyRIT ve NVIDIA'nın garak araçları gibi açık kaynaklı araçlar, tek turlu ve çok turlu saldırıları betiklerle çalıştırıp yanıtları puanlar. MITRE ATLAS bilgi tabanı ise ATT&CK çerçevesine benzer biçimde AI sistemlerine yönelik düşman taktiklerini kataloglar.
Kırmızı Ekipler Neleri Arar?#
- Jailbreak saldırıları: Bir modelin güvenlik eğitimi gereği reddetmesi gereken içerikleri üretmesini sağlayan istemler, rol yapma senaryoları veya uzun konuşmalar.
- İstem enjeksiyonu: LLM tabanlı bir uygulamayı veya aracıyı ele geçiren; belgelere, web sayfalarına, e-postalara ya da görüntülere gizlenmiş talimatlar.
- Gizlilik sızıntıları: Ezberlenmiş kişisel verilerin veya gizli sistem isteminin çıkarılması ya da belirli bir kaydın eğitim kümesinde bulunduğunun gösterilmesi.
- Zararlı önyargı: İnsanları kalıplara sokan veya gruplara farklı davranan çıktılar.
- Halüsinasyonlar: Hukuk veya tıp soruları gibi, kullanıcıların yanıta göre harekete geçtiği durumlarda kendinden emin biçimde sunulan yanlış ifadeler.
- Tehlikeli yetenekler: Yeni nesil bir model yayımlanmadan önce alan uzmanlarınca sınanan, siber saldırılar veya biyolojik silahlar konusunda kayda değer yardım sağlama becerisi.
Görsel Modellerde Kırmızı Ekip Çalışması#
Görsel kırmızı ekipler, bir kişiyi dedektörden gizleyen basılı yamalar gibi fiziksel hasmane saldırıları; eğitim verisinin hiç içermediği aydınlatma ve hava koşullarını; ayrıca veri zehirleme yoluyla yerleştirilen arka kapı tetikleyicilerini araştırır. Basit bir otomatik yaklaşım, görüntüye bir dizi dönüşüm uygular ve modelin algısını değiştirenleri işaretler. Aşağıdaki örnek, OpenCV görüntülerini doğrudan kabul eden tahmin modunda Ultralytics YOLO26 modeline benzetilmiş gece, sis, hareket bulanıklığı ve ters çevrilmiş kamera koşulları uygular; ardından sokak sahnesinde modelin hâlâ algıladığı kişileri sayar:
import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS
model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))
# Each attack simulates a condition the detector may meet after deployment
attacks = {
"original": image,
"night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
"fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
"motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
"low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
"upside down": cv2.flip(image, -1),
}
# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
result = model(attacked, verbose=False)[0]
print(f"{name}: {int((result.boxes.cls == 0).sum())} people")Bu çalıştırmada YOLO26 gece, sis ve ters çevrilmiş görüntüde dört kişinin tamamını bulmaya devam eder; ancak güçlü hareket bulanıklığı sayıyı 2'ye, düşük çözünürlük ise 3'e düşürür. Kişi sayısının başlangıç değerinin altına düştüğü her koşul bir bulguya dönüşür. Bu bulgular; eğitim sırasında ilgili koşulu taklit eden veri artırma, yeni eğitim görüntüleri veya modelin nerede dağıtılabileceğini açıklayan belgelenmiş bir sınırla ele alınır.
Kırmızı Ekip Çalışması ve İlişkili Uygulamalar#
AI kırmızı ekip çalışması, sıklıkla karıştırıldığı birkaç uygulamayla örtüşür:
- Sızma testi: Ağları ve yazılımları istismar edilebilir güvenlik açıkları açısından araştırır. AI kırmızı ekip çalışması, olasılıksal olan model davranışını da hedefler; bu nedenle bir istem ilk denemede başarısız olsa da tekrar denendiğinde başarılı olabilir.
- Karşılaştırma testleri: Bir modeli sabit bir test kümesiyle puanlar. Kırmızı ekipler ise başarısızlıkları açık uçlu biçimde arar ve başarılı saldırıları çoğu zaman sonraki modeller için test kümelerine dönüştürür.
- AI güvenliği: AI sistemlerinin zarara yol açmasını önlemeyi amaçlayan daha geniş bir alandır. Bu alan, güvenlik eğitimi, yorumlanabilirlik araştırmaları ve dağıtılmış sistemlerin izlenmesinin yanı sıra kırmızı ekip çalışmasından da yararlanır.
Microsoft'un AI Kırmızı Ekibi, 100'den fazla üretken AI ürününde yürüttüğü kırmızı ekip çalışmalarından çıkardığı dersleri sekiz maddede özetledi. Bu maddeler arasında “bir AI sistemini bozmak için gradyanları hesaplaman gerekmez” ifadesi de yer alıyordu: İstem mühendisliği gibi temel teknikler çoğu zaman, ticari AI sistemlerinin çoğunda bulunmayan tam model erişimi gerektiren gradyan tabanlı saldırılar kadar etkiliydi.










