YOLO'yu lisansla
Ultralytics Sözlüğüne dön

AI Red Teaming

Yapay zeka kırmızı takım testleri; jailbreak girişimlerini, veri sızıntılarını, zararlı çıktıları ve sağlamlık sorunlarını bulmak için yapay zeka sistemlerine benzetilmiş saldırganlarla ve kötüye kullanım senaryolarıyla saldırır.

AI kırmızı ekip çalışması; insanların ve otomatik araçların saldırgan ya da kötüye kullanan kişiler rolünü üstlenerek bir yapay zekâ (AI) sisteminin yayımlanmadan önce nasıl başarısız olabileceğini, veri sızdırabileceğini veya zarara yol açabileceğini araştırdığı yapılandırılmış bir hasmane test sürecidir. Adı, kırmızı ekibin bir kuruluşun savunmalarına saldırdığı askerî tatbikatlardan ve siber güvenlikten gelir. AI kırmızı ekipleri hem modelin davranışını hem de çevresindeki yazılımı test eder: Bir büyük dil modelinin (LLM) tehlikeli talimatlar vermeye ikna edilip edilemeyeceğini, bir AI aracısının araçlarını kötüye kullanacak şekilde yönlendirilip yönlendirilemeyeceğini veya bir bilgisayarlı görü modelinin bir çıkartmayla kandırılıp kandırılamayacağını inceler. AB Yapay Zekâ Yasası uyarınca, sistemik risk taşıyan genel amaçlı AI modellerinin sağlayıcıları, modellerinde hasmane testler yapmak ve bunları belgelemek zorundadır.

AI Kırmızı Ekibi Nasıl Çalışır?#

Bir çalışma; sistemi kimin saldırı veya kötüye kullanım amacıyla hedefleyebileceğini, saldırganların ne elde edebileceğini ve uygulama açısından hangi zararların en önemli olduğunu belirleyen bir tehdit modeliyle başlar. Test uzmanları daha sonra saldırılar üretir, bunları hedefe karşı yürütür ve yanıtları puanlar. Başarılı her saldırı, ek ince ayar, yeni AI koruma önlemleri veya daha sıkı araç izinleri gibi bir azaltma önlemini şekillendiren bir bulguya dönüşür. Ardından azaltma uygulanmış sistem yeniden saldırıya uğratılır.

İnsan kırmızı ekip üyeleri yaratıcılık ve alan uzmanlığı sunar. Anthropic araştırmacıları, 2,7 ila 52 milyar parametreli modellere karşı kitle çalışanlarının yazdığı 38.961 kırmızı ekip saldırısından oluşan bir veri kümesi yayımladı. İnsan geri bildiriminden pekiştirmeli öğrenmeyle (RLHF) eğitilmiş modellerin ölçekleri büyüdükçe kırmızı ekip testlerine karşı daha dirençli hâle geldiğini, test ettikleri diğer model türlerinde ise bunun görülmediğini buldular. Otomasyon, arama alanını genişletir: DeepMind araştırmacıları, bir dil modelini diğerine test senaryoları ürettirmek için kullandı ve 280 milyar parametreli bir sohbet robotundan on binlerce saldırgan yanıt çıkardı. Microsoft'un PyRIT ve NVIDIA'nın garak araçları gibi açık kaynaklı araçlar, tek turlu ve çok turlu saldırıları betiklerle çalıştırıp yanıtları puanlar. MITRE ATLAS bilgi tabanı ise ATT&CK çerçevesine benzer biçimde AI sistemlerine yönelik düşman taktiklerini kataloglar.

Kırmızı Ekipler Neleri Arar?#

  • Jailbreak saldırıları: Bir modelin güvenlik eğitimi gereği reddetmesi gereken içerikleri üretmesini sağlayan istemler, rol yapma senaryoları veya uzun konuşmalar.
  • İstem enjeksiyonu: LLM tabanlı bir uygulamayı veya aracıyı ele geçiren; belgelere, web sayfalarına, e-postalara ya da görüntülere gizlenmiş talimatlar.
  • Gizlilik sızıntıları: Ezberlenmiş kişisel verilerin veya gizli sistem isteminin çıkarılması ya da belirli bir kaydın eğitim kümesinde bulunduğunun gösterilmesi.
  • Zararlı önyargı: İnsanları kalıplara sokan veya gruplara farklı davranan çıktılar.
  • Halüsinasyonlar: Hukuk veya tıp soruları gibi, kullanıcıların yanıta göre harekete geçtiği durumlarda kendinden emin biçimde sunulan yanlış ifadeler.
  • Tehlikeli yetenekler: Yeni nesil bir model yayımlanmadan önce alan uzmanlarınca sınanan, siber saldırılar veya biyolojik silahlar konusunda kayda değer yardım sağlama becerisi.

Görsel Modellerde Kırmızı Ekip Çalışması#

Görsel kırmızı ekipler, bir kişiyi dedektörden gizleyen basılı yamalar gibi fiziksel hasmane saldırıları; eğitim verisinin hiç içermediği aydınlatma ve hava koşullarını; ayrıca veri zehirleme yoluyla yerleştirilen arka kapı tetikleyicilerini araştırır. Basit bir otomatik yaklaşım, görüntüye bir dizi dönüşüm uygular ve modelin algısını değiştirenleri işaretler. Aşağıdaki örnek, OpenCV görüntülerini doğrudan kabul eden tahmin modunda Ultralytics YOLO26 modeline benzetilmiş gece, sis, hareket bulanıklığı ve ters çevrilmiş kamera koşulları uygular; ardından sokak sahnesinde modelin hâlâ algıladığı kişileri sayar:

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

Bu çalıştırmada YOLO26 gece, sis ve ters çevrilmiş görüntüde dört kişinin tamamını bulmaya devam eder; ancak güçlü hareket bulanıklığı sayıyı 2'ye, düşük çözünürlük ise 3'e düşürür. Kişi sayısının başlangıç değerinin altına düştüğü her koşul bir bulguya dönüşür. Bu bulgular; eğitim sırasında ilgili koşulu taklit eden veri artırma, yeni eğitim görüntüleri veya modelin nerede dağıtılabileceğini açıklayan belgelenmiş bir sınırla ele alınır.

AI kırmızı ekip çalışması, sıklıkla karıştırıldığı birkaç uygulamayla örtüşür:

  • Sızma testi: Ağları ve yazılımları istismar edilebilir güvenlik açıkları açısından araştırır. AI kırmızı ekip çalışması, olasılıksal olan model davranışını da hedefler; bu nedenle bir istem ilk denemede başarısız olsa da tekrar denendiğinde başarılı olabilir.
  • Karşılaştırma testleri: Bir modeli sabit bir test kümesiyle puanlar. Kırmızı ekipler ise başarısızlıkları açık uçlu biçimde arar ve başarılı saldırıları çoğu zaman sonraki modeller için test kümelerine dönüştürür.
  • AI güvenliği: AI sistemlerinin zarara yol açmasını önlemeyi amaçlayan daha geniş bir alandır. Bu alan, güvenlik eğitimi, yorumlanabilirlik araştırmaları ve dağıtılmış sistemlerin izlenmesinin yanı sıra kırmızı ekip çalışmasından da yararlanır.

Microsoft'un AI Kırmızı Ekibi, 100'den fazla üretken AI ürününde yürüttüğü kırmızı ekip çalışmalarından çıkardığı dersleri sekiz maddede özetledi. Bu maddeler arasında “bir AI sistemini bozmak için gradyanları hesaplaman gerekmez” ifadesi de yer alıyordu: İstem mühendisliği gibi temel teknikler çoğu zaman, ticari AI sistemlerinin çoğunda bulunmayan tam model erişimi gerektiren gradyan tabanlı saldırılar kadar etkiliydi.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla