Adversarial Attacks

Karşıt saldırılar, makine öğrenimi (ML) modelinin yanlış çıktı vermesini sağlamak amacıyla girdisinin kasıtlı olarak manipüle edilmesidir; genellikle model yüksek güvenle yanlış sonuç verir. Bilgisayarlı görüde, karşıt örnek adı verilen manipüle edilmiş girdi, bir insanın fark edemeyeceği kadar küçük değişikliklerle özgün girdiden ayrılabilir; buna rağmen pandayı tanıyan bir sınıflandırıcı artık bir gibon raporlar. Araştırmacılar bu olguyu 2013 tarihli “Sinir Ağlarının İlgi Çekici Özellikleri” makalesinde derin sinir ağları için tanımladı; aynı zayıflık konuşma tanımada, kötü amaçlı yazılım tespitinde ve büyük dil modellerinde (LLMs) de görülür. Bir modelin kararı aracı frenleme, kapı kilidini açma veya bir işlemi onaylama gibi bir eylemi tetiklediğinde karşıt saldırılar özellikle önem kazanır.

Karşıt Örnekler Nasıl Çalışır#

Eğitilmiş bir modelin kayıp fonksiyonu, bir girdi için ne kadar hatalı olduğunu ölçer. Geri yayılım normalde bu kaybın ağırlıklara göre gradyanlarını hesaplar; saldırgan ise gradyanları girdi piksellerine göre hesaplar ve pikselleri kaybı artıran yönde değiştirir. Ian Goodfellow ve çalışma arkadaşları, 2014 tarihli "Karşıt Örnekleri Açıklamak ve Bunlardan Yararlanmak" başlıklı çalışmalarında, bunun nedeninin sinir ağlarının yüksek boyutlarda büyük ölçüde doğrusal davranışı olduğunu savundu: Her pikselin gri düzeyindeki çok küçük bir değişiklik, yüz binlerce piksel boyunca toplandığında çıktıda büyük bir değişime yol açar. Hızlı Gradyan İşareti Yöntemi (FGSM), girdi gradyanının işareti yönünde sabit büyüklükte bir adım atar ve 0,007'lik bir adım, %57,7'lik "panda" tahminini %99,3'lük "gibon" tahminine dönüştürdü. Yansıtmalı Gradyan İnişi (PGD), toplam değişikliği belirlenmiş bir bütçenin sınırları içinde tutarken daha küçük adımları yineler; bu da onu daha güçlü bir saldırı hâline getirir.

TorchVision ResNet-18 sınıflandırıcısına yönelik FGSM saldırısı tek bir geriye yayılım geçişi gerektirir:

import torch
import torch.nn.functional as F
from torchvision.io import decode_image
from torchvision.models import ResNet18_Weights, resnet18
from torchvision.transforms import v2

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
torch.hub.download_url_to_file("https://ultralytics.com/images/bus.jpg", "bus.jpg")

# Keep pixels in [0, 1] and normalize inside each forward pass, so the attack edits real pixel values
image = v2.Compose([v2.Resize(256), v2.CenterCrop(224), v2.ToDtype(torch.float32, scale=True)])(decode_image("bus.jpg"))
normalize = v2.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
x = image.unsqueeze(0).requires_grad_(True)
logits = model(normalize(x))

# FGSM: move every pixel by one intensity level (1/255) in the direction that increases the loss
F.cross_entropy(logits, logits.argmax(1)).backward()
x_adv = (x + x.grad.sign() / 255).clamp(0, 1)

for name, batch in [("clean", x), ("adversarial", x_adv)]:
    probs = model(normalize(batch)).softmax(1)
    print(f"{name}: {weights.meta['categories'][probs.argmax()]} ({probs.max():.2f})")

Temiz görüntü minibus (0.83), saldırıya uğrayan görüntü ise police van (0.94) olarak sınıflandırılır: Her pikseli 255 yoğunluk düzeyinden en fazla biri kadar değiştirmek, modelin yeni ve yanlış bir etikete, ilk etiketine olduğundan daha fazla güven duymasına yol açar.

Saldırı Türleri#

Saldırılar; saldırganın ne zaman harekete geçtiğine, model hakkında ne bildiğine ve ne elde etmek istediğine göre sınıflandırılır. Hedefsiz bir saldırı herhangi bir yanlış çıktı üretmeyi amaçlar; hedefli bir saldırı ise dur işaretini hız sınırı işareti gibi göstermek üzere belirli bir çıktı dayatır. Dijital saldırılar girdi verilerini doğrudan düzenlerken fiziksel saldırılar, bakış açısı, mesafe ve aydınlatma değişikliklerine dayanabilen çıkartma, yama veya basılı desenlerle gerçek nesneleri değiştirir. NIST'in karşıt makine öğrenmesi taksonomisi, saldırıları hedefledikleri ML yaşam döngüsü aşamasına göre gruplandırır:

Aktarım saldırıları işe yarar; çünkü bir modele karşı oluşturulan adversarial örnekler, çoğu zaman aynı görev için eğitilmiş diğer modelleri de yanıltır. Böylece saldırgan bir vekil model eğitebilir, bu modele beyaz kutu modunda saldırabilir ve sonucu inceleyemediği bir sisteme karşı kullanabilir.

Gerçek Dünyadaki Riskler#

• Otonom araçlar: "Derin Öğrenme Modellerine Karşı Sağlam Fiziksel Dünya Saldırıları" çalışmasında, gerçek bir dur levhasındaki siyah ve beyaz etiketler, laboratuvar görüntülerinin %100'ünde ve hareket halindeki bir araçtan çekilen video karelerinin %84,8'inde hedefli yanlış sınıflandırmaya yol açtı.
• Kişi algılama: Vücudun önünde tutulan, yaklaşık 40 cm kare boyutundaki basılı bir yama, optimize edildiği YOLOv2 kişi algılayıcısının doğruluğunu önemli ölçüde düşürdü. Bu tür yamalar, algılanan kişiler üzerine tetiklenen alarmları tehdit eder. Örneğin Ultralytics güvenlik alarm sistemi, YOLO26 bir karede belirli sayıda nesne algıladığında e-postayla uyarı gönderir; kişi algılamasını baskılayan bir yama uyarıyı da engeller.
• Yüz tanıma: Araştırmacılar, kullanıcıların yüz tanıma sisteminden kaçmasını veya belirli başka bir kişi olarak tanınmasını sağlayan adversarial desenlere sahip gözlük çerçeveleri bastı.
• Dil modelleri: Bir isteğin sonuna eklenen token dizileri olan otomatik optimize edilmiş adversarial son ekler, hizalanmış sohbet botlarının zararlı isteklere uymasını sağladı; açık modeller üzerinde optimize edilen son ekler de ticari modellere aktarıldı. LLM'lere yönelik elle yazılan saldırılar daha çok jailbreaking ve prompt injection olarak bilinir.

Adversarial Saldırılar ve İlgili Terimler#

• Veri zehirleme: Eğitilmiş modelin hatalı davranması için eğitim verilerini bozar; bu davranış çoğu zaman yalnızca gizli bir tetikleyici içeren girdilerde görülür. Dar anlamıyla adversarial örnekler modele dokunmaz, çıkarım sırasında girdileri manipüle eder.
• Üyelik çıkarımı saldırıları: Yanlış bir çıktı oluşturmaktan ziyade, bir kaydın eğitim kümesinde bulunup bulunmadığı gibi bilgileri çıkarmayı amaçlar.
• Üretici çekişmeli ağlar (GANs): "Çekişmeli" sözcüğünü, iki ağın birbirine karşı eğitildiği ve saldırgan içermeyen bir eğitim yöntemi anlamında kullanır.
• Yapay zekâ kırmızı takım testi: Yayına almadan önce kişinin kendi sistemine saldırması uygulamasıdır ve diğer tekniklerin yanı sıra adversarial saldırıları da kullanır.

Savunmalar#

"Adversarial Saldırılara Dayanıklı Derin Öğrenme Modellerine Doğru" çalışmasında PGD ile biçimsel hale getirilen adversarial eğitim, eğitim sırasında saldırılar üretir ve modeli bunları doğru sınıflandıracak şekilde uyarlar. En güvenilir ampirik savunma olmayı sürdürse de normal eğitime kıyasla birkaç kat fazla hesaplama gerektirir ve temiz girdilerdeki doğruluğu düşürür. Rastgele yumuşatma gibi sertifikalı savunmalar, yalnızca küçük yarıçaplar için olsa da belirli bir yarıçap içindeki hiçbir pertürbasyonun tahmini değiştiremeyeceğini kanıtlar. Girdileri ön işleyen veya gradyanları gizleyen savunmaların başarısı düşüktür: "Gizlenmiş Gradyanlar Yanlış Bir Güvenlik Hissi Veriyor", ICLR 2018'de yayımlanan dokuz savunmayı inceledi, yedisinin gizlenmiş gradyanlara dayandığını buldu ve bunlardan altısını tamamen, birini de kısmen etkisiz hale getirdi.