Çekişmeli Saldırılar

Muhalif saldırılar, kandırmak için kullanılan sofistike bir tekniktir makine öğrenimi modellerini ince bir şekilde tanıtarak, Giriş verilerinde kasıtlı olarak tasarlanmış pertürbasyonlar. Bu değişiklikler, genellikle insan gözüyle fark edilemez, içindeki matematiksel işlemleri manipüle etmek sinir ağını oluşturarak yüksek güvenirlikli ancak yanlış tahminler. As yapay zeka olur kritik sistemlere giderek daha fazla entegre edildiğinden, bu güvenlik açıklarının anlaşılması model dağıtımı güvenli ve güvenilir kalır.

Mekanizmalar ve Teknikler

Düşmanca bir saldırının temel prensibi, bir modelin karar sınırındaki "kör noktaları" tespit etmektir. Derin öğrenmede modeller verileri şu şekilde classify öğrenir Hatayı en aza indirmek için model ağırlıklarını optimize etmek. Saldırganlar Bir girdiyi bir sınıflandırma eşiğinin ötesine itmek için gereken kesin değişiklikleri hesaplayarak bundan yararlanır. İçin tarafından tanıtılan Hızlı Gradyan İşaret Yöntemi (FGSM) örnek olarak verilebilir. Ian Goodfellow'un da aralarında bulunduğu araştırmacılar, girdi piksel değerlerini kayıp fonksiyonunu maksimize edecek yönde ayarlıyor, hızla düşmanca bir örnek oluşturuyor.

Saldırılar genellikle saldırganın elindeki bilgi düzeyine göre kategorize edilir:

• Beyaz Kutu Saldırıları: Saldırganın modelin mimarisine ve parametrelerine tam erişimi vardır. Bu belirli katmanları kandırmak için hassas hesaplamalara izin verir, genellikle algoritmik önyargı.
• Kara Kutu Saldırıları: Saldırganın dahili bilgisi yoktur ve modelle yalnızca girişler ve çıkışlar, standart bir çıkarım motoru. Bu saldırılar genellikle aktarılabilirlik; bir modeli kandıran bir örneğin başka bir modeli de kandırması muhtemeldir.

Gerçek Dünya Uygulamaları ve Riskler

Düşmanca saldırıların sonuçları akademik araştırmaların çok ötesine uzanmakta ve güvenlik açısından kritik öneme sahip altyapı.

1. Otonom Sürüş: Bu alanda Otomotivde yapay zeka, görsel algılama sistemleri trafiği tanımlamak için nesne algılamaya güvenir işaretler. Araştırmacılar, bir dur işaretinin üzerine belirli çıkartmaların yerleştirilmesinin olarak yanlış sınıflandırmak için otonom araç hız sınırı işareti. Bu tür fiziksel düşmanca saldırılar, hız sınırı tabelalarında aşırı sağlamlık ihtiyacını vurgular. kamuya açık yollarda kullanılan bilgisayar görüş sistemleri.
2. Biyometrik Güvenlik: Birçok güvenli tesis ve cihaz erişim kontrolü için yüz tanıma. Muhalif gözlükler veya basılı desenler özellik çıkarma işlemi, bir Yetkisiz kullanıcının güvenliği aşması veya belirli bir kişiyi taklit etmesi.

Savunmalar ve Sağlamlık

Bu tehditlere karşı savunma, aşağıdakilerin önemli bir bileşenidir Yapay zeka güvenliği. Çerçeveler gibi MITRE ATLAS, geliştiricilere yardımcı olmak için düşman taktiklerine ilişkin bir bilgi tabanı sağlar sistemlerini güçlendirmek. Birincil savunma stratejisi, düşmanca örneklerin kullanıldığı Düşmanca Eğitimdir oluşturulur ve eğitim verilerine eklenir. Bu modeli küçük pertürbasyonları görmezden gelmeyi öğrenmeye zorlar.

Bir diğer etkili yöntem de veri artırımıdır. Tarafından Eğitim sırasında gürültü, farklı kırpma veya mozaik etkileri eklendiğinde, model daha iyi genelleşir ve daha az kırılgan. Bu NIST Yapay Zeka Risk Yönetimi Çerçevesi şunları vurgulamaktadır Güvenlik risklerini azaltmak için test ve doğrulama prosedürleri.

İlgili Kavramlardan Ayrım

Düşmanca saldırıları güvenlik alanındaki benzer terimlerden ayırmak önemlidir:

• Çekişmeli Saldırılar ve Veri Zehirlenmesi: Düşmanca saldırılar çıkarım sırasında girdileri manipüle ederken eğitimli bir modeli kandırmak için zaman, veri zehirlenmesi şunları içerir Eğitim başlamadan önce veri kümesini bozarak modelin temel bütünlüğünü tehlikeye atar.
• Adversarial Saldırılar ve Prompt Injection: Muhalif saldırılar genellikle sayısal veya görsel saldırıları hedef alır ayırt edici modellerde veri. Tam tersine, hızlı enjeksiyon aşağıdakilere özgüdür Büyük Dil Modelleri (LLM'ler), burada Kötü niyetli metin talimatları yapay zekanın programlamasını geçersiz kılar.

Model Sağlamlığının Güçlendirilmesi

Aşağıdaki Python parçacığı, eğitim sırasında ağır artırmanın nasıl uygulanacağını göstermektedir Ultralytics YOLO11. Bu saldırı oluşturmazken, MixUp ve Mosaic gibi tekniklerin kullanılması, modelin girdi değişikliklerine karşı sağlamlığını önemli ölçüde artırır ve potansiyel düşmanca gürültü.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Train with high augmentation to improve robustness against perturbations
# 'mixup' and 'mosaic' help the model generalize better to unseen inputs
model.train(
    data="coco8.yaml",
    epochs=50,
    mixup=0.2,  # Blends images together
    mosaic=1.0,  # Combines 4 images into 1
    fliplr=0.5,  # Randomly flips images horizontally
)