Data Poisoning
Veri zehirleme, arka kapılar yerleştirmek, hedefli hatalara yol açmak veya doğruluğu düşürmek için bir modelin eğitim verilerini bozar; çoğu zaman örneklerin çok küçük bir bölümü yeterlidir.
Veri zehirleme, bir saldırganın eğitim verilerini eklediği veya değiştirdiği ve böylece bir makine öğrenimi modelinin saldırganın istediği davranışı öğrenmesini sağladığı bir saldırıdır: genel doğruluğu düşürmek, seçilen girdilerde yanlış tahminler üretmek ya da tetikleyici bir örüntü ortaya çıktığında devreye giren gizli bir arka kapı oluşturmak. Saldırı eğitimden önce gerçekleşir; bu nedenle zehirlenmiş model kodunda hiçbir değişiklik yapılmadan dağıtılır ve çoğu zaman olağan testleri geçer. Web'den çekilen, kullanıcılar tarafından sağlanan veya üçüncü taraflardan satın alınan verilerle eğitilen modeller bu saldırılara açıktır; bu nedenle OWASP'nin LLM Uygulamaları için En Önemli 10 Listesi büyük dil modeli (LLM) uygulamalarına yönelik on risk arasında veri ve model zehirlenmesini de sayar.
Zehirleme Saldırısı Türleri#
Saldırılar, saldırganın amacına ve zehirlenmiş örneklerde etiketlerin yanlış olup olmadığına göre farklılık gösterir:
Erişilebilirlik saldırıları, modelin genel performansını düşürmek için gürültü ekler veya etiketleri değiştirir; bu da fark edilmelerini kolaylaştırır. Hedefli saldırılar ve arka kapı saldırıları daha gizlidir, çünkü model neredeyse her girdide normal davranır. 2017'deki BadNets saldırısında bir trafik levhası sınıflandırıcısı küçük bir çıkartma taşıyan dur levhalarını hız sınırı levhaları olarak sınıflandırmayı öğrendi. Ali Shafahi ve çalışma arkadaşlarının Poison Frogs saldırısı gibi temiz etiketli saldırılar, tüm etiketleri doğru bırakır; bunun yerine görüntüleri öyle incelikli biçimde değiştirirler ki veri kümesini inceleyen bir insan hiçbir sorun fark etmez.
Az Sayıda Örnekle Arka Kapı#
Aşağıdaki saldırı, scikit-learn'ün el yazısı rakamlar veri kümesini zehirler. Sıfır olmayan bir rakamın zehirlenmiş her kopyasında sol kenarda üç piksellik bir işaret ve 0 etiketi bulunur. Bir destek vektör makinesi (SVM), 1.257 temiz eğitim görüntüsüne bu kopyalardan 0, 10, 20 ve 40 tane eklenerek eğitilir:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")Temiz doğruluk her çalıştırmada 0,991 düzeyinde kalır; bu nedenle temiz bir doğrulama kümesi saldırıya dair hiçbir belirti göstermez. Buna karşın saldırı başarı oranı, zehirlenmiş 10 görüntüyle %0'dan %71'e, eğitim kümesinin %1,6'sı olan 20 görüntüyle %97'ye, 40 görüntüyle de %100'e yükselir.
Web Ölçeğinde Zehirleme#
Büyük veri kümeleri zehirleme maliyetini düşürür. Nicholas Carlini ve çalışma arkadaşları, web ölçeğindeki eğitim veri kümelerini zehirlemenin uygulanabilir olduğunu gösterdi: LAION-400M gibi veri kümeleri görüntülerin kendisi yerine URL'lerini dağıtır. Bu URL'lerin yönlendirdiği süresi dolmuş alan adlarını satın almak, saldırganın LAION-400M veya COYO-700M'nin %0,01'ini yaklaşık 60 dolara denetlemesini sağlayabilirdi. Bir diğer saldırı türü olan önden kapma ise, zamanlanmış bir anlık görüntü bunları kaydetmeden hemen önce Wikipedia gibi kitle kaynaklı sayfaları düzenler.
LLM'leri zehirlemek için şaşırtıcı derecede az sayıda zehirlenmiş belge yeterlidir. Anthropic, Birleşik Krallık Yapay Zekâ Güvenlik Enstitüsü ve Alan Turing Enstitüsü tarafından yürütülen 2025 tarihli bir çalışmada, <SUDO> tetikleyicisini anlamsız metnin izlediği 250 belgenin, 600 milyon ile 13 milyar parametre arasındaki modellerde güvenilir biçimde arka kapı oluşturduğu gösterildi; tetikleyici, modellerin anlamsız metin üretmesine yol açtı. Modeller ve veri kümeleri büyüdükçe gereken belge sayısı neredeyse sabit kaldı. En büyük modelde 250 belge, eğitim belirteçlerinin yaklaşık %0,00016'sına karşılık geliyordu. Nightshade gibi yöntemlerle görüntüler için üretken yapay zekâ sistemleri de zehirlenebilir: Chicago Üniversitesi'nde geliştirilen Nightshade, Stable Diffusion SDXL'de 100'den az zehirlenmiş görüntüyle belirli bir istemi bozar. Sanatçılar, eserlerinin izinsiz kazınmasını önlemek için bu yöntemi kullanır.
Veri Zehirleme ve İlgili Saldırılar#
- Düşmanca saldırılar: Normal şekilde eğitilmiş bir modeli yanıltmak için çıkarım sırasında girdileri değiştirir. Zehirleme ise eğitim verileri üzerinden modelin kendisini değiştirir.
- Prompt enjeksiyonu: Bir LLM'nin yanıt verirken okuduğu metnin içine talimatlar gizler; bu da ağırlıklar yerine tek bir konuşmayı etkiler.
- Uyuyan ajanlar: Tetiklenene kadar zararlı davranışlarını gizleyen arka kapılı LLM'lerdir. Zehirleme, bunları oluşturmanın yollarından biridir ve Anthropic bu tür arka kapıların güvenlik eğitiminden sağ çıkabildiğini gösterdi.
- Üyelik çıkarımı saldırıları: Eğitilmiş bir modelden, eğitim kayıtlarıyla ilgili bilgileri çıkarır. Zehirleme ise bu kayıtlar üzerinden modele bilgi yazar.
Savunmalar#
Savunma, her örneğin nereden geldiğini ve incelendikten sonra değişip değişmediğini bilmeyi sağlayan veri kökeni ile başlar. Carlini ve çalışma arkadaşları, içerik düzenleme sonrasında değiştirilmişse doğrulamanın başarısız olması için her URL ile birlikte bir kriptografik karma değerinin dağıtılmasını öneriyor. Veri temizleme yinelenen ve şüpheli örnekleri kaldırır; eğitilmiş modelin dahili özellikleri üzerinde yapılan anomali tespiti de Brandon Tran, Jerry Li ve Aleksander Madry'nin spektral imzalar yönteminde olduğu gibi zehirlenmiş örnekleri ortaya çıkarabilir; bu yöntem arka kapı örneklerini öğrenilmiş temsillerde aykırı değerler olarak bulur. Diferansiyel gizlilik, herhangi bir örneğin modeli ne ölçüde değiştirebileceğini sınırlar ve böylece birkaç zehirlenmiş örneğin etkisini de sınırlar; federatif öğrenme sistemleri ise zehirlenmiş güncellemeler gönderen istemcilere karşı dayanıklı toplulaştırma kullanır.
Bilgisayarlı görü veri kümelerinde değişiklik takibi, eğitim çalıştırmaları arasındaki müdahaleleri yakalar. Ultralytics Platform değiştirilemez veri kümesi sürümlerini kaydeder; Compare Versions, önceki bir sürümden bu yana eklenen, kaldırılan veya değiştirilen görüntüleri ve eklenen ya da kaldırılan açıklamaları sayar, değişen her görüntüyü etiketleriyle birlikte önce ve sonra gösterir; böylece enjekte edilen bir görüntü veya değiştirilmiş bir etiket, sonraki YOLO26 eğitim çalıştırmasından önce görünür.










