Data Poisoning
يفسد تسميم البيانات بيانات تدريب النموذج لزرع أبواب خلفية أو التسبب بأخطاء مستهدفة أو خفض الدقة، وغالبًا ما يكفي لذلك جزء ضئيل من الأمثلة.
تسميم البيانات هجوم يُدرج فيه خصم بيانات التدريب أو يغيّرها كي يتعلم نموذج التعلم الآلي سلوكًا يريده المهاجم: انخفاض الدقة عمومًا، أو تنبؤات خاطئة لمدخلات مختارة، أو بابًا خلفيًا خفيًا ينشط عند ظهور نمط محفّز. يقع الهجوم قبل التدريب، لذا يُشحن النموذج المسموم من دون أي تغيير في شيفرته، وغالبًا ما يجتاز الاختبارات المعتادة. وتتعرض لهذه المخاطر النماذج المدربة على بيانات جُمعت من الويب أو أسهم بها المستخدمون أو اشتُريت من جهات خارجية؛ ولهذا يدرج أهم 10 مخاطر من OWASP لتطبيقات LLM تسميم البيانات والنماذج ضمن مخاطره العشرة لتطبيقات نماذج اللغة الكبيرة (LLM).
أنواع هجمات التسميم#
تختلف الهجمات بحسب هدف المهاجم وما إذا كانت الأمثلة المسمومة تحمل تسميات خاطئة:
تضيف هجمات الإتاحة ضجيجًا أو تقلب التسميات لخفض أداء النموذج في كل الحالات، ما يجعل ملاحظتها سهلًا. أما الهجمات الموجّهة وهجمات الأبواب الخلفية فهي أكثر خفاءً، لأن النموذج يتصرف على نحو طبيعي مع كل المدخلات تقريبًا. في BadNets (2017)، تعلّم مصنف لإشارات المرور قراءة إشارات التوقف التي تحمل ملصقًا صغيرًا على أنها إشارات تحديد السرعة. وتُبقي هجمات التسميم ذات التسميات السليمة، مثل هجوم Poison Frogs الذي نفّذه علي شافعي وزملاؤه، كل التسميات صحيحة، وتغيّر الصور بدلًا من ذلك تغييرات طفيفة جدًا لا يلاحظها مراجع بشري لمجموعة البيانات.
باب خلفي في عدد قليل من الأمثلة#
يسمّم الهجوم أدناه مجموعة بيانات الأرقام المكتوبة يدويًا في scikit-learn. تحمل كل نسخة مسمومة من رقم غير صفري علامة من ثلاثة بكسلات على حافتها اليسرى والتسمية 0، ويُدرّب آلة متجهات الدعم (SVM) بإضافة 0 أو 10 أو 20 أو 40 نسخة منها إلى 1,257 صورة تدريب سليمة:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")تظل الدقة على البيانات السليمة عند 0.991 في كل تجربة، فلا تكشف مجموعة التحقق السليمة أي مؤشر إلى الهجوم، بينما يرتفع معدل نجاحه من 0% إلى 71% مع 10 صور مسمومة، وإلى 97% مع 20 صورة، أي 1.6% من مجموعة التدريب، وإلى 100% مع 40 صورة.
التسميم على نطاق الويب#
تجعل مجموعات البيانات الكبيرة التسميم أقل كلفة. فقد أظهر نيكولاس كارليني وزملاؤه أن تسميم مجموعات بيانات التدريب على نطاق الويب أمر عملي: إذ توزّع مجموعات مثل LAION-400M عناوين URL للصور بدلًا من الصور نفسها، ولذلك كان شراء نطاقات منتهية الصلاحية تشير إليها هذه العناوين سيتيح للمهاجم التحكم في 0.01% من LAION-400M أو COYO-700M مقابل نحو $60. أما الهجوم الثاني، وهو الاستباق، فيعدّل صفحات يساهم فيها الجمهور مثل ويكيبيديا قبيل لقطة مجدولة مباشرةً.
لا تحتاج نماذج LLM إلى عدد كبير من المستندات المسمومة. ففي دراسة عام 2025 أجرتها Anthropic ومعهد أمن الذكاء الاصطناعي في المملكة المتحدة ومعهد آلان تورينغ، تسببت 250 وثيقة تحتوي على المحفّز <SUDO> متبوعًا بنص غير مفهوم في زرع باب خلفي موثوق في نماذج تتراوح معلماتها من 600 مليون إلى 13 مليارًا، بحيث يدفعها المحفّز إلى إخراج نص غير مفهوم. وظل عدد الوثائق المطلوبة شبه ثابت مع نمو النماذج ومجموعات بياناتها؛ وفي النموذج الأكبر، شكّلت الوثائق الـ250 نحو 0.00016% من رموز التدريب. وينجح التسميم أيضًا في الذكاء الاصطناعي التوليدي للصور: إذ يفسد Nightshade، من جامعة شيكاغو، موجّهًا محددًا في Stable Diffusion SDXL بأقل من 100 صورة مسمومة، ويستخدمه الفنانون لردع جمع أعمالهم دون إذن.
تسميم البيانات وهجمات ذات صلة#
- الهجمات التضليلية: تغيّر المدخلات وقت الاستدلال لخداع نموذج دُرّب بالطريقة المعتادة. أما التسميم فيغيّر النموذج نفسه من خلال بيانات تدريبه.
- حقن الموجّهات: يخفي تعليمات في النص الذي يقرؤه نموذج لغوي كبير (LLM) أثناء الإجابة، فيؤثر في محادثة واحدة بدلاً من الأوزان.
- الوكلاء النائمون: نماذج لغوية كبيرة (LLMs) مزروعة فيها أبواب خلفية تخفي سلوكاً ضاراً إلى أن يُفعّل. والتسميم إحدى طرق إنشائها، وقد أظهرت Anthropic أن هذه الأبواب الخلفية قد تصمد أمام تدريب السلامة.
- هجمات استدلال العضوية: تستخرج معلومات من نموذج مدرّب بشأن سجلات تدريبه. أما التسميم فيُدخل المعلومات إلى النموذج عبر تلك السجلات.
وسائل الدفاع#
تبدأ وسائل الدفاع بـمصدر البيانات: معرفة مصدر كل عينة وما إذا كانت قد تغيّرت بعد مراجعتها. ويوصي كارليني وزملاؤه بتوزيع تجزئة تشفيرية مع كل عنوان URL، بحيث يتعذر التحقق من المحتوى الذي استُبدل بعد التنسيق. وتزيل تنقية البيانات التكرارات والعينات المشبوهة، ويمكن أن يكشف اكتشاف الشذوذ في السمات الداخلية لنموذج مدرّب عن عينات مسمومة، كما في طريقة التواقيع الطيفية التي وضعها براندون تران وجيري لي وألكسندر مدري، وتكشف أمثلة الأبواب الخلفية بوصفها قيماً شاذة في التمثيلات المتعلّمة. ويحدّ الخصوصية التفاضلية من مقدار تأثير أي عينة منفردة في النموذج، ما يحدّ أيضاً من أثر بضع عينات مسمومة، فيما تستخدم أنظمة التعلم الاتحادي تجميعاً متيناً لمواجهة العملاء الذين يرسلون تحديثات مسمومة.
في مجموعات بيانات الرؤية الحاسوبية، يكشف تتبّع التغييرات العبث بين جولات التدريب. تحفظ منصة Ultralytics إصدارات مجموعات البيانات غير القابلة للتغيير، وتحسب ميزة Compare Versions الصور المضافة أو المحذوفة أو المعدّلة والتعليقات التوضيحية المضافة أو المحذوفة منذ إصدار سابق، وتعرض كل صورة متغيّرة قبل التعديل وبعده مع تسمياتها، بحيث تظهر الصورة المحقونة أو التسمية المعكوسة قبل جولة التدريب التالية لـYOLO26.










