Data Poisoning

تسميم البيانات هو تهديد للأمن السيبراني يتعمد فيه جهات خبيثة التلاعب بـبيانات التدريب المستخدمة لبناء نماذج التعلم الآلي (ML). ومن خلال إفساد مجموعة البيانات قبل تدريب النموذج، يستطيع المهاجمون إدخال أبواب خلفية خفية، أو إحداث تحيزات، أو خفض الأداء الإجمالي للنموذج. وعلى خلاف عمليات الاستغلال الأمنية الأخرى التي تستهدف شيفرة النظام، تستهدف هجمات تسميم البيانات عملية التعلم نفسها، ما يجعل اكتشافها بالغ الصعوبة بعد نشر النموذج في بيئات الإنتاج. ووفقًا لـنظرة IBM العامة على معلومات التهديدات، تشكل هذه الهجمات مخاطر جسيمة على سلامة أنظمة الذكاء الاصطناعي وموثوقيتها.

آليات التسميم بالذكاء الاصطناعي#

مع تزايد اعتماد المؤسسات على التعلم العميق (DL) ونماذج اللغة الكبيرة (LLMs)، كثيرًا ما تجمع كميات هائلة من البيانات غير المتحقق منها من الإنترنت. وتتيح هذه الممارسة فرصًا لحقن البيانات، حيث يُدرج الخصوم نقاط بيانات ملفقة أو خبيثة في المستودعات العامة. وتكشف دراسات تسميم الذكاء الاصطناعي الحديثة المنشورة في 2025 عن واقع مقلق: فحتى في النماذج الضخمة ذات مليارات المعلمات، لا يحتاج المهاجم إلا إلى التلاعب بعدد ضئيل شبه ثابت من العينات لاختراق النظام.

يحدث تسميم LLM عندما تُحقن عبارات تحفيز محددة في النصوص التي يستهلكها النموذج أثناء التدريب. وبعد النشر، قد يعمل النموذج بصورة طبيعية إلى أن يُدخل المستخدم عبارة التحفيز، ما يدفع النظام إلى تجاوز بروتوكولات السلامة أو إنشاء مخرجات سامة. ويُظهر بحث Anthropic لعام 2025 حول تسميم LLM أن ما لا يزيد على 250 مستندًا مسممًا يمكن أن ينشئ بابًا خلفيًا في نموذج يضم 13 مليار معلمة.

تطبيقات وأمثلة من الواقع العملي#

لا يقتصر تأثير تسميم البيانات على توليد النصوص، بل يمتد أيضًا بقوة إلى نماذج الرؤية الحاسوبية (CV). وفيما يلي مثالان ملموسان على كيفية ظهور هذا التهديد في تطبيقات واقعية:

• تعطيل نماذج الفن التوليدي: تتيح أدوات مثل مشروع Nightshade للفنانين الرقميين تعديل بكسلات أعمالهم الفنية بمهارة قبل رفعها إلى الإنترنت. وعندما يجمع نموذج الذكاء الاصطناعي التوليدي هذه الصور للتدريب، تعمل البكسلات المعدّلة بمثابة سم، فتدفع النموذج إلى تصنيف المطالبات تصنيفًا خاطئًا بالكامل—مثل إنشاء صورة قطة عند طلب صورة سيارة.
• اختراق المركبات ذاتية القيادة: في أنظمة اكتشاف الأجسام المستخدمة في السيارات ذاتية القيادة، قد يعدّل مهاجم صور إشارات التوقف في مجموعة بيانات تدريب مفتوحة المصدر تعديلًا طفيفًا. ومن خلال إضافة تشويش بصري محدد، تجعل بيانات التدريب المسممة النموذج يسيء تفسير إشارات التوقف باعتبارها إشارات لتحديد السرعة، ما يشكل مخاطر كارثية على السلامة.

التمييز بينه وبين الهجمات الخصومية#

على الرغم من الارتباط الوثيق بينهما، من المهم التمييز بين تسميم البيانات والهجمات الخصومية. تحدث الهجمات الخصومية أثناء الاستدلال، إذ يتلاعب المهاجم ببيانات الإدخال (مثل وضع ملصق على إشارة توقف حقيقية) لخداع نموذج مدرّب مسبقًا. وعلى العكس، يحدث تسميم البيانات أثناء التدريب، ويغيّر المنطق الداخلي للنموذج من أساسه. وتتطلب معالجة النوعين بروتوكولات قوية لـسلامة الذكاء الاصطناعي.

الحد من المخاطر في تطوير النماذج#

يتطلب التصدي لهذه التهديدات مراقبة النماذج بدقة واستخدام بيانات التحقق السليمة والموثوقة للتحقق من سلامة النموذج. قد يساعد تقييم النموذج باستخدام مجموعة بيانات جرى التحقق منها الفرق على رصد تراجعات غير متوقعة في الأداء قد تشير إلى التلاعب. وتؤكد أفضل الممارسات التي تعرضها أبحاث السلامة لدى OpenAI ومشروع OWASP لأمن GenAI أهمية التتبع الصارم لمنشأ البيانات واستخدام مجموعات بيانات منتقاة بدلًا من كشط بيانات الويب الخام.

عند بناء النماذج واختبارها، ينبغي للفرق الاستفادة من أطر العمل المعتمدة مثل PyTorch أو TensorFlow، إلى جانب إجراءات تحقق شاملة. ويمكنك بسهولة التحقق من نموذج Ultralytics YOLO26 باستخدام مجموعة بيانات نظيفة وموثوقة للتأكد من عدم المساس بدقته.

from ultralytics import YOLO

# Load a custom-trained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a trusted dataset to detect performance drops
# Sudden decreases in precision/recall may indicate data poisoning
metrics = model.val(data="clean_validation_data.yaml")

print(f"mAP50-95: {metrics.box.map}")  # Review core metrics

من الضروري تتبع هذه المقاييس عبر عمليات تدريب متعددة في مشاريع الرؤية الحاسوبية واسعة النطاق. ويمكن للمطورين استكشاف رؤى تقييم النماذج لفهم الأداء الأساسي، والاستفادة من منصة Ultralytics لتعليق البيانات وتدريبها وإدارتها بأمان دون الاعتماد على مصادر خارجية غير موثقة. ويساعد الجمع بين تنسيق البيانات الآمن وتقنيات زيادة البيانات المنضبطة على ضمان بقاء النماذج دقيقة وقادرة على مقاومة التلاعب الخارجي.