Data Poisoning

تسميم البيانات هو تهديد للأمن السيبراني حيث يقوم فاعلون ضارون بالتلاعب عمداً بـ بيانات التدريب المستخدمة لبناء نماذج تعلم الآلة (ML). من خلال إفساد مجموعة البيانات قبل تدريب النموذج، يمكن للمهاجمين إدخال أبواب خلفية خفية، أو تحفيز التحيزات، أو خفض الأداء العام للنموذج. وعلى عكس استغلالات الأمان الأخرى التي تستهدف كود النظام، تستهدف هجمات تسميم البيانات عملية التعلم ذاتها، مما يجعل اكتشافها صعباً للغاية بمجرد نشر النموذج في بيئات الإنتاج. وفقاً لـ نظرة عامة على معلومات التهديدات من IBM، تشكل هذه الهجمات مخاطر جسيمة على سلامة وموثوقية أنظمة الذكاء الاصطناعي.

Link to this sectionآليات تسميم الذكاء الاصطناعي#

مع اعتماد المؤسسات بشكل متزايد على التعلم العميق (DL) و النماذج اللغوية الكبيرة (LLMs)، فإنها غالباً ما تقوم بجمع كميات هائلة من البيانات غير الموثقة من الإنترنت. تخلق هذه الممارسة فرصاً لحقن البيانات، حيث يقوم الخصوم بإدراج نقاط بيانات ملفقة أو ضارة في المستودعات العامة. تكشف دراسات حديثة حول تسميم الذكاء الاصطناعي من عام 2025 عن واقع مثير للقلق: حتى بالنسبة للنماذج الضخمة التي تحتوي على مليارات المعلمات، يحتاج المهاجم فقط إلى التلاعب بعدد ضئيل وثابت تقريباً من العينات لتعريض النظام للخطر.

يحدث تسميم النماذج اللغوية الكبيرة (LLMs) عندما يتم حقن عبارات تحفيزية محددة في النصوص التي يستهلكها النموذج أثناء التدريب. بمجرد النشر، قد يعمل النموذج بشكل طبيعي حتى يقوم المستخدم بإدخال العبارة التحفيزية، مما يتسبب في تجاوز النظام لبروتوكولات الأمان أو توليد مخرجات سامة. يوضح بحث Anthropic لعام 2025 حول تسميم LLM أن ما لا يقل عن 250 وثيقة مسمومة يمكن أن تنشئ باباً خلفياً في نموذج يحتوي على 13 مليار معلمة.

Link to this sectionالتطبيقات والأمثلة الواقعية#

يمتد تسميم البيانات إلى ما هو أبعد من توليد النصوص ويؤثر بشكل كبير على نماذج الرؤية الحاسوبية (CV) أيضاً. فيما يلي مثالان ملموسان لكيفية تجسد هذا التهديد في تطبيقات العالم الحقيقي:

• تعطيل نماذج الفن التوليدي: تُمكّن أدوات مثل مشروع Nightshade الفنانين الرقميين من تغيير بكسلات أعمالهم الفنية بدقة قبل تحميلها عبر الإنترنت. عندما يقوم نموذج الذكاء الاصطناعي التوليدي بجمع هذه الصور للتدريب، تعمل البكسلات المعدلة كسم، مما يتسبب في تصنيف النموذج للمطالبات بشكل خاطئ تماماً—مثل توليد صورة قطة عند طلب سيارة.
• تعريض المركبات ذاتية القيادة للخطر: في أنظمة كشف الكائنات المستخدمة للسيارات ذاتية القيادة، قد يقوم المهاجم بتغيير صور علامات التوقف في مجموعة بيانات تدريب مفتوحة المصدر بدقة. من خلال تطبيق ضوضاء بصرية محددة، تعلم بيانات التدريب المسمومة النموذج تفسير علامات التوقف بشكل خاطئ على أنها علامات حدود سرعة، مما يشكل مخاطر سلامة كارثية.

Link to this sectionالتمييز عن الهجمات العدائية#

على الرغم من ارتباطها الوثيق، من المهم التمييز بين تسميم البيانات و الهجمات العدائية. تحدث الهجمات العدائية أثناء الاستدلال—حيث يقوم المهاجم بالتلاعب ببيانات الإدخال (مثل وضع ملصق على علامة توقف حقيقية) لخداع نموذج مدرب بالفعل. على العكس من ذلك، يحدث تسميم البيانات أثناء التدريب، مما يغير المنطق الداخلي للنموذج بشكل أساسي من الأساس. تتطلب معالجة كليهما بروتوكولات قوية لـ أمان الذكاء الاصطناعي.

Link to this sectionتخفيف المخاطر في تطوير النماذج#

يتطلب الدفاع ضد هذه التهديدات مراقبة صارمة للنماذج واستخدام بيانات تحقق أصلية وموثوقة لضمان سلامة النموذج. يمكن أن يساعد تقييم النموذج مقابل مجموعة بيانات تم التحقق منها الفرق على اكتشاف انخفاض غير متوقع في الأداء قد يشير إلى العبث. تؤكد أفضل الممارسات التي حددها بحث الأمان من OpenAI و مشروع أمان OWASP GenAI على مصدر البيانات الصارم واستخدام مجموعات بيانات منسقة بدلاً من جمع البيانات الخام من الويب.

عند بناء النماذج واختبارها، يجب على الفرق الاستفادة من أطر عمل ثابتة مثل PyTorch أو TensorFlow جنباً إلى جنب مع إجراءات التحقق الشاملة. يمكنك بسهولة التحقق من صحة نموذج Ultralytics YOLO26 الخاص بك مقابل مجموعة بيانات نظيفة وموثوقة لضمان عدم المساس بالدقة.

from ultralytics import YOLO

# Load a custom-trained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a trusted dataset to detect performance drops
# Sudden decreases in precision/recall may indicate data poisoning
metrics = model.val(data="clean_validation_data.yaml")

print(f"mAP50-95: {metrics.box.map}")  # Review core metrics

بالنسبة لمشاريع الرؤية الحاسوبية واسعة النطاق، يعد تتبع هذه المقاييس عبر عمليات تدريب متعددة أمراً ضرورياً. يمكن للمطورين استكشاف رؤى تقييم النماذج لفهم الأداء الأساسي، واستخدام منصة Ultralytics لتعليق وتدريب وإدارة البيانات بشكل آمن دون الاعتماد على مصادر خارجية غير موثقة. يساعد الجمع بين تنظيم البيانات الآمن وتقنيات تعزيز البيانات الخاضعة للرقابة في ضمان بقاء نماذجك دقيقة ومرنة ضد التلاعب الخارجي.