Data Poisoning

تسمم البيانات هو تهديد سيبراني حيث يقوم المهاجمون عمداً بالتلاعب بـبيانات التدريب المستخدمة لبناء نماذج التعلم الآلي (ML). من خلال إفساد مجموعة البيانات قبل تدريب النموذج، يمكن للمهاجمين إدخال أبواب خلفية خفية، أو إحداث تحيزات، أو تقليل الأداء العام للنموذج. على عكس الهجمات الأمنية الأخرى التي تستهدف كود النظام، تستهدف هجمات تسمم البيانات عملية التعلم نفسها، مما يجعل اكتشافها صعباً للغاية بمجرد نشر النموذج في بيئات الإنتاج. وفقاً لـنظرة عامة على استخبارات التهديدات من IBM، تشكل هذه الهجمات مخاطر جسيمة على سلامة وموثوقية أنظمة الذكاء الاصطناعي.

آليات تسميم الذكاء الاصطناعي#

مع اعتماد المؤسسات بشكل متزايد على التعلم العميق (DL) ونماذج اللغات الكبيرة (LLMs)، فإنها غالباً ما تقوم بجمع كميات هائلة من البيانات غير التحقق منها من شبكة الإنترنت. تخلق هذه الممارسة فرصاً لحقن البيانات، حيث يقوم الخصوم بإدخال نقاط بيانات مزيفة أو خبيثة في المستودعات العامة. تكشف دراسات حديثة حول تسمم الذكاء الاصطناعي من عام 2025 عن حقيقة مقلقة: حتى بالنسبة للنماذج الضخمة التي تحتوي على مليارات المعلمات، يحتاج المهاجم فقط إلى التلاعب بعدد ضئيل وثابت تقريباً من العينات لختراق النظام.

يحدث تسمم نماذج اللغات الكبيرة (LLMs) عند حقن عبارات محفزة محددة في النصوص التي يستهلكها النموذج أثناء التدريب. بمجرد النشر، قد يعمل النموذج بشكل طبيعي حتى يقوم المستخدم بإدخال العبارة المحفزة، مما يتسبب في قيام النظام بتجاوز بروتوكولات الأمان أو إنتاج مخرجات سامة. تُظهر بحوث Anthropic لعام 2025 حول تسمم نماذج اللغات الكبيرة (LLMs) أن ما لا يقل عن 250 مستنداً مسموماً يمكن أن يخلق باباً خلفياً في نموذج يحتوي على 13 مليار معلمة.

التطبيقات والأمثلة الواقعية#

يمتد تسمم البيانات إلى ما هو أبعد من توليد النصوص ليؤثر بشكل كبير على نماذج رؤية الكمبيوتر (CV) أيضاً. إليك مثالان ملموسان لكيفية تجسد هذا التهديد في تطبيقات العالم الحقيقي:

• تعطيل نماذج الفن التوليدي: تمكن أدوات مثل مشروع Nightshade الفنانين الرقميين من تغيير بكسلات أعمالهم الفنية بمهارة قبل تحميلها عبر الإنترنت. عندما يقوم نموذج الذكاء الاصطناعي التوليدي بجمع هذه الصور للتدريب، تعمل البكسلات المعدلة كسم، مما يتسبب في قيام النموذج بتصنيف الموجهات بشكل خاطئ تماماً - مثل توليد صورة لقطة عند طلب صورة سيارة.
• إختراق المركبات ذاتية القيادة: في أنظمة اكتشاف الكائنات المستخدمة للسيارات ذاتية القيادة، قد يقوم المهاجم بتغيير صور علامات التوقف بمهارة في مجموعة بيانات تدريب مفتوحة المصدر. من خلال تطبيق ضوضاء بصرية محددة، تعلم بيانات التدريب المسمومة النموذج سوء تفسير علامات التوقف على أنها علامات لسرعة الحد الأقصى، مما يطرح مخاطر سلامة كارثية.

التمييز عن الهجمات العدائية#

على الرغم من ارتباطهما الوثيق، من المهم التمييز بين تسمم البيانات والهجمات العدائية. تحدث الهجمات العدائية أثناء الاستدلال - حيث يقوم المهاجم بالتلاعب ببيانات الإدخال (مثل وضع ملصق على علامة توقف حقيقية) لخداع نموذج مدرب بالفعل. على العكس من ذلك، يحدث تسمم البيانات أثناء التدريب، مما يغير بشكل أساسي المنطق الداخلي للنموذج من الألف إلى الياء. يتطلب التعامل مع كلاهما بروتوكولات قوية لـأمان الذكاء الاصطناعي.

تخفيف المخاطر في تطوير النماذج#

يتطلب الدفاع ضد هذه التهديدات مراقبة صارمة للنماذج واستخدام بيانات تحقق نقية وموثوقة للتحقق من سلامة النموذج. يمكن أن يساعد تقييم النموذج مقابل مجموعة بيانات متحقق منها الفرق على اكتشاف انخفاضات الأداء غير المتوقعة التي قد تشير إلى العبث. تؤكد أفضل الممارسات الموضحة بواسطة أبحاث الأمان الخاصة بـ OpenAI ومشروع أمان OWASP GenAI على مصدر البيانات الصارم واستخدام مجموعات البيانات المنسقة بدلاً من كشط الويب الخام.

عند بناء واختبار النماذج، يجب على الفرق الاستفادة من الأطر المعمول بها مثل PyTorch أو TensorFlow إلى جانب روتينات التحقق الشاملة. يمكنك بسهولة التحقق من صحة نموذج Ultralytics YOLO26 الخاص بك مقابل مجموعة بيانات نظيفة وموثوقة لضمان عدم المساس بالدقة.

from ultralytics import YOLO

# Load a custom-trained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a trusted dataset to detect performance drops
# Sudden decreases in precision/recall may indicate data poisoning
metrics = model.val(data="clean_validation_data.yaml")

print(f"mAP50-95: {metrics.box.map}")  # Review core metrics

بالنسبة لمشاريع رؤية الكمبيوتر واسعة النطاق، يعد تتبع هذه المقاييس عبر عمليات تدريب متعددة أمراً بالغ الأهمية. يمكن للمطورين استكشاف رؤى تقييم النماذج لفهم الأداء الأساسي، واستخدام منصة Ultralytics لتعليق البيانات، وتدريبها، وإدارتها بشكل آمن دون الاعتماد على مصادر خارجية غير موثوقة. يساعد الجمع بين التنظيم الآمن للبيانات وتقنيات زيادة البيانات المتحكم فيها على ضمان بقاء نماذجك دقيقة وقوية ضد التلاعب الخارجي.