الهجمات العدائية

الهجمات الخادعة هي تقنية تُستخدم لخداع نماذج التعلم الآلي من خلال تزويدها بمدخلات خبيثة مصممة عن قصد. يتم إنشاء هذه المدخلات، والمعروفة باسم الأمثلة الخادعة، عن طريق إجراء تعديلات خفية على البيانات الشرعية. غالبًا ما تكون التغييرات صغيرة جدًا لدرجة أنها غير محسوسة للعين البشرية ولكنها يمكن أن تتسبب في قيام الشبكة العصبية بتنبؤ خاطئ بثقة عالية. وتمثل هذه الثغرة مصدر قلق أمني كبير لأنظمة الذكاء الاصطناعي، لا سيما في تطبيقات الرؤية الحاسوبية الحرجة حيث تكون الموثوقية والدقة أمرًا بالغ الأهمية.

كيف تعمل الهجمات العدائية

تستغل الهجمات العدائية الطريقة التي تتعلم بها نماذج التعلم العميق وتتخذ القرارات. يتعلم النموذج التعرف على الأنماط من خلال تحديد "حدود القرار" التي تفصل بين فئات مختلفة من البيانات. ويتمثل هدف المهاجم في إيجاد الطريقة الأكثر فعالية لتغيير المدخلات بحيث تتجاوز هذه الحدود، مما يؤدي إلى تصنيف خاطئ. إن الاضطراب المضاف ليس ضجيجاً عشوائياً؛ بل هو إشارة محسوبة بعناية مصممة لاستغلال نقاط الضعف المحددة في النموذج. توفر الأبحاث التي تجريها مؤسسات مثل جامعة كارنيجي ميلون رؤى عميقة حول هذه الآليات.

أنواع الهجمات العدائية

يتم تصنيف الهجمات بشكل عام بناءً على معرفة المهاجم بالنموذج المستهدف.

• هجمات الصندوق الأبيض: يمتلك المهاجم معرفة كاملة ببنية النموذج ومعلماته وبيانات التدريب. يسمح هذا الوصول الكامل بإنشاء هجمات فعالة للغاية، مثل طريقة إشارة التدرج السريع (FGSM)، والتي تعتبر قوية لاختبار متانة النموذج.
• هجمات الصندوق الأسود: ليس لدى المهاجم أي معرفة داخلية بالنموذج ويمكنه فقط الاستعلام عنه من خلال توفير المدخلات ومراقبة مخرجاته. هذه الهجمات أكثر واقعية في سيناريوهات العالم الحقيقي. وغالبًا ما تعتمد على مبدأ قابلية النقل، حيث من المحتمل أن يخدع نموذج معادٍ تم إنشاؤه لخداع نموذج ما نموذجًا آخر، وهي ظاهرة استكشفها الباحثون في جوجل للذكاء الاصطناعي.

أمثلة من العالم الحقيقي

1. التصنيف الخاطئ في التعرف على الصور: مثال معروف يتضمن نموذج تصنيف الصور الذي يحدد بشكل صحيح صورة باندا. بعد إضافة طبقة غير محسوسة من الضوضاء غير المحسوسة، يُخطئ النموذج نفسه في تصنيف الصورة على أنها صورة غيبون بدرجة عالية من اليقين.
2. خداع الأنظمة ذاتية القيادة: لقد أثبت الباحثون بنجاح أن وضع ملصقات بسيطة على علامة توقف يمكن أن يخدع نموذج الكشف عن الأجسام في السيارة ذاتية القيادة. فقد يُخطئ النموذج في تحديد اللافتة على أنها علامة "الحد الأقصى للسرعة 45"، وهو ما يُعدّ فشلاً ذريعاً لأي ذكاء اصطناعي في أنظمة السيارات. تُعرف هذه الهجمات باسم هجمات الخصومة المادية.

الدفاعات ضد هجمات الخصوم

يعد تأمين النماذج ضد هذه التهديدات مجالاً نشطاً للبحث. وتشمل استراتيجيات الدفاع الشائعة ما يلي:

• تدريب الخصوم: يعد هذا حاليًا أحد أكثر الدفاعات فعالية. وهو ينطوي على توليد أمثلة معاكسة وإدراجها في مجموعة تدريب النموذج. وتساعد هذه العملية، وهي شكل من أشكال زيادة البيانات، النموذج على تعلم تجاهل الاضطرابات الخصومة وبناء تمثيلات أكثر قوة.
• المعالجة المسبقة للإدخال: يمكن أن يؤدي تطبيق تحويلات مثل التعتيم أو تقليل التشويش أو ضغط JPEG على صور الإدخال قبل إدخالها في النموذج إلى إزالة أو تقليل التشويش المعادي في بعض الأحيان.
• تجميع النماذج: يمكن أن يؤدي الجمع بين تنبؤات عدة نماذج مختلفة إلى زيادة صعوبة قيام المهاجم بصياغة نموذج واحد يخدع جميع النماذج في وقت واحد.

مستقبل التعلم الآلي العدائي

غالبًا ما يوصف مجال التعلم الآلي العدائي بأنه "سباق تسلح" مستمر، مع ظهور هجمات ودفاعات جديدة باستمرار. يتطلب بناء ذكاء اصطناعي جدير بالثقة ممارسات تطوير واختبار قوية. تساعد أطر العمل مثل MITRE ATLAS للدفاع المستنير بالتهديدات العدائية المؤسسات على فهم هذه التهديدات والاستعداد لها. وتقوم منظمات مثل المعهد الوطني للمعايير والتكنولوجيا والابتكار والتكنولوجيا وشركات مثل مايكروسوفت بالبحث بنشاط في مجال الدفاعات. ويساعد دمج مبادئ من الذكاء الاصطناعي القابل للتفسير (XAI) في تحديد نقاط الضعف، بينما يساعد الالتزام بأخلاقيات الذكاء الاصطناعي القوية في توجيه النشر المسؤول للنماذج. يضمن البحث المستمر واليقظة المستمرة إمكانية نشر نماذج مثل Ultralytics YOLO11 بشكل آمن وموثوق في تطبيقات العالم الحقيقي. لمعرفة المزيد حول تطوير النماذج الآمنة، استكشف دروسنا التعليمية وفكر في استخدام منصات مثل Ultralytics HUB لسير عمل مبسط وآمن.