Adversarial Attacks

تمثل الهجمات الخصومية فئة متطورة من تقنيات التلاعب المصممة لخداع نماذج تعلّم الآلة (ML) كي تصدر تنبؤات خاطئة بثقة عالية. وتعمل هذه الهجمات بإضافة اضطرابات دقيقة، غالبًا ما يتعذر ملاحظتها، إلى بيانات الإدخال، مثل الصور أو الصوت أو النص. ورغم أن هذه التغييرات تبدو غير ضارة أو عشوائية للمراقب البشري، فإنها تستغل نقاط ضعف رياضية محددة في حدود القرار للشبكات العصبية عالية الأبعاد. ومع تزايد أهمية أنظمة الذكاء الاصطناعي (AI) في البنى التحتية الحساسة للسلامة، يصبح فهم كيفية عمل هذه الثغرات ضروريًا لتطوير بروتوكولات سلامة الذكاء الاصطناعي وآليات الدفاع القوية.

آلية عمل الهجمات الخصومية#

في عملية تدريب نموذج التعلّم العميق (DL) المعتادة، يحسّن النموذج أوزانه لتقليل الخطأ على مجموعة بيانات التدريب. لكن هذه النماذج تنشئ في جوهرها خرائط معقدة في فضاء متعدد الأبعاد. وتحسب الهجمة الخصومية «الاتجاه» الدقيق في هذا الفضاء اللازم لدفع أحد المدخلات عبر حدّ ما، فتغيّر تصنيف النموذج. فعلى سبيل المثال، في الرؤية الحاسوبية (CV)، قد يؤدي تغيير قيم البكسلات في صورة باندا بمقدار محسوب من «الضوضاء» إلى جعل النظام يصنفها بثقة على أنها جيبون، رغم أن الصورة لا تزال تبدو للعين البشرية صورة باندا تمامًا.

تُصنَّف استراتيجيات الهجوم عمومًا بحسب مستوى وصول المهاجم إلى النظام المستهدف:

• هجمات الصندوق الأبيض: يتمتع المهاجم برؤية كاملة لبنية النموذج وتدرجاته وأوزان النموذج. ويتيح له ذلك حساب الاضطراب الأكثر فاعلية رياضيًا، غالبًا باستخدام تقنيات مثل طريقة إشارة التدرج السريع (FGSM).
• هجمات الصندوق الأسود: لا يعرف المهاجم المعلمات الداخلية للنموذج، ولا يمكنه سوى ملاحظة المدخلات والمخرجات. وغالبًا ما يستخدم المهاجمون «نموذجًا بديلًا» لتوليد أمثلة خصومية تنتقل بفاعلية إلى النظام المستهدف، وهي خاصية تُعرف بقابلية الانتقال.

التطبيقات والمخاطر في العالم الواقعي#

رغم أن الهجمات الخصومية تُناقش غالبًا في الأبحاث النظرية، فإنها تشكل مخاطر ملموسة على عمليات النشر الواقعية، ولا سيما في الأنظمة الذاتية والأمن.

• المركبات ذاتية القيادة: تعتمد السيارات ذاتية القيادة اعتمادًا كبيرًا على اكتشاف الأجسام لتفسير إشارات المرور. وقد أظهرت الأبحاث أن وضع ملصقات أو أشرطة مصممة بعناية على إشارة توقف قد يخدع نظام الرؤية في المركبة فيجعله يراها إشارة تحديد سرعة. وقد يؤدي هذا النوع من الهجمات في العالم المادي إلى إخفاقات خطيرة في تطبيقات الذكاء الاصطناعي في قطاع السيارات.
• المتحايلون على التعرف على الوجه: يمكن اختراق أنظمة الأمان التي تتحكم في الوصول استنادًا إلى القياسات الحيوية باستخدام «رقع» خصومية. ويمكن أن تكون هذه أنماطًا مطبوعة تُرتدى على النظارات أو الملابس فتعرقل عملية استخراج السمات. ويسمح ذلك لفرد غير مصرح له بتفادي الكشف تمامًا أو انتحال شخصية مستخدم محدد، متجاوزًا أنظمة الإنذار الأمني.

إنشاء أمثلة خصومية في Python#

لفهم مدى هشاشة بعض النماذج، من المفيد الاطلاع على سهولة إحداث اضطراب في صورة. ورغم أن الاستدلال القياسي باستخدام نماذج مثل YOLO26 متين للاستخدام العام، يحاكي الباحثون الهجمات غالبًا لتحسين مراقبة النماذج والدفاع. يستخدم المثال التوضيحي التالي PyTorch لبيان كيفية الاستفادة من التدرجات لحساب اضطراب خصومي (ضوضاء) لصورة.

import torch.nn.functional as F

# ⁨افترض أن 'model' هو نموذج PyTorch محمّل وأن 'image' موتر مُطبّع⁩
# ⁨'target_class' هو فهرس التسمية الصحيحة للصورة⁩


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # ⁨تمكين حساب التدرج لصورة الإدخال⁩
    image.requires_grad = True

    # ⁨التمرير الأمامي: الحصول على التنبؤ⁩
    output = model(image)

    # ⁨حساب الخسارة بناءً على الفئة الصحيحة⁩
    loss = F.nll_loss(output, target_class)

    # ⁨التمرير الخلفي: حساب تدرجات الخسارة بالنسبة إلى الإدخال⁩
    model.zero_grad()
    loss.backward()

    # ⁨إنشاء اضطراب باستخدام إشارة تدرج البيانات (FGSM)⁩
    # ⁨يدفع ذلك الصورة في اتجاه تعظيم الخطأ⁩
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

مفاهيم ذات صلة#

من المهم التمييز بين الهجمات الخصومية وأشكال إخفاق النماذج أو التلاعب بها الأخرى:

• تسميم البيانات: بخلاف الهجمات الخصومية التي تتلاعب بالمدخلات أثناء الاستدلال (وقت الاختبار)، ينطوي تسميم البيانات على إفساد بيانات التدريب نفسها قبل إنشاء النموذج، مع تضمين أبواب خلفية أو تحيزات مخفية.
• حقن الموجّهات: يقتصر هذا على النماذج اللغوية الكبيرة (LLMs) والواجهات النصية. ورغم التشابه المفاهيمي، أي خداع النموذج، فإنه يعتمد على التلاعب باللغة دلاليًا بدلًا من إحداث اضطراب رياضي في بيانات البكسلات أو الإشارات.
• فرط التكيّف: هو إخفاق في التدريب يتعلم فيه النموذج الضوضاء الموجودة في بيانات التدريب بدلًا من النمط الأساسي. وغالبًا ما تكون النماذج مفرطة التكيّف أكثر عرضة للهجمات الخصومية، لأن حدود القرار فيها شديدة التعقيد والهشاشة.

يُعد تطوير وسائل الدفاع ضد هذه الهجمات عنصرًا أساسيًا في عمليات تعلّم الآلة (MLOps) الحديثة. وتساعد تقنيات مثل التدريب الخصومي، الذي تُضاف فيه أمثلة تعرضت للهجوم إلى مجموعة التدريب، على زيادة قدرة النماذج على الصمود. وتسهل منصات مثل منصة Ultralytics إنشاء مسارات تدريب وتحقق صارمة، بما يتيح للفرق تقييم متانة النماذج قبل نشرها على الأجهزة الطرفية.