Adversarial Attacks

الهجمات التخاصمية هي تلاعبات متعمدة بمدخلات نموذج التعلّم الآلي (ML) تجعله ينتج مخرجات خاطئة، وغالباً بثقة عالية. وفي الرؤية الحاسوبية، قد يختلف المدخل المتلاعب به، الذي يُسمى مثالاً تخاصمياً، عن الأصل بتغييرات صغيرة جداً لا يلاحظها الإنسان، ومع ذلك قد يتحول مصنف تعرّف على باندا إلى الإبلاغ عن جيبون. وقد وصف الباحثون هذه الظاهرة في الشبكات العصبية العميقة في بحث عام 2013 بعنوان «خصائص مثيرة للاهتمام للشبكات العصبية»، ويظهر الضعف نفسه في التعرّف على الكلام واكتشاف البرمجيات الخبيثة ونماذج اللغة الكبيرة (LLMs). وتكتسب الهجمات التخاصمية أهمية قصوى عندما يؤدي قرار النموذج إلى تنفيذ إجراء، مثل كبح سيارة أو فتح باب أو الموافقة على معاملة.

آلية عمل الأمثلة التخاصمية#

تقيس دالة الخسارة مقدار خطأ النموذج المدرّب في مدخلة ما. وتحسب الانتشار العكسي عادةً تدرجات هذه الخسارة بالنسبة إلى الأوزان؛ أما المهاجم فيحسبها بالنسبة إلى بكسلات المدخلة بدلاً من ذلك، ثم يغيّر البكسلات في الاتجاه الذي يزيد الخسارة. وفي بحث «تفسير الأمثلة التخاصمية وتسخيرها» (2014)، رأى Ian Goodfellow وزملاؤه أن السبب هو السلوك الخطي إلى حد كبير للشبكات العصبية في الأبعاد العالية: فتغيير جزء من مستوى رمادي لكل بكسل، عند جمعه عبر مئات الآلاف من البكسلات، يؤدي إلى تغيير كبير في المخرجات. وتتخذ طريقة إشارة التدرج السريع (FGSM) خطوة واحدة ثابتة الحجم على امتداد إشارة تدرج المدخلة؛ وقد حوّلت خطوة مقدارها 0.007 تنبؤ «باندا» بنسبة 57.7% إلى تنبؤ «جيبون» بنسبة 99.3%. وتكرر طريقة نزول التدرج المسقَط (PGD) خطوات أصغر مع إبقاء التغيير الكلي ضمن ميزانية محددة، ما يجعلها هجوماً أقوى.

يتطلب تطبيق FGSM على مصنف TorchVision ResNet-18 تمريرة عكسية واحدة:

import torch
import torch.nn.functional as F
from torchvision.io import decode_image
from torchvision.models import ResNet18_Weights, resnet18
from torchvision.transforms import v2

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
torch.hub.download_url_to_file("https://ultralytics.com/images/bus.jpg", "bus.jpg")

# Keep pixels in [0, 1] and normalize inside each forward pass, so the attack edits real pixel values
image = v2.Compose([v2.Resize(256), v2.CenterCrop(224), v2.ToDtype(torch.float32, scale=True)])(decode_image("bus.jpg"))
normalize = v2.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
x = image.unsqueeze(0).requires_grad_(True)
logits = model(normalize(x))

# FGSM: move every pixel by one intensity level (1/255) in the direction that increases the loss
F.cross_entropy(logits, logits.argmax(1)).backward()
x_adv = (x + x.grad.sign() / 255).clamp(0, 1)

for name, batch in [("clean", x), ("adversarial", x_adv)]:
    probs = model(normalize(batch)).softmax(1)
    print(f"{name}: {weights.meta['categories'][probs.argmax()]} ({probs.max():.2f})")

تُصنّف الصورة السليمة على أنها minibus (0.83)، بينما تُصنّف الصورة التي تعرضت للهجوم على أنها police van (0.94): فتغيير كل بكسل بما لا يتجاوز مستوى شدة واحداً من أصل 255 يجعل النموذج أكثر ثقة بالتسمية الجديدة الخاطئة مما كان بالتسمية الأصلية.

أنواع الهجمات#

تُصنّف الهجمات بحسب توقيت تدخل المهاجم، وما يعرفه عن النموذج، وما يسعى إليه. ويسعى الهجوم غير الموجّه إلى أي مخرج خاطئ، بينما يفرض الهجوم الموجّه مخرجاً بعينه، مثل جعل إشارة توقف تُقرأ على أنها إشارة تحديد السرعة. وتعدّل الهجمات الرقمية بيانات المدخلة مباشرةً، بينما تغيّر الهجمات المادية أجساماً حقيقية باستخدام ملصقات أو رقع أو أنماط مطبوعة تصمد أمام تغير زاوية الرؤية والمسافة والإضاءة. ويجمع تصنيف المعهد الوطني الأمريكي للمعايير والتقنية للتعلّم الآلي التخاصمي الهجمات بحسب المرحلة التي تستهدفها من دورة حياة ML:

تنجح هجمات النقل لأن الأمثلة الخصومية المصممة ضد نموذج واحد غالبًا ما تخدع نماذج أخرى مدرّبة للمهمة نفسها؛ لذا يستطيع المهاجم تدريب نموذج بديل ومهاجمته بأسلوب الصندوق الأبيض، ثم استخدام النتيجة ضد نظام لا يستطيع فحصه.

المخاطر في العالم الحقيقي#

• المركبات ذاتية القيادة: في «هجمات متينة في العالم المادي على نماذج التعلم العميق»، تسببت ملصقات سوداء وبيضاء على إشارة توقف حقيقية في تصنيف خاطئ مستهدف في 100% من الصور المختبرية و84.8% من إطارات الفيديو الملتقطة من سيارة متحركة.
• اكتشاف الأشخاص: خفّضت رقعة مطبوعة مربعة طول ضلعها نحو 40 سم، عند حملها أمام الجسم، دقة كاشف الأشخاص YOLOv2 الذي جرى تحسينها خصيصًا لمهاجمته بدرجة كبيرة. وتهدد هذه الرقع أجهزة الإنذار التي تعمل عند اكتشاف الأشخاص، مثل نظام الإنذار الأمني من Ultralytics، الذي يرسل تنبيهًا بالبريد الإلكتروني عندما يكتشف YOLO26 عددًا محددًا من الكائنات في إطار؛ فالرقعة التي تثبط اكتشاف الشخص تثبط التنبيه أيضًا.
• التعرف على الوجوه: طبع الباحثون إطارات نظارات تحمل أنماطًا خصومية مكّنت مرتديها من تفادي نظام للتعرف على الوجوه أو من التعرف عليهم على أنهم شخص آخر بعينه.
• نماذج اللغة: جعلت اللواحق الخصومية المحسّنة تلقائيًا، وهي سلاسل من الرموز المضافة إلى الطلب، روبوتات المحادثة المتوافقة تنفذ طلبات ضارة، كما انتقلت اللواحق المحسّنة على نماذج مفتوحة إلى نماذج تجارية. وتُعرف الهجمات التي يكتبها البشر يدويًا على نماذج اللغة الكبيرة باسم كسر الحماية وحقن الموجهات.

الهجمات الخصومية والمصطلحات ذات الصلة#

• تسميم البيانات: يفسد بيانات التدريب بحيث يتصرف النموذج المدرّب على نحو خاطئ، وغالبًا ما يقتصر ذلك على المدخلات التي تتضمن محفزًا خفيًا. أما الأمثلة الخصومية، بالمعنى الضيق، فلا تمس النموذج، بل تتلاعب بالمدخلات وقت الاستدلال.
• هجمات استدلال العضوية: تهدف إلى استخراج معلومات، وتحديدًا معرفة ما إذا كان سجل ما ضمن مجموعة التدريب، بدلًا من التسبب في مخرجات خاطئة.
• الشبكات التوليدية الخصومية (GANs): تستخدم كلمة «خصومي» لوصف شبكتين تُدرّبان إحداهما ضد الأخرى، وهي طريقة تدريب لا تتضمن مهاجمًا.
• اختبار الفريق الأحمر للذكاء الاصطناعي: هو ممارسة مهاجمة النظام الخاص قبل إطلاقه، ويستخدم الهجمات الخصومية ضمن تقنيات أخرى.

وسائل الدفاع#

يولّد التدريب الخصومي، الذي صيغ رسميًا باستخدام PGD في «نحو نماذج تعلم عميق مقاومة للهجمات الخصومية»، هجمات أثناء التدريب ويضبط النموذج لتصنيفها تصنيفًا صحيحًا؛ وما زال هذا أكثر أساليب الدفاع التجريبية موثوقية، لكنه يكلّف عدة أضعاف القدرة الحاسوبية اللازمة للتدريب العادي ويخفض الدقة على المدخلات النظيفة. وتثبت وسائل الدفاع المعتمدة مثل التنعيم العشوائي أن أي اضطراب ضمن نصف قطر محدد لا يمكنه تغيير التنبؤ، لكن ذلك لا ينطبق إلا على أنصاف أقطار صغيرة. أما وسائل الدفاع التي تعالج المدخلات مسبقًا أو تخفي التدرجات فسجلها ضعيف: فقد فحصت «التدرجات المحجوبة تمنح إحساسًا زائفًا بالأمان» تسع وسائل دفاع نُشرت في ICLR 2018، ووجدت أن سبعًا منها اعتمدت على تدرجات محجوبة، وتمكنت من تجاوز ست منها بالكامل والسابعة جزئيًا.