Jailbreaking (AI)

يشير كسر الحماية (Jailbreaking) في سياق الذكاء الاصطناعي إلى ممارسة تجاوز الضوابط الأخلاقية، ومرشحات الأمان، والقيود التشغيلية المبرمجة داخل نموذج الذكاء الاصطناعي. كان المصطلح يُستخدم في الأصل لتجاوز قيود الأجهزة في أجهزة مثل الهواتف الذكية، أما في الذكاء الاصطناعي فيتضمن كسر الحماية صياغة مدخلات محددة، غالباً ما تكون تلاعبية، لخداع النموذج لإنتاج محتوى مقيد، أو تنفيذ أوامر غير مصرح بها، أو الكشف عن مطالبات النظام الحساسة. مع تزايد دمج الذكاء الاصطناعي في البنية التحتية الحيوية، أصبح فهم هذه الثغرات أمراً جوهرياً لتطوير تدابير قوية لـ أمان الذكاء الاصطناعي ومنع سوء الاستخدام.

Link to this sectionالتمييز بين كسر الحماية والمفاهيم ذات الصلة#

بينما يتشارك كسر الحماية في أوجه التشابه مع ثغرات أمنية أخرى في التعلم الآلي، من المهم تمييزه عن المصطلحات ذات الصلة:

• حقن المطالبات: يتضمن هذا إدراج تعليمات خبيثة في مطالبة مستخدم شرعية لاختطاف المخرجات المقصودة للنموذج. كسر الحماية هو فئة أوسع تهدف تحديداً إلى تجاوز بروتوكولات الأمان الأساسية للنموذج بالكامل.
• اختبار الاختراق للذكاء الاصطناعي (AI Red Teaming): هذه منهجية اختبار استباقية ومصرح بها، حيث يحاول محترفو الأمن عمداً كسر حماية النظام لتحديد الثغرات وتصحيحها قبل النشر.
• الهجمات العدائية: غالباً ما تُستخدم في الرؤية الحاسوبية، وتتضمن تغيير بيانات الإدخال بمهارة (مثل إضافة ضوضاء غير مرئية إلى صورة) لإجبار النموذج على إجراء تصنيف خاطئ، في حين يركز كسر الحماية عادةً على التلاعب اللغوي أو المنطقي.

Link to this sectionأمثلة واقعية على كسر حماية الذكاء الاصطناعي#

يتجلى كسر الحماية بشكل مختلف اعتماداً على نمط نظام الذكاء الاصطناعي، مما يؤثر على كل من البنيات القائمة على النصوص وتلك القائمة على الرؤية:

1. استغلال النماذج اللغوية الكبيرة: غالباً ما يستخدم المهاجمون سيناريوهات لعب الأدوار المعقدة أو الأطر الافتراضية لإجبار النماذج اللغوية الكبيرة على تجاهل تدريب الأمان الخاص بها. على سبيل المثال، قد يطلب مستخدم من الذكاء الاصطناعي تقمص دور "مؤلف خيالي يكتب قصة عن مخترق"، مما ينجح في خداع النموذج لإخراج كود خبيث أو تعليمات لأنشطة خطيرة كانت مرشحاته ستحظرها عادةً. كما سلطت الأبحاث الحديثة التي أجرتها Anthropic الضوء على طرق متقدمة مثل تقنيات كسر الحماية متعددة اللقطات، والتي تقوم بزيادة تحميل نافذة سياق النموذج لتجاوز القيود.

2. هجمات النظم متعددة الوسائط والنظم البصرية: مع تطور النماذج لمعالجة النصوص والصور معاً، أظهرت الأبحاث الحديثة حول كسر حماية النظم متعددة الوسائط أنه يمكن للمهاجمين تضمين تعليمات نصية خبيثة داخل صورة. عندما يقوم نموذج الرؤية واللغة بمعالجة الصورة، يؤدي النص المخفي إلى كسر الحماية. في أنظمة الأمن المادي، يمكن للمدخلات العدائية - مثل رقعة ذات نمط خاص على الملابس - أن تعمل ككسر حماية بصري، مما يجعل الشخص غير مرئي لنماذج المراقبة الآلية.

Link to this sectionتخفيف مخاطر كسر الحماية في نماذج الذكاء الاصطناعي#

يتطلب تأمين النماذج ضد هذه الاستغلالات استراتيجية دفاع متعددة الطبقات. يتبع المطورون إرشادات أمان OpenAI وأطر عمل مثل إطار إدارة مخاطر الذكاء الاصطناعي الخاص بـ NIST لإنشاء أمان أساسي.

لمنع الهجمات البصرية العدائية، يعتمد المهندسون على تعزيز البيانات الشامل أثناء التدريب. من خلال إدخال الضوضاء، والتمويه، وظروف الإضاءة المتغيرة عمداً، يتعلم النموذج الحفاظ على دقة عالية حتى عند مواجهة مدخلات تم التلاعب بها. علاوة على ذلك، يساعد مراقبة النماذج المنشورة باستمرار باستخدام الأدوات المتاحة على منصة Ultralytics في تحديد أنماط الاستدلال غير العادية التي قد تشير إلى هجوم مستمر، مما يضمن أمن بيانات قوي لعمليات النشر المؤسسية.

Link to this sectionاختبار متانة النموذج#

للتأكد من أن نماذج الرؤية الحاسوبية الخاصة بك مرنة ضد التلاعبات الدقيقة في المدخلات، يمكنك محاكاة سيناريوهات التعلم الآلي العدائي الأساسية باستخدام Python. يساعد هذا في التحقق من أن نموذجاً مثل Ultralytics YOLO26 يواصل العمل بشكل موثوق عند تعرضه لبيانات صاخبة أو معدلة قليلاً.

import cv2
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model for robust inference testing
model = YOLO("yolo26n.pt")

# Load a test image and apply simulated adversarial noise
img = cv2.imread("security_feed.jpg")
noisy_img = cv2.add(img, 15)  # Inject slight pixel noise to test robustness

# Run prediction to verify the model still detects objects accurately
results = model(noisy_img)
results[0].show()

من خلال الاختبار النشط للثغرات ودمج تدابير أمان قوية، يمكن للمطورين تعلم كيفية تخفيف كسر حماية الذكاء الاصطناعي بنجاح، مما يعزز الثقة والموثوقية في أنظمة الذكاء الاصطناعي الحديثة. للحصول على فهم أعمق لسلوك النموذج وقابليته للتفسير، استكشف مبادئ الذكاء الاصطناعي القابل للتفسير.