Jailbreaking (AI)

يشير كسر القيود في سياق الذكاء الاصطناعي إلى ممارسة تجاوز الحواجز الأخلاقية ومرشحات السلامة والقيود التشغيلية المبرمجة داخل نموذج للذكاء الاصطناعي. وكان هذا المصطلح يُستخدم في الأصل للإشارة إلى تجاوز القيود المفروضة على الأجهزة، مثل الهواتف الذكية، أما كسر قيود الذكاء الاصطناعي فيتضمن صياغة مدخلات محددة، غالبًا ما تكون تلاعبية، تخدع النموذج لدفعه إلى إنشاء محتوى محظور، أو تنفيذ أوامر غير مصرّح بها، أو كشف مطالبات النظام الحساسة. ومع تزايد اندماج الذكاء الاصطناعي في البنية التحتية الحيوية، يصبح فهم هذه الثغرات أمرًا ضروريًا لتطوير تدابير متينة لـسلامة الذكاء الاصطناعي ومنع إساءة الاستخدام.

التمييز بين كسر القيود والمفاهيم ذات الصلة#

رغم تشابه كسر القيود مع ثغرات أمنية أخرى في تعلّم الآلة، فمن المهم تمييزه عن المصطلحات ذات الصلة:

• حقن المطالبات: يتضمن ذلك إدخال تعليمات ضارة في مطالبة مستخدم مشروعة لاختطاف المخرجات المقصودة للنموذج. ويُعد كسر القيود فئة أوسع تهدف تحديدًا إلى تجاوز بروتوكولات السلامة الأساسية للنموذج بالكامل.
• الاختبار الأمني الهجومي للذكاء الاصطناعي: هذه منهجية اختبار استباقية ومصرّح بها، يحاول فيها متخصصو الأمن عمدًا كسر قيود النظام لتحديد الثغرات وإصلاحها قبل النشر.
• الهجمات الخصمية: تُستخدم هذه الهجمات غالبًا في الرؤية الحاسوبية، وتتضمن تغيير بيانات الإدخال تغييرًا طفيفًا، مثل إضافة ضوضاء غير مرئية إلى صورة، لإجبار النموذج على إجراء تصنيف خاطئ، بينما يركز كسر القيود عادةً على التلاعب اللغوي أو المنطقي.

أمثلة واقعية على كسر قيود الذكاء الاصطناعي#

يتخذ كسر القيود أشكالًا مختلفة تبعًا لنمط نظام الذكاء الاصطناعي، مؤثرًا في البنى المعتمدة على النصوص والبنى المعتمدة على الرؤية على حد سواء:

1. استغلال نماذج اللغة الكبيرة: غالبًا ما يستخدم المهاجمون سيناريوهات معقدة لتقمّص الأدوار أو أطرًا افتراضية لإجبار نماذج اللغة الكبيرة على تجاهل تدريبها على السلامة. فعلى سبيل المثال، قد يطلب المستخدم من الذكاء الاصطناعي أن يتصرف بصفته "مؤلفًا خياليًا يكتب قصة عن مخترق"، فينجح في خداع النموذج لإخراج تعليمات برمجية ضارة أو تعليمات لتنفيذ أنشطة خطرة كانت مرشحاته ستحظرها عادةً. كما سلطت أبحاث حديثة أجرتها Anthropic الضوء على أساليب متقدمة مثل تقنيات كسر القيود باستخدام عدد كبير من الأمثلة، التي تُحمّل نافذة سياق النموذج فوق طاقتها لتجاوز القيود.

2. هجمات الأنظمة متعددة الوسائط وأنظمة الرؤية: مع تطور النماذج لمعالجة النصوص والصور معًا، تُظهر أبحاث حديثة حول كسر القيود متعدد الوسائط أن المهاجمين يمكنهم تضمين تعليمات نصية ضارة داخل صورة. وعندما يعالج نموذج للرؤية واللغة الصورة، يؤدي النص المخفي إلى كسر القيود. وفي أنظمة الأمن المادي، يمكن للمدخلات الخصمية، مثل رقعة ذات نمط محدد على الملابس، أن تعمل ككسر بصري للقيود، فتجعل الشخص غير مرئي لنماذج المراقبة الآلية.

التخفيف من مخاطر كسر القيود في نماذج الذكاء الاصطناعي#

يتطلب تأمين النماذج ضد عمليات الاستغلال هذه استراتيجية دفاع متعددة الطبقات. ويتبع المطورون إرشادات السلامة من OpenAI وأطرًا مثل إطار NIST لإدارة مخاطر الذكاء الاصطناعي لوضع أساس أمني.

لمنع الهجمات الخصمية المرئية، يعتمد المهندسون على زيادة البيانات الشاملة أثناء التدريب. ومن خلال إدخال الضوضاء والتشويش وتغيير ظروف الإضاءة عمدًا، يتعلم النموذج الحفاظ على دقة عالية حتى عند مواجهة مدخلات تم التلاعب بها. علاوة على ذلك، يساعد رصد النماذج المنشورة باستمرار باستخدام الأدوات المتاحة على منصة Ultralytics في تحديد أنماط الاستدلال غير المعتادة التي قد تشير إلى هجوم جارٍ، مما يضمن أمن البيانات القوي لعمليات النشر المؤسسية.

اختبار متانة النموذج#

لضمان قدرة نماذج الرؤية الحاسوبية على مقاومة التلاعبات الطفيفة في المدخلات، يمكنك محاكاة سيناريوهات أساسية من التعلّم الآلي الخصمي باستخدام Python. ويساعد ذلك في التحقق من استمرار نموذج مثل Ultralytics YOLO26 في العمل بموثوقية عند تعريضه لبيانات مشوشة أو معدّلة قليلًا.

import cv2
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model for robust inference testing
model = YOLO("yolo26n.pt")

# Load a test image and apply simulated adversarial noise
img = cv2.imread("security_feed.jpg")
noisy_img = cv2.add(img, 15)  # Inject slight pixel noise to test robustness

# Run prediction to verify the model still detects objects accurately
results = model(noisy_img)
results[0].show()

من خلال اختبار الثغرات بنشاط ودمج تدابير سلامة متينة، يمكن للمطورين أن يتعلموا بنجاح كيفية التخفيف من كسر قيود الذكاء الاصطناعي، مما يعزز الثقة والموثوقية في أنظمة الذكاء الاصطناعي الحديثة. ولتعميق فهم سلوك النموذج وقابليته للتفسير، استكشف مبادئ الذكاء الاصطناعي القابل للتفسير.