AI Safety

سلامة الذكاء الاصطناعي مجال بحث وهندسة يهدف إلى منع أنظمة الذكاء الاصطناعي (AI) من إحداث الضرر، سواء بسبب الحوادث أو إساءة الاستخدام المتعمدة أو سعي الأنظمة إلى تحقيق أهداف لم يقصدها مطوروها. ويشمل أنظمة التعلّم الآلي المنشورة، مثل منظومة الإدراك في مركبة ذاتية القيادة أو روبوت محادثة لخدمة العملاء، وكذلك نماذج الذكاء الاصطناعي الرائدة الأكثر قدرة والوكلاء الذين تعمل المختبرات على تطويرهم. ويشمل هذا العمل البحث التقني وممارسات الاختبار والأطر التي تستخدمها الشركات والحكومات لتحديد متى يصبح النظام آمنًا بما يكفي لإطلاقه.

المشكلات الأساسية في سلامة الذكاء الاصطناعي#

صاغت ورقة عام 2016 مشكلات ملموسة في سلامة الذكاء الاصطناعي، التي أعدها باحثون من Google Brain وOpenAI وStanford وUC Berkeley، حوادث التعلّم الآلي في صورة خمس مشكلات بحثية، موضحة بروبوت تنظيف، ولا تزال هذه المشكلات تنظّم جانبًا كبيرًا من المجال:

• تجنب الآثار الجانبية السلبية: لا يوجد ما يدفع روبوتًا يُكافأ على نظافة الأرضية وحدها إلى تجنب إسقاط مزهرية في طريقه.
• التحايل على المكافأة: تلبية نص الهدف مع إحباط غايته، مثل تغطية الفوضى بمواد لا تستطيع كاميرا الروبوت الرؤية عبرها.
• الإشراف القابل للتوسع: تدريب سلوك جيد عندما تكون مراجعة كل إجراء مكلفة للغاية، مثل سؤال إنسان عن مدى نظافة الغرفة بين الحين والآخر فقط.
• الاستكشاف الآمن: السماح لوكيل متعلّم بتجربة إجراءات جديدة دون تجربة الإجراءات الكارثية، مثل إدخال ممسحة مبللة في مأخذ كهربائي.
• المتانة أمام التحول التوزيعي: التعرّف على مدخلات تختلف عن بيئة التدريب والتعامل معها بحذر، مثل انتقال روبوت مدرّب في مكتب إلى أرضية مصنع.

أصبحت كل مشكلة مجالًا بحثيًا مستقلًا. وصار الإشراف القابل للتوسع محورًا أساسيًا في أبحاث المواءمة الفائقة، التي تدرس كيفية الإشراف على أنظمة تتجاوز قدرات المشرفين عليها؛ والاستكشاف الآمن قيدًا على التعلّم المعزّز؛ ويظهر التحول التوزيعي في أنظمة الإنتاج على هيئة انجراف البيانات.

مصادر مخاطر الذكاء الاصطناعي#

تصنّف ورقة Google DeepMind لعام 2025، نهج نحو سلامة وأمن تقنيين للذكاء الاصطناعي العام، المخاطر الجسيمة إلى أربعة مجالات، يميز بينها الطرف أو العامل المسؤول عن الضرر:

يتطلب كل مجال وسائل دفاع مختلفة. وتُواجَه إساءة الاستخدام بالتدريب على الرفض وضوابط حماية الذكاء الاصطناعي وتقييد الوصول إلى القدرات الخطرة. أما عدم المواءمة فمن الصعب اختباره، لأن النموذج غير المتوافق قد يتصرف جيدًا أثناء مراقبته: فقد رصدت دراسات تزييف المواءمة أثناء التدريب، والتقصير المتعمد في التقييمات، ووكلاء كمون مزودين بأبواب خلفية يصمدون أمام تدريب السلامة، وعدم مواءمة ناشئ بعد الضبط الدقيق لمهام محدودة. ويُحد من الأخطاء عبر المتانة والاختبار والرصد، أما المخاطر البنيوية، مثل الأضرار الناشئة عن التنافس بين مطورين كثيرين أو التفاعلات بين وكلاء ذكاء اصطناعي عديدين، فهي في المقام الأول مسألة حوكمة.

الأساليب في التطبيق العملي#

يمتد عمل السلامة عبر دورة حياة النموذج كاملة. وأثناء التدريب، يشكّل التعلّم المعزّز من التغذية الراجعة البشرية (RLHF) والذكاء الاصطناعي الدستوري ما سيفعله النموذج وما سيمتنع عنه. وقبل الإطلاق، يختبر الفريق الأحمر للذكاء الاصطناعي وتقييمات القدرات الخطرة مواطن الإخفاق، بينما يفحص تفسير الآليات الحوسبة الداخلية بحثًا عن أهداف لا تكشفها المخرجات وحدها. وتحدد أطر السلامة للنماذج الرائدة، مثل سياسة التوسع المسؤول لدى Anthropic، عتبات للقدرات تستلزم عند بلوغها تعزيز ضمانات الأمن والنشر.

بعد النشر، يكشف رصد النموذج المدخلات التي لم يُختبر النموذج عليها قط. ويعرض رصد النشر في منصة Ultralytics مخططًا لتوزيع الثقة ومتوسطها بمرور الوقت لنقطة نهاية YOLO26 منشورة، لذا يشير الانخفاض بعد تحريك الكاميرا أو تغير الإضاءة إلى انحراف المدخلات عن بيانات التدريب. وتحتاج الأنظمة التي تعمل في العالم المادي أيضًا إلى آلية احتياطية، مثل حالة الحد الأدنى من المخاطر المحددة للمركبات الآلية، وهي توقف آمن تصل إليه المركبة عندما يتعذر على نظام القيادة الآلية مواصلة العمل.

سلامة الذكاء الاصطناعي والمجالات ذات الصلة#

يتداخل مجال سلامة الذكاء الاصطناعي مع مجالات عدة تُستخدم مصطلحاتها أحيانًا على نحو مترادف معه:

• أخلاقيات الذكاء الاصطناعي: تبحث فيما ينبغي لأنظمة الذكاء الاصطناعي فعله ولمن، وتشمل الإنصاف والخصوصية والمساءلة. وتندرج أضرار مثل القرارات المتحيزة ضمن كلا المجالين.
• أمن الذكاء الاصطناعي: يحمي أنظمة الذكاء الاصطناعي من المهاجمين، من خلال وسائل دفاع ضد الأمثلة الخصومية وتسميم البيانات وحقن التعليمات وسرقة النماذج.
• مواءمة الذكاء الاصطناعي: مجال فرعي من سلامة الذكاء الاصطناعي يُعنى بجعل النظام يسعى إلى الأهداف التي قصدها مطوروه، ويعالج مجال عدم المواءمة المذكور أعلاه.
• حوكمة الذكاء الاصطناعي: القوانين والمعايير والسياسات الداخلية التي تحدد كيفية بناء أنظمة الذكاء الاصطناعي وإطلاقها، مثل مستويات المخاطر في قانون الذكاء الاصطناعي للاتحاد الأوروبي.

تتغير الحدود تبعًا للسياسات: ففي فبراير 2025، أعادت المملكة المتحدة تسمية معهد سلامة الذكاء الاصطناعي، وهو هيئة حكومية تختبر النماذج الرائدة قبل إطلاقها، ليصبح معهد أمن الذكاء الاصطناعي، بهدف التركيز على المخاطر ذات التداعيات الأمنية، مثل الهجمات الإلكترونية والاحتيال وتطوير الأسلحة الكيميائية والبيولوجية.