AI Safety

سلامة الذكاء الاصطناعي هي مجال متعدد التخصصات يركز على ضمان أن أنظمة Artificial Intelligence (AI) تعمل بشكل موثوق ويمكن التنبؤ به ومفيد. على عكس الأمن السيبراني، الذي يحمي الأنظمة من الهجمات الخارجية، تعالج سلامة الذكاء الاصطناعي المخاطر الكامنة في تصميم النظام وتشغيله نفسه. يتضمن ذلك منع العواقب غير المقصودة الناشئة عن سوء توافق الأهداف، أو نقص المتانة في البيئات الجديدة، أو الإخفاقات في تعميم Deep Learning (DL). مع زيادة استقلالية النماذج، يعمل الباحثون في منظمات مثل Center for Human-Compatible AI على ضمان توافق هذه التقنيات مع نوايا البشر ومعايير السلامة.

الركائز الأساسية للذكاء الاصطناعي الآمن#

يتطلب بناء نظام آمن معالجة العديد من التحديات التقنية التي تتجاوز مقاييس الدقة البسيطة. تضمن هذه الركائز أن نماذج Machine Learning (ML) تظل تحت السيطرة حتى عند نشرها في سيناريوهات معقدة في العالم الحقيقي.

• المتانة: يجب أن يحافظ النموذج الآمن على الأداء عند مواجهة المدخلات التالفة أو التغيرات في البيئة. ويشمل ذلك الدفاع ضد adversarial attacks، حيث يمكن للتلاعبات الطفيفة في بيانات الإدخال خداع النموذج لارتكاب أخطاء عالية الثقة.
• التوافق: يضمن هذا المبدأ أن أهداف الذكاء الاصطناعي تتطابق مع القصد الحقيقي للمصمم. غالبًا ما يحدث عدم التوافق في Reinforcement Learning عندما يتعلم النظام "التلاعب" بدالة المكافأة الخاصة به - مثل قيام روبوت تنظيف بكسر إناء لتنظيف الفوضى بسرعة أكبر. تُستخدم تقنيات مثل Reinforcement Learning from Human Feedback (RLHF) للتخفيف من حدة ذلك.
• قابلية التفسير: تُعرف أيضًا باسم Explainable AI (XAI)، ويتضمن ذلك خلق الشفافية في نماذج "الصندوق الأسود". يتيح تصور feature maps للمهندسين فهم عملية صنع القرار، مما يضمن عدم اعتماد النموذج على الارتباطات الوهمية.
• المراقبة: تُعد model monitoring المستمرة أمرًا أساسيًا لاكتشاف data drift. يجب أن تؤدي بروتوكولات السلامة إلى تنبيهات أو آليات احتياطية إذاเริ่มت بيانات العالم الحقيقي في الانحراف بشكل كبير عن training data.

تطبيقات العالم الحقيقي#

تعتبر سلامة الذكاء الاصطناعي أمراً بالغ الأهمية في المجالات عالية المخاطر حيث يمكن أن يؤدي فشل الخوارزمية إلى ضرر جسدي أو خسارة اقتصادية كبيرة.

1. المركبات ذاتية القيادة: في مجال AI in automotive، تحدد أطر السلامة كيف تتفاعل السيارة مع عدم اليقين. إذا لم يتمكن نموذج object detection من تحديد عقبة بدقة confidence عالية، فيجب أن يعود النظام افتراضيًا إلى حالة آمنة - مثل الكبح - بدلاً من التخمين. تؤكد إرشادات NHTSA Automated Vehicles guidelines على آليات الفشل الآمن هذه.

2. التشخيص الطبي: عند تطبيق AI in healthcare، تتضمن السلامة تقليل السلبيات الكاذبة في التشخيصات الحرجة. وغالبًا ما يتم ضبط الأنظمة لضمان recall عالٍ لضمان عدم تفويت أي حالة محتملة، وهي تعمل بفعالية كـ "رأي ثاني" للأطباء. تضع الهيئات التنظيمية مثل FDA Digital Health Center معايير صارمة للبرمجيات كجهاز طبي (SaMD).

تنفيذ عتبات السلامة#

تُعد إحدى أبسط آليات السلامة في الرؤية الحاسوبية هي استخدام عتبات الثقة. من خلال تصفية التنبؤات ذات الاحتمالية المنخفضة أثناء inference، يمنع المطورون الأنظمة من التصرف بناءً على معلومات ضعيفة.

يوضح المثال التالي كيفية تطبيق مرشح الأمان باستخدام Ultralytics YOLO26، مما يضمن معالجة الاكتشافات الموثوقة فقط.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

سلامة الذكاء الاصطناعي مقابل أخلاقيات الذكاء الاصطناعي#

على الرغم من استخدام هذين المصطلحين غالباً بالتبادل، إلا أنهما يعالجان جوانب مختلفة من الذكاء الاصطناعي المسؤول.

• سلامة الذكاء الاصطناعي هي تخصص هندسي تقني. وهي تسأل: "هل سيعمل هذا النظام بشكل صحيح دون التسبب في حوادث؟" وهي تتعامل مع مشاكل مثل model hallucination والاستكشاف الآمن في التعلم التعزيزي.
• AI Ethics هو إطار عمل اجتماعي تقني. وهو يسأل: "هل يجب علينا بناء هذا النظام، وهل هو عادل؟" وهي تركز على قضايا مثل algorithmic bias، وحقوق الخصوصية، والتوزيع العادل للمزايا، كما هو موضح في EU AI Act.

النظرة المستقبلية#

مع توجه الصناعة نحو Artificial General Intelligence (AGI)، يصبح بحث السلامة ذا أهمية متزايدة. يمكن للمنظمات الاستفادة من Ultralytics Platform لإدارة مجموعات البيانات الخاصة بهم والإشراف على model deployment، مما يضمن بقاء حلول الذكاء الاصطناعي الخاصة بهم قوية وشفافة ومتوافقة مع معايير السلامة طوال دورة حياتها.