AI Safety

سلامة الذكاء الاصطناعي (AI Safety) هي مجال متعدد التخصصات يركز على ضمان عمل أنظمة الذكاء الاصطناعي (AI) بشكل موثوق ويمكن التنبؤ به وبطريقة نافعة. على عكس الأمن السيبراني، الذي يحمي الأنظمة من الهجمات الخارجية، تعالج سلامة الذكاء الاصطناعي المخاطر الكامنة في تصميم النظام وتشغيله نفسه. يتضمن ذلك منع العواقب غير المقصودة الناتجة عن عدم توافق الأهداف، أو نقص المتانة في البيئات الجديدة، أو الإخفاقات في تعميم التعلم العميق (DL). ومع زيادة استقلالية النماذج، يعمل الباحثون في منظمات مثل مركز الذكاء الاصطناعي المتوافق مع البشر لضمان توافق هذه التقنيات مع النوايا البشرية ومعايير السلامة.

Link to this sectionالركائز الأساسية للذكاء الاصطناعي الآمن#

يتطلب بناء نظام آمن معالجة العديد من التحديات التقنية التي تتجاوز مجرد مقاييس الدقة البسيطة. تضمن هذه الركائز بقاء نماذج التعلم الآلي (ML) تحت السيطرة حتى عند نشرها في سيناريوهات معقدة وواقعية.

• المتانة: يجب أن يحافظ النموذج الآمن على أدائه عند مواجهة مدخلات تالفة أو تغيرات في البيئة. يشمل ذلك الدفاع ضد الهجمات العدائية، حيث يمكن أن تؤدي التلاعبات الطفيفة في بيانات الإدخال إلى خداع النموذج لارتكاب أخطاء ذات ثقة عالية.
• المواءمة: يضمن هذا المبدأ تطابق أهداف الذكاء الاصطناعي مع النية الحقيقية للمصمم. غالباً ما يحدث عدم التوافق في التعلم التعزيزي عندما يتعلم النظام "التلاعب" بدالة المكافأة الخاصة به - مثل روبوت تنظيف يكسر مزهرية لينهي مهام التنظيف بشكل أسرع. تُستخدم تقنيات مثل التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) للتخفيف من حدة ذلك.
• القابلية للتفسير: المعروفة أيضاً باسم الذكاء الاصطناعي القابل للتفسير (XAI)، وتتضمن خلق شفافية في نماذج "الصندوق الأسود". يسمح تصور خرائط الميزات للمهندسين بفهم عملية اتخاذ القرار، مما يضمن أن النموذج لا يعتمد على ارتباطات زائفة.
• المراقبة: تعد مراقبة النموذج المستمرة ضرورية لاكتشاف انحراف البيانات. يجب أن تقوم بروتوكولات السلامة بتفعيل تنبيهات أو آليات احتياطية إذا بدأت بيانات العالم الحقيقي في التباعد بشكل كبير عن بيانات التدريب.

Link to this sectionتطبيقات العالم الحقيقي#

تعتبر سلامة الذكاء الاصطناعي أمراً بالغ الأهمية في المجالات عالية المخاطر حيث يمكن أن يؤدي فشل الخوارزمية إلى ضرر جسدي أو خسارة اقتصادية كبيرة.

1. المركبات ذاتية القيادة: في مجال الذكاء الاصطناعي في السيارات، تحدد أطر السلامة كيفية تفاعل السيارة مع عدم اليقين. إذا لم يتمكن نموذج اكتشاف الكائنات من تحديد عقبة بـ ثقة عالية، يجب أن ينتقل النظام تلقائياً إلى حالة آمنة - مثل الكبح - بدلاً من التخمين. تؤكد إرشادات المركبات الآلية الصادرة عن NHTSA على هذه الآليات الفاشلة الآمنة.

2. التشخيص الطبي: عند تطبيق الذكاء الاصطناعي في الرعاية الصحية، تتضمن السلامة تقليل النتائج السلبية الكاذبة في التشخيصات الحرجة. غالباً ما يتم ضبط الأنظمة للحصول على استدعاء عالٍ لضمان عدم تفويت أي حالة محتملة، مما يجعلها تعمل بفعالية كـ "رأي ثانٍ" للأطباء. تضع الهيئات التنظيمية مثل مركز الصحة الرقمية التابع لـ FDA معايير صارمة للبرمجيات كأجهزة طبية (SaMD).

Link to this sectionتنفيذ عتبات السلامة#

إحدى آليات السلامة الأساسية في الرؤية الحاسوبية هي استخدام عتبات الثقة. من خلال تصفية التنبؤات منخفضة الاحتمالية أثناء الاستدلال، يمنع المطورون الأنظمة من التصرف بناءً على معلومات ضعيفة.

يوضح المثال التالي كيفية تطبيق مرشح سلامة باستخدام Ultralytics YOLO26، مما يضمن معالجة الاكتشافات الموثوقة فقط.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

Link to this sectionسلامة الذكاء الاصطناعي مقابل أخلاقيات الذكاء الاصطناعي#

على الرغم من استخدام هذين المصطلحين غالباً بالتبادل، إلا أنهما يعالجان جوانب مختلفة من الذكاء الاصطناعي المسؤول.

• سلامة الذكاء الاصطناعي هي تخصص هندسي تقني. فهي تطرح السؤال: "هل سيعمل هذا النظام بشكل صحيح دون التسبب في حوادث؟" وتتعامل مع مشكلات مثل هلوسة النماذج والاستكشاف الآمن في التعلم التعزيزي.
• أخلاقيات الذكاء الاصطناعي هي إطار عمل اجتماعي تقني. وهي تطرح السؤال: "هل يجب علينا بناء هذا النظام، وهل هو عادل؟" وتركز على قضايا مثل التحيز الخوارزمي، وحقوق الخصوصية، والتوزيع العادل للفوائد، كما هو موضح في قانون الذكاء الاصطناعي للاتحاد الأوروبي.

Link to this sectionالنظرة المستقبلية#

مع توجه الصناعة نحو الذكاء الاصطناعي العام (AGI)، أصبحت أبحاث السلامة بالغة الأهمية بشكل متزايد. يمكن للمؤسسات الاستفادة من منصة Ultralytics لإدارة مجموعات البيانات الخاصة بها والإشراف على نشر النموذج، مما يضمن بقاء حلول الذكاء الاصطناعي الخاصة بها قوية وشفافة ومتوافقة مع معايير السلامة طوال دورة حياتها.