AI Safety
تعلّم الركائز الأساسية لسلامة الذكاء الاصطناعي، بما في ذلك المواءمة والمتانة. اكتشف كيفية نشر نماذج موثوقة باستخدام Ultralytics YOLO26 وضمان موثوقية الذكاء الاصطناعي.
سلامة الذكاء الاصطناعي مجال متعدد التخصصات يركز على ضمان عمل أنظمة الذكاء الاصطناعي (AI) بصورة موثوقة وقابلة للتنبؤ ومفيدة. وعلى خلاف الأمن السيبراني، الذي يحمي الأنظمة من الهجمات الخارجية، تتناول سلامة الذكاء الاصطناعي المخاطر الكامنة في تصميم النظام نفسه وتشغيله. ويشمل ذلك منع العواقب غير المقصودة الناشئة عن عدم توافق الأهداف، أو ضعف المتانة في البيئات الجديدة، أو إخفاقات التعميم في التعلم العميق (DL). ومع ازدياد استقلالية النماذج، يعمل الباحثون في مؤسسات مثل مركز الذكاء الاصطناعي المتوافق مع البشر على ضمان توافق هذه التقنيات مع النوايا البشرية ومعايير السلامة.
الركائز الأساسية للذكاء الاصطناعي الآمن#
يتطلب بناء نظام آمن معالجة عدة تحديات تقنية تتجاوز مقاييس الدقة البسيطة. وتضمن هذه الركائز بقاء نماذج [التعلم الآلي (ML)](https://ultralytics-translation-0.invalid تحت السيطرة حتى عند نشرها في سيناريوهات معقدة من العالم الحقيقي.
- المتانة: يجب أن يحافظ النموذج الآمن على أدائه عند مواجهة مدخلات تالفة أو تغيرات في البيئة. ويشمل ذلك الحماية من الهجمات الخصمية، حيث يمكن للتلاعبات الطفيفة في بيانات الإدخال أن تخدع النموذج لارتكاب أخطاء عالية الثقة.
- المواءمة: يضمن هذا المبدأ توافق أهداف الذكاء الاصطناعي مع النية الحقيقية للمصمم. وغالبًا ما يحدث عدم التوافق في التعلم المعزز عندما يتعلم النظام «التحايل» على دالة المكافأة الخاصة به—مثل روبوت تنظيف يكسر مزهرية لتنظيف الفوضى بسرعة أكبر. وتُستخدم تقنيات مثل التعلم المعزز من الملاحظات البشرية (RLHF) للتخفيف من ذلك.
- قابلية التفسير: تُعرف أيضًا باسم الذكاء الاصطناعي القابل للتفسير (XAI)، وتتضمن تحقيق الشفافية في نماذج «الصندوق الأسود». ويتيح تصور خرائط السمات للمهندسين فهم عملية اتخاذ القرار، بما يضمن عدم اعتماد النموذج على ارتباطات زائفة.
- المراقبة: تُعد مراقبة النموذج المستمرة ضرورية لاكتشاف انجراف البيانات. ويجب أن تؤدي بروتوكولات السلامة إلى تشغيل التنبيهات أو آليات الرجوع الاحتياطية إذا بدأت بيانات العالم الحقيقي في الانحراف بدرجة كبيرة عن بيانات التدريب.
التطبيقات الواقعية#
تُعد سلامة الذكاء الاصطناعي بالغة الأهمية في المجالات عالية المخاطر، حيث قد يؤدي فشل الخوارزميات إلى أذى جسدي أو خسارة اقتصادية كبيرة.
-
المركبات ذاتية القيادة: في مجال الذكاء الاصطناعي في قطاع السيارات، تحدد أطر السلامة كيفية استجابة السيارة لحالات عدم اليقين. وإذا تعذر على نموذج [اكتشاف الأجسام](https://ultralytics-translation-1.invalid تحديد عائق بدرجة ثقة عالية، فيجب أن ينتقل النظام إلى حالة آمنة—مثل الكبح—بدلًا من التخمين. وتؤكد إرشادات NHTSA للمركبات الآلية على آليات الأمان عند الفشل هذه.
-
التشخيص الطبي: عند تطبيق الذكاء الاصطناعي في الرعاية الصحية، تنطوي السلامة على تقليل النتائج السلبية الكاذبة في التشخيصات الحرجة. وغالبًا ما تُضبط الأنظمة لتحقيق استرجاع مرتفع لضمان عدم إغفال أي حالة محتملة، فتعمل فعليًا بمثابة «رأي ثانٍ» للأطباء. وتضع الهيئات التنظيمية مثل مركز FDA للصحة الرقمية معايير صارمة للبرمجيات بوصفها جهازًا طبيًا (SaMD).
تطبيق حدود السلامة#
تتمثل إحدى أبسط آليات السلامة في الرؤية الحاسوبية في استخدام حدود الثقة. ومن خلال تصفية التنبؤات منخفضة الاحتمال أثناء الاستدلال، يمنع المطورون الأنظمة من التصرف بناءً على معلومات ضعيفة.
يوضح المثال التالي كيفية تطبيق مرشح للسلامة باستخدام Ultralytics YOLO26، بما يضمن معالجة الاكتشافات الموثوقة فقط.
from ultralytics import YOLO
# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")
# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)
# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")سلامة الذكاء الاصطناعي في مقابل أخلاقيات الذكاء الاصطناعي#
على الرغم من استخدام هذين المصطلحين غالبًا بالتبادل، فإنهما يتناولان جوانب مختلفة من الذكاء الاصطناعي المسؤول.
- سلامة الذكاء الاصطناعي هي تخصص هندسي تقني. وهي تطرح السؤال: «هل سيعمل هذا النظام بصورة صحيحة من دون التسبب في حوادث؟» وتتعامل مع مشكلات مثل هلوسة النموذج والاستكشاف الآمن في التعلم المعزز.
- أخلاقيات الذكاء الاصطناعي هي إطار اجتماعي تقني. وهي تطرح السؤال: «هل ينبغي لنا بناء هذا النظام، وهل هو عادل؟» وتركز على قضايا مثل التحيز الخوارزمي، وحقوق الخصوصية، والتوزيع العادل للمنافع، كما هو موضح في قانون الذكاء الاصطناعي للاتحاد الأوروبي.
التوقعات المستقبلية#
مع توجه الصناعة نحو الذكاء الاصطناعي العام (AGI)، تزداد أهمية أبحاث السلامة بصورة ملحوظة. ويمكن للمؤسسات الاستفادة من منصة Ultralytics لإدارة مجموعات بياناتها والإشراف على نشر النموذج، بما يضمن بقاء حلول الذكاء الاصطناعي الخاصة بها متينة وشفافة ومتوافقة مع معايير السلامة طوال دورة حياتها.
