Yolo فيجن شنتشن
شنتشن
انضم الآن
مسرد المصطلحات

السلامة في الذكاء الاصطناعي

تعرف على الركائز الأساسية لسلامة الذكاء الاصطناعي، بما في ذلك التوافق والمتانة. اكتشف كيفية نشر نماذج موثوقة باستخدام Ultralytics وضمان موثوقية الذكاء الاصطناعي.

سلامة الذكاء الاصطناعي هو مجال متعدد التخصصات يركز على ضمان أن أنظمة الذكاء الاصطناعي (AI) تعمل بشكل موثوق ويمكن التنبؤ به ومفيد. على عكس الأمن السيبراني، الذي يحمي الأنظمة من الهجمات الخارجية، تتناول سلامة الذكاء الاصطناعي المخاطر الكامنة في تصميم وتشغيل النظام نفسه. ويشمل ذلك منع العواقب غير المقصودة الناجمة عن عدم توافق الأهداف، أو الافتقار إلى المتانة في البيئات الجديدة، أو الفشل في تعميم التعلم العميق (DL). مع زيادة استقلالية النماذج، يعمل الباحثون في مؤسسات مثل مركز الذكاء الاصطناعي المتوافق مع الإنسان على ضمان توافق هذه التقنيات مع القصد البشري ومعايير السلامة.

الركائز الأساسية للذكاء الاصطناعي الآمن

يتطلب بناء نظام آمن معالجة العديد من التحديات التقنية التي تتجاوز مقاييس الدقة البسيطة. تضمن هذه الركائز أن تظل نماذج التعلم الآلي (ML) تحت السيطرة حتى عند نشرها في سيناريوهات معقدة في العالم الحقيقي.

  • المتانة: يجب أن يحافظ النموذج الآمن على أدائه عند مواجهة مدخلات تالفة أو تغييرات في البيئة. ويشمل ذلك الدفاع ضد الهجمات العدائية، حيث يمكن أن تؤدي التلاعبات الدقيقة ببيانات الإدخال إلى خداع النموذج لارتكاب أخطاء عالية الثقة.
  • المواءمة: يضمن هذا المبدأ أن أهداف الذكاء الاصطناعي تتوافق مع النية الحقيقية للمصمم. غالبًا ما يحدث عدم المواءمة في التعلم المعزز عندما يتعلم النظام "التلاعب" بوظيفة المكافأة الخاصة به — مثل روبوت التنظيف الذي يكسر مزهرية لتنظيف الفوضى بشكل أسرع. تُستخدم تقنيات مثل التعلم المعزز من ردود فعل البشر (RLHF) للتخفيف من هذا الأمر.
  • قابلية التفسير: تُعرف أيضًا باسم الذكاء الاصطناعي القابل للتفسير (XAI)، وتشمل خلق الشفافية في نماذج "الصندوق الأسود". تتيح تصور خرائط الميزات للمهندسين فهم عملية صنع القرار، مما يضمن عدم اعتماد النموذج على ارتباطات زائفة.
  • detect راقبة: تعد المراقبة المستمرة للنموذج أمرًا ضروريًا لاكتشاف انحراف البيانات. يجب أن تؤدي بروتوكولات السلامة إلى تشغيل الإنذارات أو آليات الاحتياطية إذا بدأت البيانات الواقعية في الاختلاف بشكل كبير عن بيانات التدريب.

تطبيقات واقعية

تعد سلامة الذكاء الاصطناعي أمرًا بالغ الأهمية في المجالات عالية المخاطر حيث يمكن أن يؤدي فشل الخوارزميات إلى أضرار مادية أو خسائر اقتصادية كبيرة .

  1. المركبات ذاتية القيادة: في مجال الذكاء الاصطناعي في صناعة السيارات، تحدد أطر السلامة كيفية تفاعل السيارة مع حالات عدم اليقين. إذا لم يتمكن نموذج الكشف عن الأجسام من تحديد عقبة ما بثقة عالية، يجب أن يتحول النظام تلقائيًا إلى حالة آمنة — مثل الكبح — بدلاً من التخمين. تركز إرشادات المركبات الآلية الصادرة عن الإدارة الوطنية لسلامة المرور على الطرق السريعة على آليات الأمان هذه.
  2. التشخيص الطبي: عند تطبيق الذكاء الاصطناعي في الرعاية الصحية، تتضمن السلامة تقليل النتائج السلبية الخاطئة في التشخيصات الحرجة. غالبًا ما يتم ضبط الأنظمة للحصول على استرجاع عالٍ لضمان عدم تفويت أي حالة محتملة، وهي تعمل بشكل فعال كـ "رأي ثانٍ" للأطباء. تضع الهيئات التنظيمية مثل مركز الصحة الرقمية التابع لإدارة الغذاء والدواء الأمريكية معايير صارمة للبرمجيات كأجهزة طبية (SaMD).

تنفيذ عتبات السلامة

أحد آليات الأمان الأساسية في الرؤية الحاسوبية هو استخدام عتبات الثقة. من خلال تصفية التنبؤات ذات الاحتمالية المنخفضة أثناء الاستدلال، يمنع المطورون الأنظمة من العمل بناءً على معلومات ضعيفة.

يوضح المثال التالي كيفية تطبيق مرشح أمان باستخدام Ultralytics لضمان معالجة الاكتشافات الموثوقة فقط .

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

السلامة في الذكاء الاصطناعي مقابل أخلاقيات الذكاء الاصطناعي

على الرغم من أن هذه المصطلحات غالبًا ما تستخدم بشكل متبادل، إلا أنها تتناول جوانب مختلفة من الذكاء الاصطناعي المسؤول.

التوقعات المستقبلية

مع تقدم الصناعة نحو الذكاء الاصطناعي العام (AGI)، أصبحت أبحاث السلامة أكثر أهمية. يمكن للمؤسسات الاستفادة من Ultralytics لإدارة مجموعات البيانات الخاصة بها والإشراف على نشر النماذج، مما يضمن أن تظل حلول الذكاء الاصطناعي الخاصة بها قوية وشفافة ومتوافقة مع معايير السلامة طوال دورة حياتها.

انضم إلى مجتمع Ultralytics

انضم إلى مستقبل الذكاء الاصطناعي. تواصل وتعاون وانمو مع المبتكرين العالميين

انضم الآن