مراقبة النموذج

مراقبة النموذج هي العملية المستمرة لتتبع وتقييم أداء نماذج تعلم الآلة (ML) بمجرد نشرها في بيئة الإنتاج. وهي تنطوي على مراقبة المقاييس الرئيسية المتعلقة بـ دقة النموذج، والسلامة التشغيلية، وخصائص البيانات لضمان سلوك النموذج كما هو متوقع بمرور الوقت. تُعد هذه الممارسة جزءًا بالغ الأهمية من دورة حياة عمليات تعلم الآلة (MLOps)، مما يضمن بقاء أنظمة الذكاء الاصطناعي (AI) المنشورة موثوقة وفعالة وجديرة بالثقة في البيئات الواقعية. وبدون مراقبة، يمكن أن يتدهور أداء النموذج بصمت، مما يؤدي إلى تنبؤات ضعيفة ونتائج أعمال سلبية.

لماذا تعتبر مراقبة النموذج مهمة؟

يتم تدريب نماذج تعلم الآلة على البيانات التاريخية، لكن العالم الحقيقي ديناميكي. يمكن أن تتسبب التغييرات في أنماط البيانات أو سلوك المستخدم أو البيئة في تدهور أداء النموذج بعد النشر. تشمل الأسباب الرئيسية للمراقبة ما يلي:

• اكتشاف تدهور الأداء: يمكن أن تصبح النماذج أقل دقة بمرور الوقت. تساعد المراقبة في تحديد الانخفاضات في مقاييس الأداء مثل الدقة، الاسترجاع، أو F1-score. يمكنك معرفة المزيد حول مقاييس أداء YOLO في دليلنا.
• تحديد انحراف البيانات: يمكن أن تتغير الخصائص الإحصائية لبيانات الإدخال، وهي ظاهرة تعرف باسم انحراف البيانات. يمكن أن يحدث هذا عندما تختلف البيانات التي يراها النموذج في مرحلة التشغيل اختلافًا كبيرًا عن بيانات التدريب.
• اكتشاف انحراف المفهوم: يمكن أن تتغير العلاقة بين ميزات الإدخال والمتغير المستهدف بمرور الوقت. على سبيل المثال، قد تتطور تفضيلات العملاء، مما يجعل أنماط التنبؤ القديمة عتيقة. يُعرف هذا باسم انحراف المفهوم وغالبًا ما يتطلب إعادة تدريب النموذج.
• ضمان الصحة التشغيلية: تراقب المراقبة المقاييس التشغيلية مثل زمن انتقال الاستدلال والإنتاجية ومعدلات الخطأ لضمان تشغيل البنية التحتية لـ خدمة النموذج بسلاسة.
• الحفاظ على النزاهة والأخلاقيات: يمكن أن تساعد المراقبة في الكشف عن التحيز في الذكاء الاصطناعي والتخفيف منه من خلال تتبع الأداء عبر مختلف المجموعات الديموغرافية، وتعزيز أخلاقيات الذكاء الاصطناعي.

ما هي الجوانب التي تتم مراقبتها؟

عادةً ما تتضمن المراقبة الفعالة للنماذج تتبع عدة فئات من المقاييس:

• أداء التوقع: مقاييس مثل الدقة، متوسط الدقة المتوسط (mAP)، AUC، ومعدلات الخطأ، غالبًا ما تتم مقارنتها بالمعايير التي تم تحديدها أثناء التحقق validation.
• جودة البيانات وسلامتها: تتبع القيم المفقودة وعدم تطابق أنواع البيانات وانتهاكات النطاق في بيانات الإدخال.
• انحراف بيانات الإدخال: مقاييس إحصائية (مثل مؤشر استقرار المجتمع، اختبار كولموجوروف-سميرنوف) لمقارنة توزيع ميزات إدخال الإنتاج مع توزيع بيانات التدريب.
• انحراف التوقع/الإخراج: مراقبة توزيع توقعات النموذج للكشف عن التحولات الكبيرة بمرور الوقت.
• المقاييس التشغيلية: مقاييس على مستوى النظام مثل استخدام وحدة المعالجة المركزية/وحدة معالجة الرسومات، واستخدام الذاكرة، وزمن انتقال الطلب، والإنتاجية. غالبًا ما تستخدم منصات مثل Prometheus لهذا الغرض.
• مقاييس العدالة والتحيز: تقييم التباينات في أداء النموذج عبر السمات الحساسة (مثل العمر والجنس) باستخدام مقاييس مثل التكافؤ الديموغرافي أو تكافؤ الفرص.

مراقبة النموذج مقابل المفاهيم ذات الصلة

من المهم التمييز بين مراقبة النموذج والمصطلحات المماثلة:

• إمكانية المراقبة: بينما تركز المراقبة على تتبع المقاييس المحددة مسبقًا لتقييم أوضاع الفشل المعروفة، توفر إمكانية المراقبة الأدوات (السجلات والمقاييس والتتبعات) لاستكشاف وفهم حالات النظام غير المعروفة. تتيح إمكانية المراقبة إجراء تحقيق أعمق عندما تكتشف المراقبة خللاً.
• MLOps: MLOps هي مجموعة أوسع من الممارسات التي تغطي دورة حياة تعلم الآلة بأكملها. تعد مراقبة النموذج عنصرًا حاسمًا في إطار عمل MLOps، حيث تركز تحديدًا على سلامة النموذج بعد النشر.
• تقييم النموذج: يتم إجراء التقييم عادةً قبل النشر باستخدام بيانات التحقق ثابتة أو بيانات الاختبار لتقييم جودة النموذج. المراقبة هي عملية مستمرة يتم إجراؤها على بيانات الإنتاج الحية بعد النشر. ابحث عن رؤى حول تقييم النموذج والضبط الدقيق هنا.

تطبيقات واقعية

1. أنظمة توصية التجارة الإلكترونية: تستخدم منصة تجارة إلكترونية نموذج تعلم آلي لـ نظام التوصية الخاص بها. يتتبع نظام مراقبة النموذج نسب النقر إلى الظهور (CTR) ومعدلات التحويل. إذا اكتشفت المراقبة انخفاضًا مفاجئًا في CTR (تدهور الأداء) أو تحولًا في أنواع المنتجات التي يتم شراؤها (انجراف المفهوم)، فيمكن أن تؤدي التنبيهات إلى تحقيق محتمل وإعادة تدريب النموذج. تتضمن خدمات مثل Amazon Personalize ميزات لمراقبة فعالية التوصية.
2. إدراك المركبات ذاتية القيادة: تعتمد السيارات ذاتية القيادة على نماذج رؤية الكمبيوتر مثل Ultralytics YOLO لـ اكتشاف الأجسام. تراقب مراقبة النموذج باستمرار دقة الاكتشاف وعلامات الثقة للأجسام مثل المشاة والمركبات الأخرى. كما تراقب انحراف البيانات في الصور المدخلة (مثل التغيرات في السطوع أو الطقس). إذا تدهور الأداء في ظروف معينة مثل الأمطار الغزيرة، فيمكن للنظام الإبلاغ عن الحاجة إلى تحديثات النموذج المدربة على بيانات أكثر تنوعًا، والتي ربما تم إنشاؤها باستخدام توسيع البيانات. تستثمر شركات مثل Waymo بكثافة في مراقبة أنظمة الإدراك الخاصة بها.

الأدوات والتنفيذ

يتضمن تطبيق مراقبة النموذج استخدام أدوات ومنصات متخصصة. تتراوح الخيارات من مكتبات مفتوحة المصدر مثل Evidently AI و NannyML إلى الخدمات المدارة من موفري الخدمات السحابية مثل AWS SageMaker Model Monitor و Google Vertex AI Model Monitoring و Azure Machine Learning. توفر أيضًا منصات MLOps المخصصة مثل Arize AI أو WhyLabs إمكانات مراقبة واسعة النطاق. تدعم منصات مثل Ultralytics HUB نشر النماذج وإدارتها، والتكامل مع حلول المراقبة هذه لإكمال دورة MLOps. تعتمد استراتيجيات صيانة النموذج الفعالة بشكل كبير على المراقبة القوية.