Model Monitoring

مراقبة النموذج هي الممارسة المستمرة لتتبع وتحليل وتقييم أداء نماذج تعلم الآلة (ML) بعد نشرها في بيئة الإنتاج. بينما تعمل البرمجيات التقليدية عادةً بشكل حتمي—حيث تتوقع نفس المخرجات لمدخلات معينة إلى أجل غير مسمى—تعتمد النماذج التنبؤية على أنماط إحصائية يمكن أن تتطور بمرور الوقت. ومع تغير بيئة العالم الحقيقي، قد تتغير البيانات التي تغذي هذه النماذج، مما يسبب تدهوراً في الدقة أو الموثوقية. تضمن المراقبة استمرار أنظمة الذكاء الاصطناعي (AI) في تقديم القيمة من خلال تحديد مشكلات مثل انحراف البيانات (data drift) أو انحراف المفاهيم قبل أن تؤثر سلباً على نتائج الأعمال أو تجربة المستخدم.

Link to this sectionأهمية الإشراف بعد النشر#

في دورة حياة عمليات تعلم الآلة (MLOps)، لا يعتبر النشر هو خط النهاية. فالنموذج الذي تم تدريبه على بيانات تاريخية يمثل لقطة للعالم في لحظة معينة. وبمرور الوقت، يمكن لعوامل خارجية—مثل التغيرات الموسمية، أو التحولات الاقتصادية، أو سلوكيات المستخدمين الجديدة—أن تغير توزيع البيانات الأساسي. هذه الظاهرة، المعروفة باسم انحراف البيانات (data drift)، يمكن أن تؤدي إلى "إخفاقات صامتة" حيث ينتج النموذج تنبؤات دون رسائل خطأ، لكن جودة تلك التنبؤات تنخفض إلى ما دون المعايير المقبولة.

توفر المراقبة الفعالة رؤية لهذه التغيرات الطفيفة. من خلال إنشاء خطوط أساس باستخدام بيانات التحقق (validation data) ومقارنتها بتدفقات الإنتاج الحية، يمكن لفرق الهندسة اكتشاف الشذوذ مبكراً. يسمح هذا النهج الاستباقي بإجراء إعادة تدريب للنموذج (model retraining) أو تحديثات في الوقت المناسب، مما يضمن بقاء أنظمة مثل المركبات ذاتية القيادة (autonomous vehicles) أو خوارزميات كشف الاحتيال آمنة وفعالة.

Link to this sectionالمقاييس الرئيسية في مراقبة النموذج#

للحفاظ على نظام ML صحي، يتتبع الممارسون مجموعة متنوعة من المقاييس التي تندرج عموماً ضمن ثلاث فئات:

• مقاييس موثوقية الخدمة: تتتبع هذه المقاييس الصحة التشغيلية لـ محرك الاستدلال (inference engine). تشمل المؤشرات الرئيسية زمن انتقال الاستدلال (inference latency) (الوقت المستغرق للحصول على تنبؤ) واستخدام موارد النظام، مثل استخدام ذاكرة GPU. تُستخدم أدوات مثل Prometheus بشكل شائع لجمع وتخزين هذه المقاييس على مستوى النظام.
• مقاييس جودة البيانات: تضمن هذه المقاييس توافق بيانات المدخلات مع المخطط والتوزيع الإحصائي المتوقع. على سبيل المثال، قد يشير ارتفاع مفاجئ في القيم المفقودة أو تغير في متوسط قيمة ميزة معينة إلى وجود خلل في خط أنابيب البيانات في المراحل الأولية. تساعد الاختبارات الإحصائية مثل اختبار Kolmogorov-Smirnov في قياس المسافة بين توزيعات التدريب والإنتاج.
• مقاييس الأداء: من الناحية المثالية، تراقب الفرق مقاييس الحقيقة الأساسية مثل الدقة (accuracy)، والإحكام (precision)، والاستدعاء (recall). ومع ذلك، في الإنتاج، غالباً ما تكون التسميات الحقيقية متأخرة أو غير متاحة. في مثل هذه الحالات، تُستخدم مقاييس بديلة مثل درجات الثقة (confidence) في التنبؤ أو استقرار توزيع المخرجات لقياس الحالة الصحية.

Link to this sectionتطبيقات العالم الحقيقي#

تعد مراقبة النموذج أمراً بالغ الأهمية عبر مختلف الصناعات حيث تؤثر القرارات المؤتمتة على العمليات والسلامة:

• الرؤية الحاسوبية في التصنيع: في التصنيع الذكي (smart manufacturing)، تكتشف نماذج الفحص البصري العيوب في خطوط التجميع. بمرور الوقت، قد تتراكم الأتربة على عدسات الكاميرا، أو قد تتغير إضاءة المصنع، مما يؤدي إلى تصنيف النموذج للأجزاء السليمة بشكل خاطئ على أنها معيبة. تساعد مراقبة معدل الاكتشافات الإيجابية في تحديد هذا الانحراف، مما يستدعي إجراء صيانة أو إعادة معايرة باستخدام Ultralytics Platform.
• كشف الاحتيال المالي: تستخدم البنوك ML لتحديد المعاملات المشبوهة. يقوم المجرمون بتكييف استراتيجياتهم باستمرار للتهرب من الكشف، مما يؤدي إلى انحراف المفاهيم. من خلال مراقبة نسبة المعاملات التي تم تحديدها والتحقيق في ملاحظات المراجعين البشريين، يمكن لعلماء البيانات تحديث النماذج بسرعة للتعرف على أنماط الاحتيال الجديدة.

Link to this sectionالمراقبة مقابل القابلية للملاحظة#

من المفيد التمييز بين المراقبة والقابلية للملاحظة (observability)، حيث تؤديان أدواراً تكميلية. عادة ما تكون مراقبة النموذج تفاعلية وتركز على "المجاهيل المعروفة"، باستخدام لوحات المعلومات لتنبيه الفرق عند تجاوز مقاييس معينة لعتبة ما (على سبيل المثال، انخفاض الدقة عن 90%). أما القابلية للملاحظة فتعمق البحث في "المجاهيل غير المعروفة"، وتوفر سجلات (logs) وآثاراً دقيقة تسمح للمهندسين بتصحيح لماذا فشل تنبؤ معين أو لماذا يظهر النموذج انحيازاً في الذكاء الاصطناعي (bias in AI) ضد فئة ديموغرافية معينة.

Link to this sectionمثال: تتبع ثقة التنبؤ#

طريقة بسيطة لمراقبة صحة نموذج الرؤية الحاسوبية هي تتبع متوسط ثقة تنبؤاته. قد يشير انخفاض كبير في الثقة إلى أن النموذج يواجه بيانات لم يتم تدريبه على التعامل معها.

إليك مثال بلغة Python يستخدم YOLO26 لاستخراج درجات الثقة من مجموعة من الصور لأغراض المراقبة:

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

يسمح تسجيل هذه الإحصائيات بانتظام للفرق بتصور الاتجاهات بمرور الوقت باستخدام أدوات مثل Grafana أو ميزات المراقبة داخل Ultralytics Platform، مما يضمن بقاء النماذج قوية في البيئات الديناميكية.