Model Monitoring

مراقبة النماذج هي الممارسة المستمرة لتتبّع أداء نماذج التعلّم الآلي (ML) وتحليله وتقييمه بعد نشرها في بيئة الإنتاج. بينما تعمل البرمجيات التقليدية عادةً بطريقة حتمية، إذ تتوقع المخرج نفسه لمدخل معيّن إلى أجل غير مسمى، تعتمد النماذج التنبؤية على أنماط إحصائية يمكن أن تتطور بمرور الوقت. ومع تغيّر البيئة الواقعية، قد تتغير البيانات التي تُغذّي هذه النماذج، مما يؤدي إلى تراجع الدقة أو الموثوقية. تضمن المراقبة استمرار أنظمة الذكاء الاصطناعي (AI) في تقديم قيمة من خلال تحديد مشكلات مثل انحراف البيانات أو انحراف المفاهيم قبل أن تؤثر سلبًا في نتائج الأعمال أو تجربة المستخدم.

أهمية الإشراف بعد النشر#

في دورة حياة عمليات تشغيل التعلّم الآلي (MLOps)، لا يُعدّ النشر خط النهاية. فالنموذج المدرَّب على بيانات تاريخية يمثل لقطة للعالم في لحظة محددة. وبمرور الوقت، يمكن للعوامل الخارجية—مثل التغيرات الموسمية والتحولات الاقتصادية أو سلوكيات المستخدمين الجديدة—أن تغيّر توزيع البيانات الأساسي. ويمكن أن تؤدي هذه الظاهرة، المعروفة باسم انحراف البيانات، إلى «إخفاقات صامتة» يُنتج فيها النموذج تنبؤات من دون رسائل خطأ، لكن جودة تلك التنبؤات تنخفض إلى ما دون المعايير المقبولة.

توفر المراقبة الفعالة رؤية واضحة لهذه التغيرات الدقيقة. ومن خلال إنشاء خطوط أساس باستخدام بيانات التحقق ومقارنتها بتدفقات الإنتاج المباشرة، تستطيع الفرق الهندسية اكتشاف الحالات الشاذة مبكرًا. ويتيح هذا النهج الاستباقي إجراء إعادة تدريب النماذج أو تحديثها في الوقت المناسب، مما يضمن بقاء أنظمة مثل المركبات ذاتية القيادة أو خوارزميات اكتشاف الاحتيال آمنة وفعالة.

المقاييس الرئيسية في مراقبة النماذج#

للحفاظ على سلامة نظام ML، يتتبع الممارسون مجموعة متنوعة من المقاييس التي تندرج عمومًا ضمن ثلاث فئات:

• مقاييس موثوقية الخدمة: تتتبع هذه المقاييس الحالة التشغيلية لـمحرك الاستدلال. وتشمل المؤشرات الرئيسية زمن استجابة الاستدلال (المدة التي يستغرقها التنبؤ) واستخدام موارد النظام، مثل استخدام ذاكرة GPU. وتُستخدم أدوات مثل بروميثيوس عادةً لجمع هذه المقاييس على مستوى النظام وتخزينها.
• مقاييس جودة البيانات: تضمن هذه المقاييس توافق بيانات الإدخال مع المخطط والتوزيع الإحصائي المتوقعين. فعلى سبيل المثال، قد تشير زيادة مفاجئة في القيم المفقودة أو تغيّر متوسط قيمة إحدى السمات إلى تعطل مسار بيانات المنبع. وتساعد الاختبارات الإحصائية مثل اختبار كولموغوروف-سميرنوف في قياس المسافة بين توزيعي بيانات التدريب والإنتاج.
• مقاييس الأداء: من الناحية المثالية، تراقب الفرق مقاييس الحقيقة الأساسية مثل الدقة والإحكام والاستدعاء. إلا أن التسميات الحقيقية غالبًا ما تتأخر أو لا تكون متاحة في بيئة الإنتاج. وفي هذه الحالات، تُستخدم مقاييس بديلة مثل درجات الثقة في التنبؤ أو استقرار توزيع المخرجات لتقييم الحالة.

التطبيقات الواقعية#

تُعدّ مراقبة النماذج أمرًا بالغ الأهمية في مختلف القطاعات التي تؤثر فيها القرارات المؤتمتة في العمليات والسلامة:

• الرؤية الحاسوبية في التصنيع: في التصنيع الذكي، تكتشف نماذج الفحص البصري العيوب على خطوط التجميع. وبمرور الوقت، قد تتراكم الأتربة على عدسات الكاميرات أو قد تتغير إضاءة المصنع، مما يتسبب في تصنيف النموذج للأجزاء غير المعيبة على أنها معيبة. تساعد مراقبة معدل الاكتشافات الإيجابية في تحديد هذا الانحراف، مما يدفع إلى إجراء الصيانة أو إعادة المعايرة باستخدام Ultralytics Platform.
• اكتشاف الاحتيال المالي: تستخدم البنوك ML لوضع علامات على المعاملات المشبوهة. ويعمل المجرمون باستمرار على تكييف استراتيجياتهم للتهرب من الاكتشاف، مما يؤدي إلى انحراف المفاهيم. ومن خلال مراقبة نسبة المعاملات التي وُضعت عليها علامات والتحقيق في ملاحظات المراجعين البشريين، يستطيع علماء البيانات تحديث النماذج بسرعة للتعرف على أنماط الاحتيال الجديدة.

المراقبة مقابل قابلية الملاحظة#

من المفيد التمييز بين المراقبة وقابلية الملاحظة، إذ تؤديان أدوارًا متكاملة. تركز مراقبة النماذج عادةً على الاستجابة للأحداث وعلى «المجهولات المعروفة»، باستخدام لوحات المعلومات لتنبيه الفرق عندما تتجاوز مقاييس محددة عتبة معينة (مثل انخفاض الدقة إلى أقل من 90%). أما قابلية الملاحظة فتتعمق في «المجهولات غير المعروفة»، إذ توفر سجلات وآثارًا تفصيلية تتيح للمهندسين تصحيح سبب فشل تنبؤ معين أو سبب إظهار النموذج تحيزًا في الذكاء الاصطناعي ضد فئة سكانية معينة.

مثال: تتبّع الثقة في التنبؤات#

تتمثل إحدى الطرق البسيطة لمراقبة حالة نموذج للرؤية الحاسوبية في تتبّع متوسط الثقة في تنبؤاته. وقد يشير الانخفاض الكبير في الثقة إلى أن النموذج يواجه بيانات لم يُدرَّب على التعامل معها.

فيما يلي مثال بلغة Python يستخدم YOLO26 لاستخراج درجات الثقة من مجموعة من الصور لأغراض المراقبة:

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

يتيح تسجيل هذه الإحصاءات بانتظام للفرق تصور الاتجاهات بمرور الوقت باستخدام أدوات مثل Grafana أو ميزات المراقبة ضمن Ultralytics Platform، مما يضمن بقاء النماذج متينة في البيئات الديناميكية.