Model Monitoring

مراقبة النماذج هي القياس المستمر لمدخلات نموذج التعلم الآلي المنشور ومخرجاته وأدائه وسلامة خدمته، مع إطلاق تنبيهات عندما يخرج أي منها عن النطاق المتوقع. وغالبًا ما تكون إخفاقات النماذج صامتة: إذ يواصل كاشف إرجاع صناديق ذات درجات ثقة معقولة بعد نقل الكاميرا أو اتساخ العدسة أو إعادة تصميم المنتج، ولا يتغير إلا مستوى دقته. تقارن المراقبة السلوك الحي بمرجع، عادةً بيانات التحقق التي اعتُمد النموذج بناءً عليها، كي تكتشف الفرق انحراف البيانات وتراجع الدقة عبر لوحات المعلومات بدلًا من اكتشافهما من المستخدمين. وتغلق المراقبة حلقة عمليات التعلم الآلي (MLOps) بعد نشر النموذج، وتحدد وقت حاجة النموذج إلى إعادة التدريب.

ما ينبغي مراقبته#

تغطي مراقبة الإنتاج عادةً أربع طبقات:

• زمن استجابة الاستدلال وصحة الخدمة: معدل الطلبات ومعدل الأخطاء وزمن الاستجابة عند p95 وp99 وذاكرة GPU واستخدامها، وغالبًا ما تُجمع هذه البيانات باستخدام Prometheus وتُعرض في Grafana.
• بيانات الإدخال: مخالفات المخطط والقيم المفقودة والتحولات في إحصاءات السمات أو الصور، مثل السطوع أو الدقة أو حجم الجسم.
• ثقة التنبؤ وتوزيع المخرجات: توزيع الفئات وعدد الاكتشافات لكل صورة ودرجات الثقة. ويُعد التحول هنا، المسمى انحراف التنبؤ، إنذارًا مبكرًا قبل توفر التسميات.
• أداء النموذج: الدقة والإحكام والاستدعاء أو mAP، وتُحسب هذه المقاييس عند توفر الحقيقة الأساسية. فقد لا تصل تسميات الاحتيال إلا بعد أسابيع في صورة عمليات ردّ المبالغ، بينما تضع فرق الرؤية تسميات يدويًا لعينة من صور الإنتاج.

تدمج Ultralytics Platform طبقة التنبؤ في نقاط النهاية المخصصة: تعرض علامة تبويب المراقبة مخططًا لتوزيع الثقة في نموذج YOLO المنشور، ومتوسط الثقة بمرور الوقت، وأهم الفئات، والتنبؤات لكل صورة؛ ويمكن حفظ الصور الحديثة مع تنبؤاتها في مجموعة بيانات للمراجعة وإعادة التدريب. ويشرح كل من دليل مراقبة النماذج وصيانتها ودرس Ultralytics Academy قابلية الرصد والانحراف فحوص الانحراف في عمليات نشر YOLO.

يتسبب نوعان من التغير في معظم حالات التدهور. يغيّر انحراف البيانات، المسمى أيضًا تحول المتغيرات المشتركة، المدخلات؛ كما يحدث عند نقل كاميرا فحص على خط تصنيع أو تغير الإضاءة. أما انحراف المفهوم فيغيّر العلاقة بين المدخلات والإجابات الصحيحة، كما يحدث عندما يغير المحتالون أساليبهم وتصبح المعاملات العادية سابقًا احتيالية. تكشف إحصاءات المدخلات انحراف البيانات مباشرةً، ولا يظهر انحراف المفهوم إلا في مقاييس الأداء عند وصول التسميات. ويُعد كلاهما من أكثر أسباب إخفاق نماذج الرؤية الحاسوبية في الإنتاج شيوعًا.

اكتشاف الانحراف#

يقارن فحص شائع للانحراف توزيع إحصاء حي بالمرجع باستخدام اختبار كولموغوروف-سميرنوف لعينتين، الذي يقيس أكبر فجوة بين توزيعين تراكميين. يطبّق هذا النص البرمجي الاختبار على درجات ثقة اكتشاف محاكاة: عينة مرجعية من التحقق، وأسبوع إنتاج يطابقها، وأسبوع انخفضت فيه القيم:

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Detection confidences logged at validation time form the reference distribution
reference = rng.beta(8, 2, size=2000)

# Two simulated production windows: one like the reference, one shifted lower
windows = {"week 1": rng.beta(8, 2, size=500), "week 2": rng.beta(5, 3, size=500)}

for name, live in windows.items():
    # Two-sample Kolmogorov-Smirnov test: do both samples come from one distribution?
    result = ks_2samp(reference, live)
    drift = result.pvalue < 0.01
    print(f"{name}: mean {live.mean():.2f}, KS {result.statistic:.3f}, p {result.pvalue:.1e}, drift {drift}")

يجتاز الأسبوع الأول الاختبار بإحصاء KS يبلغ 0.037 وقيمة p = 0.64. وفي الأسبوع الثاني، ينخفض متوسط الثقة إلى 0.63 مقارنةً بـ0.80 في الأسبوع الأول، ويكشف إحصاء KS البالغ 0.456 مع p = 1.2e-75 وجود انحراف. ومع آلاف كثيرة من العينات، تصبح حتى التحولات غير الضارة ذات دلالة إحصائية، لذا تطلق فحوص الإنتاج التنبيهات غالبًا عند تجاوز إحصاء KS أو مؤشر استقرار المجتمع (PSI) عتبة ثابتة. وتجمع مكتبات مفتوحة المصدر مثل Evidently وNannyML هذه الاختبارات في تقارير الانحراف، كما تقدّر NannyML دقة المصنّف دون تسميات باستخدام درجات الثقة المعايرة. وتوفر Amazon SageMaker Model Monitor وVertex AI Model Monitoring الفحوص نفسها بوصفها خدمات مُدارة. ويبدأ التنبيه عندئذٍ تحقيقًا:

المراقبة مقارنةً بقابلية الرصد والتقييم#

• قابلية الرصد: السجلات والتتبعات والمدخلات المخزنة التي تفسر سبب إطلاق التنبيه. تشغّل المراقبة فحوصًا محددة مسبقًا، ويقدم كثير من الموردين المجالين معًا باسم قابلية رصد التعلم الآلي.
• تقييم النموذج: يقيس درجات النموذج على مجموعة اختبار محجوبة قبل الإصدار. وتكرر المراقبة القياس نفسه على حركة المرور الحية طوال فترة تقديم النموذج للخدمة.
• تتبع التجارب: يسجل عمليات التدريب أثناء التطوير، قبل توفر أي بيانات إنتاج.