Data Drift

انجراف البيانات هو تغير في التوزيع الإحصائي لبيانات الإدخال التي يتلقاها نموذج منشور، مقارنةً بالبيانات التي دُرّب عليها. تفترض النماذج أن مدخلات الإنتاج تأتي من التوزيع نفسه الذي تأتي منه بيانات التدريب، وعندما ينتقض هذا الافتراض، قد تنخفض الدقة من دون رسالة خطأ أو تغيير في شيفرة النموذج أو أوزانه. تشمل الأسباب الشائعة في أنظمة الرؤية استخدام كاميرات أو عدسات جديدة، والتغيرات في الإضاءة والفصول، وتغيير زاوية الكاميرا، وعبوات منتجات جديدة، والتغييرات في المراحل السابقة من خط المعالجة مثل إعداد مختلف لضغط الصور. يُعد اكتشاف الانجراف والاستجابة له من المهام الأساسية في مراقبة النماذج وعمليات التعلم الآلي (MLOps).

أنواع تحوّل التوزيع#

يصوغ المصنّف احتمال تسمية معينة بالنظر إلى مُدخل، وقد يحدث التحول في المدخلات أو التسميات أو العلاقة بينها:

• تحول المتغيرات المصاحبة: يتغير توزيع المدخلات بينما تبقى التسمية الصحيحة لأي مُدخل معين كما هي. يواجه الكاشف المدرّب على صور النهار، عندما يبدأ بتلقي لقطات الغسق، تحولًا في المتغيرات المصاحبة، لأن السيارة تظل سيارة. ويُقصد بانجراف البيانات بالمعنى الضيق هذه الحالة.
• تحول التسميات: يُسمى أيضًا تحول الاحتمال القبلي، وتتغير فيه تواترات الفئات. إذا ارتفع معدل العيوب في خط إنتاج من 1% إلى 5%، ترتفع معه حصة إنذارات الكاشف الحقيقية، ومن ثم تتغير الدقة الإيجابية رغم عدم تغير النموذج أو مظهر كل عيب.
• انجراف المفهوم: تتغير العلاقة بين المدخلات والتسميات، بحيث يستحق المدخل نفسه تسمية مختلفة الآن. تتطور أنماط الاحتيال مع تكيف المحتالين، كما أن تشديد معيار الجودة يحوّل القطع المقبولة سابقًا إلى مرفوضة.

قد يكون الانجراف مفاجئًا، مثل استبدال كاميرا، أو تدريجيًا، مثل تراكم الأوساخ على العدسة، أو متكررًا، مثل تغير أوراق الشجر وتساقط الثلوج موسميًا.

اكتشاف انجراف البيانات#

يقارن كشف الانحراف عينة مرجعية، تكون عادةً بيانات التدريب أو التحقق، بنافذة حديثة من بيانات الإنتاج. ومن دون تسميات، تختبر الفرق ما إذا كان توزيعا الإدخال مختلفين، باستخدام اختبار Kolmogorov-Smirnov لعينتين (KS) للميزات المستمرة، واختبار كاي تربيع للميزات الفئوية، أو مؤشر استقرار المجتمع (PSI) الشائع في تقييم الائتمان. يصعب مقارنة البكسلات الخام مباشرةً بسبب ارتفاع أبعادها، لذا تختبر مراقبة الصور إحصاءات موجزة مثل السطوع والحدة، أو تضمينات شبكة مدرّبة مسبقًا؛ ووجدت دراسة لأساليب كشف التحول أن اختبارات العينتين على تمثيلات مستخرجة من مصنفات مدرّبة مسبقًا كانت الأفضل. وتُعد مخرجات النموذج نفسه إشارة ثانية: فكثيرًا ما تظهر التحولات في تواتر الفئات المتنبأ بها، أو المربعات لكل صورة، أو درجات الثقة قبل أن يقيس أي أحد الدقة.

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Mean brightness (0-255) of 500 training images and two batches of 200 production images
reference = rng.normal(130, 25, 500)
same_light = rng.normal(130, 25, 200)
dusk = rng.normal(110, 25, 200)

# Two-sample Kolmogorov-Smirnov test: a small p-value means the distributions differ
for name, batch in (("same light", same_light), ("dusk", dusk)):
    result = ks_2samp(reference, batch)
    drifted = result.pvalue < 0.01
    print(f"{name}: KS statistic {result.statistic:.3f}, p-value {result.pvalue:.2g}, drift {drifted}")

تحصل الدفعة المسحوبة من توزيع التدريب على إحصائية KS قدرها 0.046 وقيمة p تساوي 0.91، بينما تحصل الدفعة التي انخفض متوسط سطوعها بمقدار 20 مستوى على 0.346 وقيمة p تساوي 1.1e-15، فتُعلَّم بوجود انجراف. إحصائية KS هي أكبر فجوة بين التوزيعين التراكميين، ومع العينات الضخمة قد تؤدي حتى التحولات غير الضارة إلى قيم p ضئيلة للغاية؛ لذلك غالبًا ما تُضبط تنبيهات الانجراف اعتمادًا على إحصائية KS نفسها، التي تقيس حجم التحول، بدلًا من قيمة p وحدها.

الاستجابة للانجراف#

لا تكشف سوى التسميات الحديثة ما إذا كان التحول المكتشف قد خفّض الدقة. تتمثل الاستجابة المعتادة في أخذ عينة من بيانات الإنتاج الحديثة، وتوسيمها، وقياس متوسط الدقة المتوسط (mAP) أو غيره من مقاييس المهمة عليها، ثم إعادة التدريب أو الضبط الدقيق باستخدام مزيج من البيانات الجديدة والأصلية عند تراجع الأداء، مع الإبقاء على أمثلة قديمة في المزيج لتجنب النسيان الكارثي. تهيئ زيادة البيانات، مثل تغييرات السطوع والتمويه والألوان، النموذج للتنوع المتوقع، كما يكيّف تكييف النطاق غير الخاضع للإشراف النموذج مع نطاق جديد باستخدام بيانات الهدف غير الموسومة. تعرض منصة Ultralytics، في علامة تبويب المراقبة ضمن نقطة نهاية مخصصة، مخططات لمتوسط ثقة التنبؤ بمرور الوقت، وعدد الفئات، وأحجام المربعات ومواضعها للصور التي تخدمها؛ ويمكن حفظ أمثلة حديثة في مجموعة بيانات لمراجعتها وإعادة التدريب عليها.

انجراف البيانات والمصطلحات ذات الصلة#

• انجراف النموذج: تراجع أداء النموذج بمرور الوقت، وهو الأثر الناجم عن انجراف البيانات وانجراف المفهوم. ويُسمى أيضًا اضمحلال النموذج.
• الانحراف بين التدريب والخدمة: عدم تطابق بين بيانات التدريب والإنتاج ناجم عن اختلاف المعالجة في خطي المعالجة، مثل استخدام طريقة أخرى لتغيير الحجم، ويكون موجودًا منذ اليوم الأول للنشر بدلًا من تطوره بمرور الوقت.
• اكتشاف الشذوذ: يحدد المدخلات الفردية التي تختلف عن المعتاد، مثل إطار واحد تالف. أما اكتشاف الانجراف فيقارن التوزيعات الكاملة ويحدد أسبوعًا من الصور الأكثر قتامة بانتظام.
• اكتشاف البيانات الخارجة عن التوزيع (OOD): يقيّم مدى اختلاف كل مُدخل عن بيانات التدريب، عادةً لتمكين النموذج من الامتناع عن الإجابة أو إحالة ذلك المُدخل إلى شخص.