Data Leakage

يحدث تسرّب البيانات في التعلّم الآلي (ML) عندما تتضمن بيانات تدريب النموذج أو عملية تقييمه معلومات لن تكون متاحة له عند إجراء تنبؤات حقيقية، مثل أمثلة من مجموعة الاختبار، أو قيم من المستقبل، أو ميزات ترمز إلى الإجابة. فيبدو النموذج دقيقًا أثناء التطوير واختبار النموذج، ثم يتراجع أداؤه في الإنتاج، لأن الاختصار الذي اعتمد عليه لم يعد متاحًا. ويُعد التسرّب سببًا رئيسيًا للنتائج التي يتعذر تكرارها: فقد أحصى استعراض للعلوم القائمة على التعلم الآلي 294 ورقة متأثرة عبر 17 مجالًا، وفي التنبؤ بالحروب الأهلية، فقدت النماذج المعقدة تفوقها المعلن على الانحدار اللوجستي الذي يعود إلى عقود مضت بعد تصحيح التسرّب.

كيفية حدوث تسرّب البيانات#

يتسلل التسرّب عبر طريقة تقسيم البيانات أو معالجتها أو اختيارها كمدخلات، وتتكرر الأخطاء نفسها في النماذج الجدولية وتحليل السلاسل الزمنية ومهام الرؤية مثل التعرّف على الأفعال:

• تلوث مجموعتي التدريب والاختبار: تُلائم الخطوات التي تتعلم من البيانات، مثل إحصاءات التطبيع أو تعويض القيم المفقودة أو اختيار الميزات، على مجموعة البيانات كاملةً قبل تقسيمها؛ وبذلك تحمل بيانات التدريب معلومات عن مجموعة التقييم. وينطبق الأثر نفسه على الصور المكررة والنسخ المعززة التي تُنشأ قبل التقسيم.
• تسرّب المجموعات: تُوزع العينات المرتبطة على مجموعات مختلفة، مثل إطارات متعاقبة من فيديو واحد، أو صور متعددة لمريض واحد، أو صور لمشهد واحد. وقد يحقق النموذج عندئذٍ نتيجة جيدة بالتعرف على المشهد أو الشخص بدلًا من تعلم المهمة.
• التسرّب الزمني: يتيح التقسيم العشوائي للبيانات المرتبة زمنيًا، أو حساب الميزات باستخدام قيم لاحقة لوقت التنبؤ، للنموذج الاطلاع على المستقبل.
• تسرّب الهدف: يكون أحد المدخلات نتيجةً للتسمية أو مؤشرًا بديلًا لها، مثل حقل «تلقى العلاج» في نموذج يتنبأ بالمرض.
• إعادة استخدام التقييم: يؤدي الضبط وفق مجموعة الاختبار، أو ظهور أسئلة معيارية في بيانات التدريب المسبق واسعة النطاق على الويب لنموذج لغة كبير، إلى تحويل التقييم إلى إشارة تدريب.

قد تتضمن الصور أيضًا تسرّبًا للهدف. ففي مجموعة بيانات ChestX-ray14، أظهرت 80% من صور الأشعة السينية لاسترواح الصدر في مجموعة الاختبار أنابيب تصريف صدري، وهي الأنابيب المستخدمة لعلاج الحالة. وبلغت مساحة المنحنى (AUC) لمُصنِّف دُرّب على مجموعة البيانات ROC مقدار 0.94 للصور التي تُظهر أنبوب تصريف، لكنها لم تتجاوز 0.77 للصور التي لا تُظهره؛ وهي الحالات غير المعالجة التي يُفترض أن يكتشفها النموذج.

إظهار تسرّب البيانات في الشيفرة#

إن ملاءمة خطوة تعتمد على البيانات قبل التحقق المتقاطع خطأ شائع في الكتب التعليمية، ومن السهل قياس أثره. يولّد المثال التالي ضجيجًا عشوائيًا محضًا، لذا لا يمكن لأي نموذج أن يتجاوز دقة 50% على بيانات جديدة، ثم يختار أفضل 20 ميزة للفصل بين التسميات ويجري التحقق المتقاطع لانحدار لوجستي logistic regression مرتين: مرةً بعد ملاءمة الاختيار على جميع العينات، ومرةً مع الاختيار داخل مسار scikit-learn يعيد ملاءمته على كل طية تدريب.

import numpy as np
from sklearn.feature_selection import SelectKBest
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline

# Pure noise: 100 samples, 5,000 random features, random labels (true accuracy is 50%)
rng = np.random.default_rng(0)
X = rng.normal(size=(100, 5000))
y = rng.integers(0, 2, size=100)

# Leaky: pick the 20 features that best separate the labels using every sample, then cross-validate
X_selected = SelectKBest(k=20).fit_transform(X, y)
leaky = cross_val_score(LogisticRegression(), X_selected, y, cv=5).mean()

# Correct: feature selection is refit inside each training fold
pipeline = make_pipeline(SelectKBest(k=20), LogisticRegression())
clean = cross_val_score(pipeline, X, y, cv=5).mean()
print(f"Leaky CV accuracy: {leaky:.2f}, correct CV accuracy: {clean:.2f}")

تسجل النسخة المتسربة دقة 85% على تسميات عشوائية، في حين يسجل المسار 48%، أي ما يعادل التخمين. مع وجود 5,000 ميزة و100 عينة، ترتبط بعض الميزات بالتسميات بمحض الصدفة؛ واختيارها مع تضمين طيات التحقق في العملية يدمج هذا الارتباط العشوائي في نتيجة كل طية.

منع تسرّب البيانات#

تبدأ الوقاية بالتقسيم، الذي ينبغي أن يسبق أي خطوة تتعلم من البيانات، كي تبقى مجموعتا التحقق والاختبار غير مرئيتين:

• قسّم البيانات قبل هندسة الميزات: لائم أدوات القياس والتعويض والترميز واختيار الميزات على مجموعة التدريب وحدها، وطبّقها دون تغيير على المجموعات الأخرى.
• قسّم حسب المجموعة أو الزمن: أبقِ جميع عينات المريض أو الفيديو أو المشهد الواحد ضمن مجموعة واحدة، ودرّب على الماضي واختبر على المستقبل.
• أزل التكرار باستخدام التجزئات والتضمينات: قارن تجزئات الملفات لاكتشاف النسخ المطابقة، وتشابه التضمينات لاكتشاف النسخ شبه المكررة بين المجموعات، وذلك قبل التدريب.
• دقّق في المدخلات: تحقّق مما إذا كانت كل ميزة متاحة وقت التنبؤ، وتعامل مع أي ميزة مهيمنة منفردة أو نتيجة مرتفعة على نحو مثير للريبة باعتبارها خطأً يستدعي التحقيق.

يؤثر التسرّب أيضًا في اختيار نقاط التحقق. يتعلم Ultralytics YOLO من الصور train المدرجة في ملف مجموعة البيانات YAML، ويحفظ best.pt من الحقبة التي تحقق أعلى ملاءمة على مجموعة التحقق، وهي mAP50-95 في اكتشاف الأجسام؛ لذا فإن مشاركة إطارات شبه مكررة بين train وval ترفع النتيجة التي تختار نقطة التحقق والنتيجة المُبلّغ عنها معًا.

تسرّب البيانات والمصطلحات ذات الصلة#

• فرط التكيّف: يحفظ النموذج ضجيجًا في بيانات تدريب مشروعة، ويحقق نتيجة ضعيفة على مجموعة تحقق سليمة. أما التسرّب فيجعل نتيجة التحقق نفسها غير صحيحة، لذا قد يبدو النموذج مفرط التكيّف جيدًا.
• التعلم بالاختصارات: يعتمد النموذج على إشارة زائفة، مثل علامة مائية أو خلفية، ترتبط بالتسمية. ويكون ذلك تسرّبًا عندما تصل الإشارة إلى التدريب أو التقييم من معلومات غير متاحة في بيئة النشر.
• أمن البيانات: يعني تسرّب البيانات في الأمن السيبراني كشف بيانات حساسة لأطراف غير مخوّلة، وتعالج ذلك ضوابط الوصول والتشفير وأدوات منع فقدان البيانات. ولا تشترك الدلالتان إلا في الاسم.