Dataset Bias

تحيز مجموعة البيانات هو عدم تطابق منهجي بين البيانات المستخدمة لتدريب نموذج التعلم الآلي والأشخاص أو الأماكن أو الظروف التي سيخدمها النموذج. تتعلم النماذج كل انتظام موجود في بيانات التدريب، بما في ذلك ما ينشأ عرضًا من طريقة جمعها؛ لذلك تنتج مجموعة البيانات المنحازة نموذجًا يعمل جيدًا في الحالات التي رآها كثيرًا، وضعيفًا في سائر الحالات. ولأن بيانات الاختبار تُستمد عادةً من المجموعة نفسها، غالبًا ما تظل المشكلة مخفية حتى النشر. وقد أوضح أنطونيو تورالبا وأليكسي إفروس هذه الفكرة عام 2011 بلعبة سموها «خمّن مجموعة البيانات»: إذ استطاع مصنف بسيط تحديد مجموعة الصور الشهيرة، من بين 12 مجموعة، التي جاءت منها الصورة بمعدل يفوق التخمين بكثير، لأن لكل مجموعة أسلوبًا مميزًا.

أنواع تحيز مجموعة البيانات#

• تحيز الاختيار: تأتي البيانات من مصادر ملائمة بدلًا من الفئة المستهدفة. وتميل صور الويب إلى تصوير بيئات غربية ميسورة، وكانت خدمات التعرف التجاري على الأجسام أقل دقة بنحو 10% على الأدوات المنزلية في منازل يقل دخلها عن 50 دولارًا أمريكيًا شهريًا مقارنةً بمنازل يزيد دخلها على 3500 دولار أمريكي، مع فارق يتراوح بين 15 و20 نقطة مئوية بين الأدوات المصوّرة في الولايات المتحدة وتلك المصوّرة في الصومال أو بوركينا فاسو.
• تحيز التمثيل: تظهر بعض الفئات أو المجموعات نادرًا جدًا بحيث لا يتعلمها النموذج. ووجد تدقيق Gender Shades أن مصنفات الجنس التجارية صنفت النساء ذوات البشرة الداكنة خطأً في ما يصل إلى 34.7% من الحالات، بينما بلغت النسبة القصوى 0.8% للرجال ذوي البشرة الفاتحة. وفي اكتشاف الأجسام، تمثل الفئات النادرة ذات الذيل الطويل المشكلة نفسها على مستوى الفئات.
• تحيز القياس والالتقاط: تختلف الكاميرات والمستشعرات والمواقع والإضاءة بين البيانات وبيئة النشر. واستطاعت نماذج التعلم العميق لاكتشاف الالتهاب الرئوي في صور الأشعة السينية للصدر أيضًا تحديد المستشفى الذي جاءت منه الصورة؛ ولأن معدلات الالتهاب الرئوي اختلفت بين المستشفيات، رفع هذا المؤشر الدقة وأدى إلى ضعف التعميم على مواقع جديدة، وهو شكل من التعلم بالاختصارات.
• تحيز الوسوم: يرث وسم البيانات أحكام القائمين بالتوسيم أو الإرشادات غير المتسقة أو القرارات التاريخية، ويتعامل النموذج مع تلك الأنماط على أنها حقيقة مرجعية.
• التحيز الزمني: تتوقف البيانات التي جُمعت في فترة معينة عن تمثيل العالم مع تغير الأزياء والمنتجات والمركبات.

كيف يظهر تحيز مجموعة البيانات#

يكتشف نموذج إدراك للقيادة الذاتية دُرّب في الغالب على مناخات مشمسة وجافة المشاة بموثوقية أقل في الثلج والمطر والظلام، وتجمع الفرق التي تطور المركبات ذاتية القيادة لتطبيقات الذكاء الاصطناعي في قطاع السيارات بيانات لليل والطقس السيئ لسد الفجوة. وفي تحليل الصور الطبية، يكون أداء نماذج الأمراض الجلدية المدربة على مجموعات تهيمن عليها البشرة الفاتحة أضعف مع البشرة الداكنة، وتُظهر أنظمة التعرف على الوجوه الفجوات الديموغرافية التي قاسها Gender Shades. وفي كل حالة، تبدو الدقة الإجمالية مرتفعة لأن الفئة الأكبر هي التي تهيمن على المتوسط.

يوضح المقتطف أدناه الآلية باستخدام scikit-learn. يتبع الفريق B نمطًا مختلفًا عن الفريق A، ويُدرّب نموذج الغابة العشوائية نفسه مرتين على 1000 عينة، أولًا عندما يشكل الفريق B نسبة 2% من البيانات، ثم بعد موازنة التوزيع:

import numpy as np
from sklearn.ensemble import RandomForestClassifier

rng = np.random.default_rng(0)


def sample(n, group):
    """Draw n points from group A (label set by feature 0) or group B (label set by feature 1)."""
    center = 0.0 if group == "A" else 3.0
    X = rng.normal(center, 1.0, size=(n, 2))
    return X, X[:, 0 if group == "A" else 1] > center


for n_a, n_b in [(980, 20), (500, 500)]:  # skewed, then balanced training sets of the same size
    Xa, ya = sample(n_a, "A")
    Xb, yb = sample(n_b, "B")
    model = RandomForestClassifier(random_state=0).fit(np.vstack([Xa, Xb]), np.concatenate([ya, yb]))
    acc = {g: model.score(*sample(2000, g)) for g in "AB"}  # held-out accuracy per group
    print(f"train A:B = {n_a}:{n_b} -> accuracy on A {acc['A']:.3f}, on B {acc['B']:.3f}")

عند تدريبه على مجموعة منحازة، يحقق النموذج أداءً مثاليًا مع الفريق A (1.000)، ولا يصيب إلا في 76.8% من الحالات مع الفريق B. وتؤدي موازنة العينات الألف نفسها إلى رفع أداء الفريق B إلى 98.3%، بينما ينخفض أداء الفريق A قليلًا إلى 97.2%. وفي مجموعة اختبار ممزوجة بنسبة 98:2، مثل بيانات التدريب المنحازة، سيحقق النموذج الأول نحو 99.5% إجمالًا، ما يخفي الفجوة تمامًا.

تحيز مجموعة البيانات مقارنةً بالمفاهيم ذات الصلة#

• التحيز الخوارزمي: انحياز ينشأ من تصميم النموذج أو هدفه أو طريقة نشره، مثل دالة خسارة تفضل الفئات الأكبر. ويُعد تحيز مجموعة البيانات أحد الأسباب الرئيسية للتحيز الخوارزمي، وغالبًا ما يتفاقم الاثنان معًا.
• التحيز في الذكاء الاصطناعي: مصطلح شامل للظلم المنهجي في أنظمة الذكاء الاصطناعي، وهو نقيض الإنصاف في الذكاء الاصطناعي. ويصنف معيار NIST لتحديد التحيز في الذكاء الاصطناعي وإدارته مصادره إلى فئات منهجية وبشرية وإحصائية أو حاسوبية، وتندرج مجموعات البيانات غير الممثلة تمثيلًا كافيًا ضمن الفئة الأخيرة.
• انجراف البيانات: تغير توزيع المدخلات بعد النشر. ويكون تحيز مجموعة البيانات حاضرًا منذ لحظة جمعها، بينما ينشئ الانجراف فجوة لاحقًا حتى عندما تكون البيانات الأصلية ممثلة تمثيلًا جيدًا.

اكتشاف تحيز مجموعة البيانات والحد منه#

يبدأ اكتشاف التحيز في بيانات الرؤية الحاسوبية بالتوثيق والتقييم التفصيلي. تقترح صحائف بيانات مجموعات البيانات تسجيل الجهة التي جمعت البيانات، وكيفية جمعها، والغرض منها، كي يتمكن المستخدمون من تقدير الفئات التي تمثلها البيانات. ينبغي أن يعرض التقييم المقاييس لكل مجموعة أو موقع أو كاميرا أو حالة، إلى جانب مصفوفة التباس لكل شريحة، بدلًا من الاكتفاء بمتوسط واحد. ويساعد فحص البيانات نفسها أيضًا: في Ultralytics Platform، تعرض علامة تبويب الفئات الخاصة بكل مجموعة بيانات مخططًا لأعداد الوسوم لكل فئة، مع خيار لتفعيل المقياس اللوغاريتمي للبيانات غير المتوازنة، كما ترسم لوحة التجميع التضمينات الخاصة بالصور، ملوّنةً بحسب الفئة أو تقسيم البيانات، كي تظهر فجوات التغطية قبل التدريب.

تنبع المعالجات من أسباب التحيز. فجمع بيانات مستهدفة للشرائح ضعيفة الأداء يعالج السبب مباشرةً، ويساعد التعلم النشط على اختيار الصور الجديدة المطلوب وسمها. وينوّع تعزيز البيانات الإضاءة والاتجاه والمقياس، كما يمكن أن تسد البيانات الاصطناعية النقص في الحالات النادرة مثل المشاهد الليلية أو العيوب غير المعتادة. ويغيّر الترجيح أو الإفراط في أخذ عينات من الأمثلة غير الممثلة تمثيلًا كافيًا، أو التحسين لصالح المجموعة الأسوأ أداءً باستخدام التحسين المتين توزيعيًا، ما يكافئه التدريب. وبعد النشر، تكشف مراقبة النموذج المفصلة حسب الشرائح الفجوات التي تظهر مع تغير الظروف.