Bias-Variance Tradeoff

يصف التوازن بين الانحياز والتباين كيفية انقسام الخطأ المتوقع للنموذج على بيانات جديدة إلى جزأين يستجيبان لتعقيد النموذج باتجاهين متعاكسين. الانحياز هو الخطأ الناتج عن افتراضات مفرطة في التبسيط لا تلتقط النمط الحقيقي، ما يؤدي إلى نقص التوافق. أما التباين فهو الخطأ الناتج عن الحساسية تجاه بيانات التدريب المحددة، ما يؤدي إلى فرط التوافق. عادةً ما يؤدي جعل النموذج أكثر مرونة إلى خفض الانحياز ورفع التباين، لذا يتحقق أدنى خطأ كلي عند مستوى متوسط من التعقيد. أدخل Stuart Geman وElie Bienenstock وRené Doursat الفكرة إلى التعلم الآلي في بحثهم الصادر عام 1992 بعنوان "الشبكات العصبية ومعضلة الانحياز/التباين".

تفكيك الخطأ#

يدرس هذا التفكيك النوع نفسه من النماذج بعد تدريبه مرات عديدة، في كل مرة على مجموعة تدريب جديدة مسحوبة من المصدر نفسه. وفي حالة الخطأ التربيعي، ينقسم الخطأ المتوقع عند نقطة إدخال إلى ثلاثة حدود بالضبط. مربع الانحياز هو مربع الفجوة بين متوسط التنبؤات على مجموعات التدريب كلها والقيمة الحقيقية؛ إذ يحتفظ نموذج الانحدار الخطي الملائم لعلاقة منحنية بانحياز مرتفع مهما زادت البيانات التي يراها. ويقيس التباين مدى تشتت التنبؤات حول متوسطها من مجموعة تدريب إلى أخرى، ويكون مرتفعًا في أشجار القرار العميقة والشبكات العصبية الكبيرة غير المنتظمة. أما الحد الثالث، وهو الضوضاء غير القابلة للاختزال، فيمثل العشوائية في التسميات نفسها، التي لا يستطيع أي نموذج إزالتها.

يتيح تكرار الملاءمة قياس كلا الحدين مباشرةً. يلائم مثال NumPy هذا كثيرات حدود من الدرجات 1 و3 و12 على 1,000 مجموعة تدريب، تضم كل منها 20 نقطة مشوشة مأخوذة من موجة جيبية:

import numpy as np

rng = np.random.default_rng(0)
x = np.linspace(0, 1, 20)  # 20 training inputs, evenly spaced
x_test = np.linspace(0, 1, 200)
true_curve = np.sin(2 * np.pi * x_test)

for degree in [1, 3, 12]:
    # Fit the same polynomial degree to 1,000 training sets that differ only in their label noise
    predictions = []
    for _ in range(1000):
        y = np.sin(2 * np.pi * x) + rng.normal(0, 0.3, x.size)
        predictions.append(np.polyval(np.polyfit(x, y, degree), x_test))
    predictions = np.array(predictions)

    # Bias^2: squared gap between the average fit and the truth; variance: spread of fits around their average
    bias_sq = np.mean((predictions.mean(axis=0) - true_curve) ** 2)
    variance = np.mean(predictions.var(axis=0))
    print(f"Degree {degree:2d}: bias^2 = {bias_sq:.3f}, variance = {variance:.3f}")

يبلغ مربع انحياز الخط المستقيم 0.205، ولا يتجاوز تباينه 0.008. ويطابق المنحنى التكعيبي الموجة الجيبية تقريبًا في المتوسط، فيخفض مربع الانحياز إلى 0.005 فيما يضاعف التباين إلى 0.016. أما كثير الحدود من الدرجة 12 فلا يُظهر انحيازًا قابلًا للقياس، لكن تباينه يبلغ 0.074 لأنه ينحني ليتبع الضوضاء في كل عينة. يحقق المنحنى التكعيبي أدنى خطأ كلي، ويتحمل كل نموذج أيضًا تباين الضوضاء غير القابل للاختزال البالغ 0.09.

تشخيص الانحياز والتباين#

تكشف أخطاء التدريب والتحقق عن الحد المهيمن. يشير ارتفاع الخطأ في كليهما إلى الانحياز. ويشير انخفاض خطأ التدريب مع ارتفاع خطأ التحقق كثيرًا إلى التباين. وتفصل منحنيات التعلم، التي ترسم كلا الخطأين مقابل كمية بيانات التدريب، بين الحالتين: تضيق الفجوة في نموذج مرتفع التباين مع ازدياد البيانات، بينما يلتقي منحنيَا النموذج مرتفع الانحياز مبكرًا عند خطأ مرتفع ويستقران عنده. في تدريب Ultralytics YOLO، تدرب الوسيطة fraction على جزء من تقسيم التدريب، مثل fraction=0.25 للربع الأول من صوره، بينما يستخدم التحقق تقسيم التحقق كاملًا؛ لذا يمكن لعدد قليل من عمليات تشغيل YOLO26 بنسب متزايدة رسم منحنى تعلم لمجموعة بيانات مخصصة.

التحكم في الموازنة#

ينخفض التباين بزيادة البيانات وتعزيز البيانات والتنظيم، مثل اضمحلال الأوزان والإسقاط، والإيقاف المبكر، وحساب متوسط نماذج عديدة، كما تفعل التعبئة والغابات العشوائية. وينخفض الانحياز باستخدام نموذج أكبر وهندسة ميزات أغنى وتنظيم أضعف وتدريب أطول والتعزيز، الذي يضيف نماذج تصحح أخطاء المجموعة حتى تلك المرحلة. ويختار ضبط المعلمات الفائقة والتحقق المتقاطع الإعداد الذي يوازن الحدين على بيانات لم تُستخدم في التدريب.

ينطبق المنحنى الكلاسيكي على شكل U لخطأ الاختبار مقابل التعقيد على عائلة ثابتة من النماذج، مثل كثيرات الحدود ذات الدرجات المتزايدة. ويمكن للشبكات العصبية ذات المعلمات الزائدة بدرجة كبيرة تجاوز ذلك: يرتفع خطأ الاختبار مع اقتراب النموذج من الحجم الذي يلائم كل نقطة تدريب تمامًا، ثم ينخفض مجددًا مع زيادة حجمه، وهو نمط يُسمى الانحدار المزدوج. ولا يزال مجموع الانحياز والتباين يساوي الخطأ، لكن التباين لا يعود يزداد باطراد مع عدد المعلمات.

الانحياز الإحصائي وأنواع الانحياز الأخرى#

الانحياز في هذه الموازنة خاصية لخوارزمية تعلم في مهمة معينة. يشير الانحياز في الذكاء الاصطناعي إلى الظلم المنهجي تجاه فئات من الناس، بينما يشير انحياز مجموعة البيانات إلى بيانات تدريب تحرّف بيئة النشر، كما يحدث عندما تكون لقطات حركة المرور الليلية نادرة. وقد يكون للنموذج انحياز إحصائي منخفض ومع ذلك يظل غير منصف، لأنه قد يلائم مجموعة بيانات منحازة بدقة، بما في ذلك انحيازها.