Regularization

التنظيم هو أي تغيير في طريقة تدريب النموذج يهدف إلى خفض خطئه على البيانات الجديدة، حتى إذا زاد خطؤه على بيانات التدريب. وهو يعاكس فرط التكيّف، الذي يحفظ فيه نموذج ذو سعة كافية الضوضاء والسمات الغريبة للأمثلة التي شاهدها. يحدّ التنظيم من التعقيد الفعلي للنموذج عبر فرض عقوبة على الأوزان الكبيرة، أو إضافة الضوضاء، أو تنويع البيانات، أو إيقاف التدريب مبكرًا. ووفقًا لمفاضلة الانحياز والتباين، يقبل التنظيم قدرًا أكبر قليلًا من الانحياز مقابل خفض أكبر للتباين.

عقوبتا L1 وL2#

يضيف الشكل التقليدي عقوبةً على الأوزان إلى دالة الخسارة: إجمالي الخسارة = خسارة البيانات + λ × العقوبة. يعاقب تنظيم L2 مجموع مربعات الأوزان، Σw²، ما يسحب كل وزن نحو الصفر بما يتناسب مع حجمه، ويُسمى ذلك في النماذج الخطية انحدار ريدج. أما تنظيم L1 فيعاقب مجموع القيم المطلقة للأوزان، ويؤدي تأثيره الثابت إلى جعل أوزان كثيرة تساوي صفرًا تمامًا؛ لذا فإن الانحدار الخطي المعاقب بـL1، المعروف باسم لاسو، يؤدي أيضًا وظيفة اختيار السمات. ويجمع الانحدار المرن بين الاثنين. قوة العقوبة λ، التي تُسمى alpha في scikit-learn، هي معلمة فائقة: إذا كانت صغيرة جدًا، يستمر النموذج في فرط التكيّف، وإذا كانت كبيرة جدًا، يحدث نقص التكيّف. يوضح ملاءمة كثيرة حدود من الدرجة 9 إلى 12 نقطة مشوشة من موجة جيبية كلا نمطي الإخفاق:

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

rng = np.random.default_rng(0)

# 12 noisy training points from a sine wave, plus clean test points
x_train = rng.uniform(0, 1, (12, 1))
y_train = np.sin(2 * np.pi * x_train[:, 0]) + rng.normal(0, 0.2, 12)
x_test = np.linspace(0, 1, 200)[:, None]
y_test = np.sin(2 * np.pi * x_test[:, 0])

# The same degree-9 polynomial, fit with a growing L2 penalty on its coefficients
for alpha in (0.0, 1e-4, 1e-2, 1.0):
    model = make_pipeline(PolynomialFeatures(9), Ridge(alpha=alpha)).fit(x_train, y_train)
    train_mse = np.mean((model.predict(x_train) - y_train) ** 2)
    test_mse = np.mean((model.predict(x_test) - y_test) ** 2)
    weight_norm = np.linalg.norm(model[-1].coef_)
    print(f"alpha {alpha:g}: train MSE {train_mse:.4f}, test MSE {test_mse:.4f}, |w| {weight_norm:.1f}")

من دون عقوبة، ينحني منحنى كثيرة الحدود عبر الضوضاء: يصل معيار المعاملات إلى نحو 425,000، ويبلغ خطأ التدريب 0.0148، وخطأ الاختبار 0.1859. وتخفض عقوبة مقدارها 0.0001 معيار المعاملات إلى 20.8، وتقلص خطأ الاختبار بمقدار أحد عشر ضعفًا إلى 0.0170، بينما يرتفع خطأ التدريب إلى 0.0334. وعند ألفا تساوي 1، تهيمن العقوبة ويحدث نقص التكيّف في النموذج، إذ يبلغ خطأ الاختبار 0.3998.

اضمحلال الأوزان والإسقاط العشوائي في الشبكات العصبية#

في الشبكات العصبية، يتخذ تنظيم L2 عادةً شكل اضمحلال الأوزان: إذ يؤدي كل تحديث أيضًا إلى تقليص كل وزن بنسبة صغيرة من قيمته. وهذان الأسلوبان متكافئان في الانحدار المتدرج العشوائي البسيط. أما في المحسّنات التكيفية مثل Adam، فتُقسم قيمة L2 المضافة إلى التدرج على مقياس Adam الخاص بكل معلمة، لذا لا تخضع الأوزان ذات التدرجات الكبيرة إلا لتنظيم ضئيل. يطبق اضمحلال الأوزان غير المقترن التقليص مباشرةً بدلًا من ذلك، ويُعد المحسّن الناتج AdamW الخيار القياسي للمحوّلات.

تُصفّر طبقة الإسقاط العشوائي خرج كل وحدة باحتمال p عند كل خطوة تدريب، وتضرب المخارج التي بقيت في 1/(1 − p)، وبذلك لا تستطيع الشبكة الاعتماد على وحدة واحدة بعينها، كما أنها تدرب فعليًا العديد من الشبكات الفرعية المخففة التي تتشارك الأوزان. وأثناء الاستدلال، تظل كل الوحدات نشطة. وقد كانت احتمالية إسقاط مقدارها 0.5 للوحدات المخفية قريبة من المثلى عبر مجموعة واسعة من الشبكات والمهام في التجارب الأصلية.

يتيح تدريب Ultralytics YOLO كليهما: يطبق weight_decay، وقيمته الافتراضية 0.0005، على أوزان الالتفاف والطبقات الخطية فقط، مع استثناء الانحيازات ومعلمات طبقات التطبيع؛ أما dropout، وقيمته الافتراضية 0.0، فيعمل قبل الطبقة الخطية النهائية مباشرةً في نماذج التصنيف لـYOLO26.

from ultralytics import YOLO

# ⁨تحميل نموذج تصنيف YOLO26n مدرّب مسبقًا⁩
model = YOLO("yolo26n-cls.pt")

# ⁨التدريب باستخدام الإسقاط العشوائي في رأس التصنيف واضمحلال أقوى للأوزان⁩
results = model.train(data="mnist160", epochs=10, dropout=0.2, weight_decay=0.001)

تقنيات تنظيم أخرى#

• زيادة البيانات: توسّع عمليات القلب والقص وتغيير المقياس وإزاحة الألوان والفسيفساء تنوع صور التدريب، فيرى النموذج كل كائن في ظروف أكثر بكثير مما تتضمنه مجموعة البيانات الخام.
• تنعيم التسميات: يستبدل أهداف التصنيف ذات الترميز الأحادي الساخن بأهداف أكثر ليونة قليلًا، فيتوقف النموذج عن دفع قيم logits نحو ثقة قصوى.
• التنظيم الضمني: تؤدي ضوضاء التدرج الناتجة عن التدريب بدفعات صغيرة، وضوضاء الانتقال بين الدفعات في تطبيع الدفعات، دور التنظيم من دون أي حد صريح.

ينظم الإيقاف المبكر التدريب عبر الحد من مدته. إذ يقيّم النموذج على بيانات التحقق بعد كل حقبة، ويوقف التدريب عندما لا تتحسن النتيجة لعدد محدد من الحقب، يُسمى الصبر، مع الاحتفاظ بأفضل أوزان تم الوصول إليها حتى ذلك الحين:

التنظيم مقارنةً بالمصطلحات ذات الصلة#

• التطبيع: يعيد تحجيم المدخلات أو التنشيطات لتسريع التدريب وتحقيق استقراره. ولا يؤدي تطبيع الدفعات إلى التنظيم إلا بوصفه أثرًا جانبيًا.
• ضبط المعلمات الفائقة: يبحث عن قيم جيدة لإعدادات التنظيم، مثل λ واحتمالية الإسقاط العشوائي والصبر، إلى جانب سائر المعلمات الفائقة.
• تجميع النماذج: يقلل التباين من خلال حساب متوسط تنبؤات عدة نماذج مدرّبة بصورة مستقلة. ويقارب الإسقاط العشوائي هذا التجميع داخل شبكة واحدة: إذ يدرّب عينات من عدد أسي من الشبكات الفرعية المخففة، كما أن تشغيل الشبكة كاملةً مع تنشيط كل وحدة عند الاختبار يقارب حساب متوسط جميع تنبؤاتها.