Early Stopping

الإيقاف المبكر أسلوب تدريبي ينهي عملية تعلّم آلي تكرارية عندما يتوقف مقياس أداء خاضع للمراقبة عن التحسن. ويتيح لأداء التحقق تحديد مدة استمرار التعلّم، مما يقلل الحسابات غير الضرورية ويحد من فرط التكيّف. وبصورة حدسية، يتوقف التدريب عندما لا تعود الممارسة الإضافية تحسّن قدرة النموذج على التعامل مع الأمثلة المحجوبة. وخارج مجال تعلّم الآلة، يعني «التوقف مبكرًا» ببساطة إنهاء نشاط قبل اكتماله المخطط له.

آلية عمل الإيقاف المبكر#

أثناء التدريب، يحدّث المحسّن النموذج باستخدام بيانات التدريب. وعلى فترات منتظمة، يُقيَّم النموذج باستخدام بيانات تحقق منفصلة. قد تستمر خسارة التدريب في الانخفاض بينما يتدهور أداء التحقق: وهذه علامة على فرط التكيّف، إذ يزداد توافق النموذج مع التفاصيل الخاصة بأمثلة التدريب. ويحد الإيقاف المبكر من هذه العملية باختيار نقطة توقف استنادًا إلى الأداء على البيانات المحجوبة.

يتتبع التنفيذ المعتاد أفضل نتيجة تحقق، ويحفظ أوزان النموذج المقابلة لها، ويحصي عمليات التحقق المتتالية التي لم تشهد تحسنًا كافيًا. ويؤدي التحسن إلى إعادة ضبط العداد؛ أما بلوغ قيمة الصبر المحددة فينهي التدريب. وتحافظ استعادة أفضل نقطة تحقق على أقوى نتيجة تحقق مرصودة، والتي قد تظهر قبل خطوة التدريب الأخيرة.

قدّم نيلسون مورغان وهيرفي بورلار الإيقاف المستند إلى التحقق للشبكات العصبية ذات التغذية الأمامية في عملهما لعام 1989 حول التعميم وتقدير المعلمات. وشملت تجاربهما تصنيف الكلام، وأظهرت إمكانية اختيار مدة التدريب عبر مراقبة بيانات مستقلة.

المقاييس وقيمة الصبر وأفضل الأوزان#

تعتمد قاعدة الإيقاف على عدة إعدادات:

• المقياس الخاضع للمراقبة: تقيس خسارة التحقق خطأ التنبؤ، ويُسعى إلى تقليلها؛ أما دقة التحقق فتقيس التنبؤات الصحيحة، ويُسعى إلى زيادتها.
• قيمة الصبر ومدة التدريب: تحدد قيمة الصبر عدد عمليات التحقق غير الناجحة التي يتحملها التدريب. والعصر هو مرور كامل واحد على مجموعة بيانات التدريب.
• عتبة التحسن: تسمي Keras هذه القيمة min_delta، وهي الحد الأدنى للتغير المطلق الذي يُحتسب تقدمًا. ويستعيد الإعداد restore_best_weights=True الأوزان المرتبطة بأفضل قيمة خاضعة للمراقبة.
• معدل تكرار التحقق: يحسب PyTorch Lightning قيمة الصبر بعدد عمليات التحقق. فإجراء التحقق كل عشرة عصور مع قيمة صبر قدرها ثلاثة يسمح بثلاث عمليات تحقق غير ناجحة خلال ثلاثين عصرًا بعد أفضل عملية تحقق.

تُعد قيمة الصبر وعتبات التحسن معلمات فائقة: وهي إعدادات تُختار خارج عملية تحديث الأوزان. وتنهي قيمة الصبر الأصغر عمليات التدريب المتوقفة في وقت أقرب، بينما تتيح القيمة الأكبر فترات أطول من الثبات المؤقت. وتؤخر فترة الإحماء بدء المراقبة إلى أن يستقر التعلم الأولي. وتتفاعل هذه الإعدادات مع معدل التعلّم، الذي يتحكم في حجم تحديثات التحسين.

التطبيقات ومثال قابل للتنفيذ#

ينطبق الإيقاف المبكر على الشبكات العصبية وأشجار التعزيز بالتدرج على حد سواء. وفي التعزيز بالتدرج باستخدام scikit-learn، تضيف كل مرحلة شجرة، ويتحكم الإيقاف المستند إلى التحقق في عدد المراحل. ويستخدم مثال إسكان كاليفورنيا validation_fraction لحجز البيانات وn_iter_no_change للإيقاف بعد توقف تقدم التحقق.

يستخدم المثال التالي مجموعة بيانات السكري المضمّنة في scikit-learn، ويطبع عدد مراحل التعزيز التي جرى تدريبها فعليًا:

from sklearn.datasets import load_diabetes
from sklearn.ensemble import GradientBoostingRegressor

X, y = load_diabetes(return_X_y=True)

# Reserve an internal validation split and monitor progress.
model = GradientBoostingRegressor(
    n_estimators=1000,
    validation_fraction=0.2,
    n_iter_no_change=10,
    random_state=42,
)
model.fit(X, y)

print(f"Boosting stages fitted: {model.n_estimators_}/1000")

يوضح عدد المراحل المدرّبة الموضع الذي أنهى فيه معيار الإيقاف إنشاء الأشجار مقارنة بالحد الأقصى البالغ 1,000 مرحلة.

يطبّق Ultralytics YOLO الإيقاف المبكر أثناء تدريب النموذج، بما في ذلك YOLO26، عبر الوسيطة patience، التي تحصي العصور التي لا يتحسن فيها الأداء التحققي. وفي مهام الكشف، يعتمد الأداء على mAP50–95، ويحفظ المدرّب أفضل نقطة تحقق باسم best.pt.

الإيقاف المبكر والمفاهيم المرتبطة به#

الإيقاف المبكر شكل من أشكال التنظيم يتحكم في مدة التدريب. ويعاقب اضمحلال الأوزان الأوزان الكبيرة، بينما يعطّل الإسقاط وحدات عشوائيًا أثناء التدريب. ويمكن استخدام هذه الآليات معًا. ويؤدي الإيقاف المبكر جدًا إلى قصور التكيّف، ما يجعل الأنماط المفيدة غير متعلَّمة.

يحفظ إنشاء نقاط التحقق حالات النموذج؛ أما الإيقاف المبكر فيحدد موعد انتهاء التحسين. ويُدوّر التحقق المتقاطع أقسام البيانات المحجوبة لتقييم خيارات النموذج، بينما تدعم بيانات الاختبار المنفصلة التقييم النهائي. ولأن قرار الإيقاف يختار نموذجًا باستخدام نتائج التحقق، فإن نتيجة التحقق لنقطة التحقق المختارة تُعد جزءًا من اختيار النموذج.

في Keras، تكون القيمة الافتراضية لـ restore_best_weights هي False، لذا فإن تفعيل الإيقاف المبكر وحده يُبقي أوزان النموذج من الخطوة الأخيرة.