Curriculum Learning

التعلم المنهجي استراتيجية تدريب في التعلم الآلي تعرض الأمثلة بترتيب ذي معنى، عادةً من السهل إلى الصعب، بدلًا من أخذ عينات منها عشوائيًا بتوزيع موحّد. وعلى غرار المناهج الدراسية، يتيح للشبكة العصبية تعلم الأنماط العامة والبسيطة من أمثلة واضحة قبل مواجهة أمثلة ملتبسة أو مزدحمة أو مشوشة. طرح Bengio وآخرون الفكرة في سياق التعلم العميق عام 2009، مجادلين بأن البدء بالأمثلة السهلة يوجّه تحسين دالة خسارة غير محدبة نحو نقاط دنيا أفضل، وأفادوا بتحسينات ملحوظة في التعميم على مهام التعرّف على الأشكال ونمذجة اللغة.

آلية عمل التعلّم وفق المنهج#

يحتاج المنهج إلى مكوّنين، أطلق عليهما Hacohen وWeinshall دالة التقييم ودالة ضبط الوتيرة. ترتّب دالة التقييم بيانات التدريب حسب الصعوبة، باستخدام قواعد استدلال بشرية مثل حجم الكائن أو حجبه أو طول الجملة، أو درجة ثقة نموذج معلّم مدرّب مسبقًا، أو خسارة النموذج الجاري تدريبه. وتحدد دالة ضبط الوتيرة سرعة انضمام الأمثلة الأصعب إلى مجموعة البيانات التي يتدرب عليها النموذج، كأن يبدأ بأيسر 20% ويزيدها خطيًا حتى تشمل مجموعة البيانات كاملة. يقيّم المقتطف أدناه مجموعة بيانات تجريبية باستخدام نموذج معلّم ويدرّب نموذجًا طالبًا على مجموعة متنامية تبدأ بالأمثلة الأسهل، باستخدام scikit-learn:

import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression, SGDClassifier

# A toy dataset with 10% flipped labels, so some samples are genuinely hard
X, y = make_classification(n_samples=2000, n_features=20, flip_y=0.1, random_state=0)

# Scoring function: a teacher's confidence in each true label, sorted easiest first
teacher = LogisticRegression(max_iter=1000).fit(X, y)
confidence = teacher.predict_proba(X)[np.arange(len(y)), y]
order = np.argsort(-confidence)

# Pacing function: start with the easiest 20% and add 20% more each epoch
student = SGDClassifier(random_state=0)
for epoch in range(5):
    pool = order[: int((0.2 + 0.2 * epoch) * len(order))]
    student.partial_fit(X[pool], y[pool], classes=[0, 1])
    print(f"Epoch {epoch}: {len(pool)} samples, mean teacher confidence {confidence[pool].mean():.2f}")

تكبر المجموعة من 400 إلى 2,000 عينة، وينخفض متوسط ثقة النموذج المعلّم من 0.99 إلى 0.89 مع انضمام أصعب 20% من العينات في العصر التدريبي الأخير.

يلغي التعلم ذاتي الوتيرة الحاجة إلى نموذج معلّم، إذ يتيح للنموذج بناء منهجه الخاص انطلاقًا من خسارته الحالية؛ وهو أحد الأنماط الرئيسية للمناهج في استعراض Soviany وآخرين. في كل جولة، تنضم إلى مجموعة التدريب العينات التي يتعامل معها النموذج جيدًا بالفعل، وترتفع عتبة الخسارة حتى تُضمّن جميع العينات.

متى يفيد التعلم المنهجي؟#

لا تحقق المناهج تحسنًا بالقدر الذي توحي به الحدوس. ففي آلاف عمليات التدريب، وجد Wu وDyer وNeyshabur فوائد هامشية فقط في معايير الصور القياسية، إذ حققت البيانات المرتبة عشوائيًا ضمن مجموعة متنامية نتائج مماثلة لترتيبها من السهل إلى الصعب. وتحسّنت النتائج باستخدام المناهج عندما كانت ميزانية وقت التدريب محدودة أو التسميات مشوشة، وهما الحالتان اللتان يستخدمها فيهما الممارسون غالبًا.

تطبيقات عملية#

في التعلم المعزز الخاص بالروبوتات، تزيد المناهج صعوبة المهمة مع تحسن أداء الوكيل. درّبت OpenAI يدًا روبوتية على حل مكعب روبيك باستخدام العشوائية التلقائية للمجال، التي وسّعت نطاقات الفيزياء والمظهر في المحاكاة كلما أبدت السياسة أداءً جيدًا بما يكفي ضمن النطاق الحالي.

في الرؤية الحاسوبية، يمكن لمنهج تدريب كشف الكائنات أن يبدأ بكائنات كبيرة غير محجوبة، ثم يضيف لاحقًا مشاهد صغيرة أو مزدحمة أو ضعيفة الإضاءة. ويغيّر تدريب Ultralytics YOLO26 أيضًا موضع تركيزه بمرور الوقت: إذ تغيّر خسارته الشاملة من حقبة إلى أخرى أوزانها، منتقلةً من الرأس الكثيف أحادي إلى متعدد إلى الرأس أحادي إلى أحادي الذي يستخدمه nms=False، كما يوقف close_mosaic=10 التعزيز باستخدام الفسيفساء وMixUp وCutMix والنسخ واللصق في زيادة البيانات خلال آخر 10 عصور تدريبية، لتنتهي عملية التدريب على صور تشبه المدخلات الحقيقية. وفي تحليل الصور الطبية، يمكن أن يبدأ التدريب بمسوح يتفق عليها خبراء التعليق، ثم يضيف الحالات الملتبسة لاحقًا، وهو ما يلائم حالة التسميات المشوشة التي تحقق فيها المناهج أكبر فائدة.

التعلم المنهجي ومفاهيم ذات صلة#

• التعلم المستمر: يضيف التعلم المستمر مهامًا جديدة أو توزيعات بيانات جديدة بمرور الوقت، ويجب أن يتجنب نسيان المهام القديمة. أما التعلم المنهجي فيعيد ترتيب بيانات مهمة واحدة ثابتة.
• التعلم النشط: يختار التعلم النشط الأمثلة غير الموسومة التي ينبغي إرسالها للتوسيم، بينما يرتب التعلم المنهجي أمثلة موسومة بالفعل.
• التعلم بالنقل: يدرّب التعلم بالنقل نموذجًا مسبقًا على مجموعة بيانات عامة كبيرة، ثم يضبطه بدقة على مهمة مستهدفة مختلفة، بحيث تتغير المهمة نفسها بين المرحلتين.
• التنقيب عن السلبيات الصعبة: يركّز تنقيب الأمثلة الصعبة على الأمثلة التي يخطئ فيها النموذج أكثر من غيرها، وهو عكس المنهج الذي يبدأ بالأسهل. ويجري التنقيب عبر الإنترنت عن الأمثلة الصعبة (OHEM) لكواشف Fast R-CNN الانتشار العكسي عبر مقترحات المناطق ذات أعلى خسارة في كل صورة فقط.