Ensemble

يدرّب التعلّم بالتجميع عدة نماذج للمهمة نفسها، ويجمع تنبؤاتها بالتصويت أو حساب المتوسط أو باستخدام أداة دمج متعلّمة، لإنتاج مخرج أدق وأكثر استقرارًا عادةً من مخرجات أي نموذج منفرد. وينجح ذلك لأن النماذج المختلفة ترتكب أخطاءً مختلفة، ويُلغي الجمع جزءًا من أخطاء كل نموذج. وقد وضع Anders Krogh وJesper Vedelsby هذه الفكرة بصيغة دقيقة لنماذج الانحدار المُتوسطة عام 1995: فالخطأ التربيعي للتجميع يساوي متوسط أخطاء أفراده مطروحًا منه متوسط اختلافهم عن التجميع؛ لذا لا يكون التجميع المُتوسط أسوأ من متوسط أفراده، وما يجعله أفضل هو التنوع بين الأفراد.

التجميع بالاستبدال والتعزيز والتكديس#

تغطي ثلاث عائلات معظم أساليب التجميع في التعلّم الآلي، وتعالج كل منها جانبًا مختلفًا من مقايضة الانحياز والتباين.

التجميع بالاستبدال (Bagging)، اختصارًا لعبارة التجميع بالمعاينة العشوائية، قدّمه Leo Breiman في 1996. يدرّب كل عضو بصورة مستقلة على عينة استبدال، تُسحب من مجموعة التدريب مع الإعادة، ثم يحسب المتوسط أو التصويت على النتائج، ما يقلل التباين أساسًا. ويلائم ذلك المتعلّمين غير المستقرين مثل أشجار القرار العميقة، كما يضيف غابة Breiman العشوائية لعام 2001 مجموعة عشوائية من الميزات عند كل انقسام، لجعل الأشجار أكثر اختلافًا.

يدرّب التعزيز الأعضاء بالتتابع، ويركّز كل عضو على ما أخفق التجميع حتى تلك المرحلة في تصنيفه، ما يقلل الانحياز أساسًا. وتزيد AdaBoost، التي ابتكرها Yoav Freund وRobert Schapire، وزن الأمثلة المصنفة خطأً قبل تدريب المتعلّم الضعيف التالي. أما التعزيز التدرجي الذي ابتكره Jerome Friedman، فيلائم كل شجرة جديدة مع تدرج دالة الخسارة، وهو النهج الذي تقوم عليه XGBoost وLightGBM وCatBoost، التي تظل من أقوى النماذج على كثير من مجموعات البيانات الجدولية.

اقترح David Wolpert التكديس، أو التعميم المكدّس، عام 1992. ويتعلّم نموذج فوقي، غالبًا انحدارًا لوجستيًا، كيفية دمج نماذج أساسية غير متجانسة استنادًا إلى تنبؤاتها على طيات محجوزة، مانحًا وزنًا أكبر للنماذج التي تكون تنبؤاتها على البيانات المحجوزة الأكثر موثوقية.

يقارن هذا المثال باستخدام scikit-learn شجرةً واحدة بتجميع واحد من كل عائلة على مجموعة بيانات تشخيص سرطان الثدي، باستخدام تحقق متقاطع من 5 طيات:

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier, StackingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier

X, y = load_breast_cancer(return_X_y=True)  # 569 tumors, 30 measurements each

forest = RandomForestClassifier(n_estimators=200, random_state=0)
boosting = GradientBoostingClassifier(random_state=0)
models = {
    "Single decision tree": DecisionTreeClassifier(random_state=0),
    "Bagging (random forest)": forest,
    "Boosting (gradient boosting)": boosting,
    # Stacking: a logistic regression learns how to combine the forest and the boosted trees
    "Stacking": StackingClassifier([("forest", forest), ("boosting", boosting)], LogisticRegression()),
}

for name, model in models.items():
    print(f"{name}: {cross_val_score(model, X, y, cv=5).mean():.3f}")

تحقق النموذج الشجري المنفرد درجة 0.917، والغابة العشوائية 0.960، والتعزيز التدرجي 0.963، والنموذج المكدّس 0.963. يقلل كل تجميع أخطاء الشجرة إلى النصف تقريبًا. ويعادل التكديس أداء أقوى أعضائه لأن الغابة تصنّف 16 ورمًا من أصل 23 تصنيفًا خاطئًا، وتخطئ أشجار التعزيز في تصنيف الأورام نفسها أيضًا، فلا يبقى للنموذج الفوقي اختلاف يُذكر ليستفيد منه.

التجميع في التعلّم العميق والرؤية#

تدرّب التجميعات العميقة عدة شبكات عصبية من تهيئات أولية عشوائية مختلفة، ثم تحسب متوسط مخرجاتها. وأظهر Balaji Lakshminarayanan وزملاؤه في DeepMind عام 2017 أن ذلك يحسّن الدقة وتقدير عدم اليقين معًا، لأن الاختلاف بين الأعضاء يكون أكبر في المدخلات التي لا تشبه بيانات التدريب. وفي اكتشاف الكائنات، تُجمع الصناديق المحيطة من عدة كواشف وتُدمج باستخدام الكبت غير الأقصى (NMS) أو دمج الصناديق الموزونة، الذي يحسب متوسط الصناديق المتداخلة بدلًا من الاحتفاظ بالصندوق الأعلى ثقة فقط. وتشيع تجميعات البنى المختلفة في تحليل الصور الطبية والمشاركات في المسابقات، حيث تكون الدقة أهم من تكلفة الاستدلال.

تزداد هذه التكلفة مع كل عضو، ما يحد من استخدام التجميعات على أجهزة الذكاء الاصطناعي الطرفي. وقد طُرح تقطير المعرفة جزئيًا لحل هذه المشكلة: إذ درّب Geoffrey Hinton وOriol Vinyals وJeff Dean نموذجًا واحدًا لمطابقة المخرجات المُتوسطة لتجميع من النماذج. أما الإسقاط العشوائي فهو بديل أقل تكلفة، إذ يقرّب التدريب به متوسط عدد أُسّي من الشبكات الفرعية المُقلّمة.

التجميعات ومزائج النماذج ومزيج الخبراء#

يشير تجميع النماذج عادةً إلى دمج شبكات دُرّبت بصورة مستقلة عند الاستدلال، وهو الشكل الأكثر شيوعًا للتعلّم بالتجميع في التعلّم العميق. أما مزائج النماذج وغيرها من أساليب دمج النماذج، فتحسب متوسط الأوزان بدلًا من التنبؤات، ما يحافظ على تكلفة نموذج واحد، لكنها لا تعمل إلا مع نماذج ضُبطت بدقة انطلاقًا من الأوزان المدربة مسبقًا نفسها. ويدرّب مزيج الخبراء (MoE) خبراءه معًا باستخدام موجّه يرسل كل مدخل إلى عدد قليل منهم، بحيث يتخصص الخبراء بدلًا من أن يحاول كل منهم حل المهمة بأكملها.

يقرّب حساب متوسط الأوزان خلال تشغيل تدريب واحد تجميعًا لنقاط التحقق الخاصة بذلك التشغيل بكلفة نموذج واحد، كما أوضح Pavel Izmailov وزملاؤه عند دراسة المتوسط العشوائي للأوزان عام 2018. ويطبّق تدريب Ultralytics YOLO ذلك على كل تشغيل لـYOLO26: إذ يحتفظ بمتوسط أسي متحرك للأوزان، يُحدّث بعد كل خطوة للمحسّن بمعدل اضمحلال يرتفع تدريجيًا نحو 0.9999، ثم يتحقق من ذلك المتوسط ويحفظه في best.pt وlast.pt بدلًا من الأوزان الخام.