Model Ensemble

يجمع تجميع النماذج تنبؤات عدة نماذج مدرّبة في مخرج واحد، عبر التصويت أو المتوسط أو تركيبة متعلَّمة، بحيث تلغي أخطاء النماذج الفردية بعضها بعضًا. وعندما ترتكب النماذج أخطاء مختلفة، يكون التجميع أدق وأكثر متانة من أفضل نموذج منفرد، ولهذا تهيمن التجميعات على مسابقات التعلم الآلي: فقد فاز فريق بجائزة Netflix عام 2009 بمزج تنبؤات نماذج عديدة، كما أن مشاركة التعلم العميق الفائزة بتحدي ImageNet لعام 2012 وسّطت تنبؤات سبع شبكات التفافية لتحقق خطأً بنسبة 15.3% ضمن أعلى خمس نتائج. وتكمن الكلفة في الحساب: إذ يُشغَّل كل نموذج على كل مدخل، فتزداد الذاكرة المستخدمة وزمن استجابة الاستدلال مع زيادة حجم التجميع.

آلية عمل تجميع النماذج#

لا يفيد التجميع إلا عندما ترتكب النماذج المكوِّنة له أخطاء مختلفة. ويؤدي أخذ متوسط مخرجات النماذج ذات الأخطاء المستقلة إلى تقليل تباين التنبؤ المدمج، بينما لا تحقق النماذج التي تخفق في المدخلات نفسها فائدة تُذكر من دمجها. ويُنشئ أسلوب التجميع القائم على إعادة أخذ العينات هذا التنوع عبر تدريب كل نموذج ضمن التجميعة على عينة أُعيد سحبها عشوائيًا من بيانات التدريب، كما في الغابة العشوائية المؤلفة من أشجار القرار، في حين يدرّب التعزيز كل نموذج جديد على تصحيح أخطاء النماذج التي سبقته، كما في XGBoost وLightGBM. وتدرّب التجميعات العميقة نسخًا من شبكة عصبية واحدة باستخدام بذور عشوائية مختلفة، كما يوفّر تشتت تنبؤاتها أيضًا مقياسًا لـعدم اليقين في النموذج. ويؤدي الجمع بين بنيات مختلفة، مثل شبكة عصبية التفافية ومحوّل الرؤية، إلى نماذج مكوِّنة ذات انحيازات استقرائية مختلفة وأخطاء أقل ترابطًا.

تعتمد قاعدة الدمج على المخرجات التي تقدمها النماذج:

تستفيد النماذج عالية التباين، مثل أشجار القرار غير المقلمة، استفادة أكبر. يدرّب هذا المثال من scikit-learn خمس أشجار تختلف في بذرتها العشوائية فقط، ثم يحسب متوسط احتمالاتها المتوقعة:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)

# Five decision trees that differ only in their random seed, which changes the features each split considers
trees = [DecisionTreeClassifier(max_features="sqrt", random_state=seed) for seed in range(5)]
for tree in trees:
    tree.fit(X_train, y_train)
print("Single trees:", ", ".join(f"{tree.score(X_test, y_test):.3f}" for tree in trees))

# Ensemble: average the predicted class probabilities and pick the most likely class
probabilities = np.mean([tree.predict_proba(X_test) for tree in trees], axis=0)
accuracy = (probabilities.argmax(axis=1) == y_test).mean()
print(f"Ensemble of 5: {accuracy:.3f}")

على 899 صورة أرقام محجوبة للاختبار، تسجل الأشجار المنفردة درجات بين 0.736 و0.805، بينما يسجل تجميع الأشجار الخمس 0.901، متجاوزًا أي نموذج منفرد، لأن أخطاء كل شجرة تقع على صور مختلفة.

تجميع كواشف الكائنات#

يجب أن تدمج تجميعات اكتشاف الكائنات الصناديق أيضًا: إذ تعثر عدة نماذج عادةً على الكائن نفسه في مواضع مختلفة قليلًا. وأبسط الطرق تجمع صناديق جميع النماذج وتطبق كبت غير الأعظم (NMS)، الذي يحتفظ بالصندوق الأعلى ثقة في كل مجموعة متداخلة. أما دمج الصناديق الموزونة فيحسب متوسط إحداثيات الصناديق المتداخلة موزونًا بالثقة، بحيث يساهم كل نموذج في الموضع النهائي. وتضمّن Ultralytics YOLO26 تجميعًا ذا صلة في التنبؤ: باستخدام augment=True، يشغّل الكاشف على الصورة بمقاسها الكامل و83% و67%، مع قلب نسخة 83% من اليسار إلى اليمين، ثم يدمج مجموعات الصناديق الثلاث باستخدام NMS. يجمع المثال التالي بين نموذجي YOLO26 مختلفين في الحجم بالطريقة نفسها:

import torch
from torchvision.ops import batched_nms
from ultralytics import YOLO

# Two YOLO26 models of different sizes make different mistakes
models = [YOLO("yolo26n.pt"), YOLO("yolo26s.pt")]
results = [model("https://ultralytics.com/images/bus.jpg")[0] for model in models]

# Pool the boxes from both models
boxes = torch.cat([result.boxes.xyxy for result in results])
scores = torch.cat([result.boxes.conf for result in results])
classes = torch.cat([result.boxes.cls for result in results])

# Keep the highest-scoring box in each overlapping group of the same class
keep = batched_nms(boxes, scores, classes, iou_threshold=0.5)
print(f"{len(boxes)} boxes from both models, {len(keep)} after fusion")

تندمج الصناديق التي اكتشفها النموذجان في صندوق واحد، وتبقى الكائنات التي اكتشفها نموذج واحد فقط بعد الدمج، وهي الطريقة التي يرفع بها تجميع الكواشف الاستدعاء.

التطبيقات#

• تحليل الصور الطبية: تجمع النماذج التشخيصية عدة شبكات لزيادة الحساسية، ويشير اختلاف تنبؤات النماذج إلى الحالات التي ينبغي أن يراجعها اختصاصي الأشعة.
• المسابقات والمعايير: تدمج الحلول الفائزة على Kaggle ولوحات المتصدرين المشابهة عادةً متوسطات نماذج دُرّبت باستخدام بنيات وبذور وطيات بيانات مختلفة، لأن مكسب الدقة يفوق كلفة الحساب الإضافية.
• المركبات ذاتية القيادة: تجمع أنظمة الإدراك نماذج ذات نقاط قوة مختلفة، مثل كاشف يعتمد على الكاميرا وآخر يعتمد على الليدار، كي يتمكن أحدهما من اكتشاف كائن يفوته الآخر.

تجميع النماذج مقارنةً بالمصطلحات ذات الصلة#

• التعلم بالتجميع: مصطلح مرادف للتقنية عمومًا. ويشير «تجميع النماذج» عادةً إلى مجموعة النماذج الناتجة عن دمجها.
• دمج النماذج: يحسب متوسط أوزان النماذج المتوافقة في شبكة واحدة، تعمل بعد ذلك بكلفة نموذج منفرد.
• مزيج الخبراء (MoE): يوجّه موجّه متعلَّم كل مدخل إلى عدد قليل فقط من الشبكات الفرعية المتخصصة، ما يزيد السعة دون تشغيل كل خبير على كل مدخل.
• تقطير المعرفة: يدرّب نموذجًا واحدًا طالبًا لمحاكاة نموذج معلّم، وقد يكون المعلّم تجميعًا كاملًا. ضغطت ورقة التقطير لعام 2015 التي ألّفها Geoffrey Hinton وOriol Vinyals وJeff Dean تجميعًا من نماذج التعرف على الكلام في نموذج واحد احتفظ بمعظم التحسن الذي حققه التجميع.