LightGBM

LightGBM (آلة تعزيز التدرج الخفيفة) إطار عمل مفتوح المصدر لـتعزيز التدرج، يدرّب مجمعات من أشجار القرار على البيانات الجدولية، وقد صُمم ليكون سريعًا وقليل استهلاك الذاكرة على مجموعات البيانات الكبيرة. أصدرت Microsoft الإطار عام 2016 ووصفت خوارزمياته في ورقة NeurIPS لعام 2017 بعنوان LightGBM: شجرة قرار لتعزيز التدرج عالية الكفاءة. وفي مارس 2026، انتقل المستودع الرسمي إلى مؤسسة lightgbm-org على GitHub بإدارة المشرفين أنفسهم. يدعم LightGBM التصنيف والانحدار والترتيب باستخدام Python وR وC++ وسطر الأوامر، ويظهر في كثير من الحلول الفائزة في مسابقات التعلّم الآلي. وعلى الجداول متوسطة الحجم التي تضم نحو 10,000 صف، لا تزال مجمعات الأشجار مثله تتفوق غالبًا على التعلّم العميق.

كيف يعمل LightGBM#

ينشئ تعزيز التدرج الأشجار واحدة تلو الأخرى. وتُواءَم كل شجرة جديدة مع تدرّجات دالة الخسارة بالنسبة إلى تنبؤات المجمع الحالي؛ وهي ببساطة البواقي عند استخدام الخطأ التربيعي، لذا تصحح الشجرة الأخطاء التي خلّفتها الأشجار السابقة. ويكون تنبؤ النموذج مجموع مخرجات الأشجار، بعد تحجيم كل منها باستخدام معدل التعلّم. تتمثل الخطوة المكلفة في العثور على أفضل تقسيم لكل عقدة، ويُسرّع LightGBM هذه الخطوة بأربع تقنيات:

• التقسيمات القائمة على المدرّج التكراري: قبل التدريب، يقسّم LightGBM كل سمة مستمرة إلى 255 حاوية كحد أقصى (max_bin). ويمسح البحث عن التقسيم حدود الحاويات بدلًا من كل قيمة مرتبة، وبعد التقسيم لا يُنشأ من البيانات سوى المدرّج التكراري للابن الأصغر، لأن مدرّج الابن الأكبر يساوي مدرّج الوالد ناقص مدرّج الابن الأصغر.
• النمو بحسب الأوراق: يقسّم LightGBM دائمًا الورقة التي يحقق أفضل تقسيم فيها أكبر خفض للخسارة، إلى أن تصل الشجرة إلى num_leaves ورقة (31 افتراضيًا)، بدلًا من تقسيم كل عقدة عند مستوى واحد قبل الانتقال إلى المستوى الأعمق. ويحقق هذا الأسلوب خسارة أقل من النمو بحسب المستويات عند العدد نفسه من الأوراق، وينتج أشجارًا عميقة وغير متوازنة قد تؤدي إلى فرط المواءمة على مجموعات البيانات الصغيرة.
• أخذ العينات أحادي الجانب المعتمد على التدرج (GOSS): الصفوف ذات التدرّجات الكبيرة هي الصفوف التي لا يزال النموذج يتنبأ بها على نحو سيئ. باستخدام data_sample_strategy="goss"، يحتفظ LightGBM بنسبة 20% من الصفوف ذات أكبر التدرّجات، ويسحب عشوائيًا 10% إضافية من الصفوف المتبقية، ثم يرفع أوزان تلك العينة كي يظل توزيع البيانات قريبًا من التوزيع الأصلي.
• تجميع السمات الحصري (EFB): تُدمج السمات المتفرقة التي نادرًا ما تكون غير صفرية في الوقت نفسه، مثل أعمدة الترميز الأحادي، في سمة واحدة، ما يقلل عدد المدرّجات التكرارية المطلوب إنشاؤها.

تنمو كل شجرة بتكرار البحث عن التقسيم إلى أن تنفد ميزانية أوراقها أو لا يعود أي تقسيم مفيدًا، ويكرر التعزيز هذه العملية في كل جولة:

يقسّم LightGBM أيضًا السمات الفئوية المرمّزة بأعداد صحيحة مباشرةً عند إدراجها في categorical_feature، إذ يجمع الفئات في كل تقسيم دون ترميز أحادي، كما يتعامل افتراضيًا مع القيم المفقودة. ويعمل التدريب على وحدات CPU، وعلى وحدات GPU (device_type="gpu" أو "cuda")، وعبر عدة أجهزة باستخدام أدوات التعلّم الموزع.

تدريب LightGBM وضبطه#

تغطي الفئات LGBMClassifier وLGBMRegressor وLGBMRanker ذات أسلوب scikit-learn معظم الاستخدامات. ولأن الأشجار التي تنمو بحسب الأوراق قد تصبح عميقة جدًا، فإن أهم ضوابط الحد من فرط المواءمة هي num_leaves وmin_child_samples (20 صفًا لكل ورقة افتراضيًا) وmax_depth، إلى جانب معدل التعلّم وعدد الأشجار؛ وعادةً ما يحدد ضبط المعلمات الفائقة أو الإيقاف المبكر على مجموعة التحقق قيمها المناسبة. وتبرز فائدة المدرّجات التكرارية والنمو بحسب الأوراق عند مقارنتها بتعزيز التدرج ذي التقسيم الدقيق التقليدي في scikit-learn على جدول اصطناعي يضم 20,000 صف و40 سمة:

import time

import lightgbm as lgb
from sklearn.datasets import make_classification
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=20_000, n_features=40, n_informative=15, random_state=0)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

# 200 trees each: exact split search vs. LightGBM's histograms and leaf-wise growth
for model in (GradientBoostingClassifier(n_estimators=200), lgb.LGBMClassifier(n_estimators=200, verbose=-1)):
    start = time.perf_counter()
    model.fit(X_train, y_train)
    seconds = time.perf_counter() - start
    print(f"{type(model).__name__}: {seconds:.1f} s, accuracy {model.score(X_test, y_test):.3f}")

على وحدة CPU من Apple M5 Pro، ينشئ LightGBM أشجاره البالغ عددها 200، وبحد أقصى 31 ورقة لكل شجرة، في أقل من ثانية، بينما يحتاج scikit-learn إلى نحو 20 ثانية لإنشاء 200 شجرة ذات تقسيم دقيق وعمق 3؛ كما تحقق أشجار LightGBM الأكبر دقة اختبار تبلغ 0.956 مقارنةً بـ0.901. ويمكن حفظ النماذج المدرّبة بتنسيق نصي أو JSON، وتحويلها باستخدام onnxmltools إلى ONNX من أجل تقديمها خارج Python.

LightGBM مقارنةً بالأساليب المرتبطة به#

• XGBoost: مكتبة تعزيز التدرج التي اشتهرت بالتعزيز المنظّم من الرتبة الثانية عام 2014. وتنشئ افتراضيًا أشجارًا محدودة العمق (max_depth=6)، وتتيح النمو بحسب الأوراق باستخدام grow_policy="lossguide"، وتعتمد البحث عن التقسيم بالمدرّج التكراري افتراضيًا منذ الإصدار 2.0، لذا باتت المكتبتان تشتركان في معظم التقنيات.
• CatBoost: مكتبة التعزيز من Yandex، التي صدرت عام 2017، وتنشئ أشجارًا متناظرة وتشفّر السمات الفئوية باستخدام إحصاءات الهدف المرتبة للحد من تسرب الهدف.
• الغابة العشوائية: تدرّب أشجارًا عميقة مستقلة على عينات الإقلاع، ثم تحسب متوسط تنبؤاتها، ما يخفض التباين.
• HistGradientBoosting: إن HistGradientBoostingClassifier وHistGradientBoostingRegressor في scikit-learn تطبيقان مستوحَيان من LightGBM، ويقسّمان السمات إلى مدرّجات تكرارية بالطريقة نفسها.
• النماذج التأسيسية للبيانات الجدولية: تتنبأ المحوّلات المدرّبة مسبقًا، مثل TabPFN، على الجداول الصغيرة بتمريرة أمامية واحدة، دون تشغيل تدريب خاص بكل مجموعة بيانات.

تطبيقات عملية#

• الاحتيال ومخاطر الائتمان: تقيّم البنوك المعاملات وطلبات القروض استنادًا إلى سجل الحساب والتاجر والمبلغ والسمات الزمنية؛ ويلائم الاستدلال السريع في LightGBM القرارات المتخذة لكل معاملة.
• التنبؤ بالطلب: يتنبأ تجار التجزئة بالمبيعات لكل منتج ومتجر استنادًا إلى المبيعات السابقة والأسعار والعروض الترويجية وسمات التقويم. وتُعد حركة الزوار من المدخلات الشائعة: إذ يتتبع عدّ الأجسام في Ultralytics YOLO26 الأشخاص الذين يعبرون خطًا في فيديو المتجر، ويُبلغ عن أعداد الدخول والخروج لكل فئة؛ وتصبح هذه الأعداد، عند جمعها لكل ساعة، سمات لتوقعات التوظيف باستخدام LightGBM.
• ترتيب نتائج البحث والتوصيات: يتدرّب LGBMRanker باستخدام هدف LambdaRank افتراضيًا، فيرتب المستندات أو المنتجات ضمن كل مجموعة استعلام لتحسين الكسب التراكمي المخصوم المطبّع (NDCG).