CatBoost

CatBoost مكتبة مفتوحة المصدر لـتعزيز التدرج باستخدام أشجار القرار، طورتها Yandex وأُصدرت عام 2017. يأتي اسمها من «التعزيز الفئوي»: فهي تقبل الأعمدة الفئوية، مثل المدينة أو معرّف المنتج أو نوع الجهاز، كسلاسل نصية خام وتحولها داخليًا إلى أرقام، لذا لا تحتاج البيانات الجدولية إلى ترميز يدوي أحادي الترميز أو بترميز الهدف قبل التدريب. وتمنع فكرتان من ورقة NeurIPS لعام 2018، هما إحصاءات الهدف المرتبة والتعزيز المرتب، استخدام تسمية صف التدريب نفسه ضمن الأرقام المستخدمة لملاءمته، وهو تسرب يسبب تحيزًا في كل من ترميز الهدف العادي والتعزيز التقليدي. تعمل CatBoost على وحدات المعالجة المركزية ووحدات معالجة الرسومات، وتوفر واجهات Python وR وسطر الأوامر، وتدعم التصنيف والانحدار والترتيب.

كيف ترمّز CatBoost السمات الفئوية#

ينشئ الترميز أحادي الترميز عمودًا لكل فئة، ما يصبح مرهقًا لميزة تضم آلاف القيم، مثل معرّف تاجر أو مستخدم. ويستبدل ترميز الهدف كل فئة بمتوسط تسميات صفوفها، وهو تمثيل موجز لكنه يسرّب الإجابة: فتدخل تسمية الصف نفسه في الرقم الذي يصفه، ويتعلم النموذج اختصارًا يفشل مع البيانات الجديدة. وهذا شكل من تسرّب البيانات يظهر في صورة فرط التكيّف، ويكون أشد ما يكون في الفئات النادرة.

تعالج إحصاءات الهدف المرتبة في CatBoost هذه المشكلة باستخدام تبديل عشوائي لصفوف التدريب. ويُرمّز صف كل فئة اعتمادًا على تسميات الصفوف التي تسبقه فقط في التبديل، مع تنعيم القيمة باتجاه قيمة سابقة، بحيث لا يرى أي صف تسميته الخاصة. وتكرر CatBoost ذلك عبر عدة تبديلات، وتستخدم الترميز أحادي الترميز للميزات ذات القيم المميزة القليلة جدًا، وتبني جشعًا تركيبات من الميزات الفئوية، مثل المدينة مقترنةً بنوع الجهاز، بوصفها ميزات جديدة أثناء التدريب.

في حزمة CatBoost لـPython، تُمرر الأعمدة الفئوية بأسمائها عبر cat_features. يمنح هذا المثال كل خطة من خطط الاشتراك الخمسين معدل تسرب خفيًا خاصًا بها، ويتحقق مما إذا كان النموذج يستعيد المعدلات من أسماء الخطط الخام:

import numpy as np
import pandas as pd
from catboost import CatBoostClassifier

# Synthetic churn data: each of 50 plans has its own hidden churn rate
rng = np.random.default_rng(0)
rates = rng.uniform(0.05, 0.6, size=50)
plan_ids = rng.integers(0, 50, size=5000)
X = pd.DataFrame({"plan": [f"plan_{i}" for i in plan_ids], "tenure_months": rng.integers(1, 60, size=5000)})
y = rng.random(5000) < rates[plan_ids]

# Raw strings go in directly; CatBoost encodes them with ordered target statistics
model = CatBoostClassifier(iterations=200, depth=4, verbose=0, random_seed=0)
model.fit(X, y, cat_features=["plan"])

# Compare true and predicted churn for the safest and riskiest plans
lo, hi = rates.argmin(), rates.argmax()
probe = pd.DataFrame({"plan": [f"plan_{lo}", f"plan_{hi}"], "tenure_months": [30, 30]})
print("True churn rates:     ", rates[[lo, hi]].round(2))
print("Predicted churn rates:", model.predict_proba(probe)[:, 1].round(2))

يطبع البرنامج المعدلين الحقيقيين 0.05 و0.60، والمعدلين المتوقعين 0.06 و0.59. استعاد النموذج معدل التسرب لكل خطة من عمود السلاسل النصية الخام، باستخدام نحو 100 صف تدريب فقط لكل خطة.

التعزيز المرتب والأشجار المتماثلة#

في التعزيز المتدرج التقليدي، تحسب كل شجرة جديدة أهدافها، أي تدرجات الخسارة، على الصفوف نفسها التي لُوئمت عليها الأشجار السابقة، ما يسبب تحيزًا في تلك التدرجات؛ ويُسمي مؤلفو CatBoost هذا الأثر انزياح التنبؤ. ويعيد التعزيز المرتب تطبيق حيلة التبديل: إذ يُستمد تدرج كل صف من نموذج دُرّب على الصفوف السابقة له فقط في التبديل. وهو خيار تدريب، boosting_type="Ordered"، يحسّن الجودة عادةً في مجموعات البيانات الصغيرة على حساب السرعة. والإعداد الافتراضي لوحدة المعالجة المركزية هو مخطط "Plain" التقليدي، بينما يكون الإعداد الافتراضي للتدريب على وحدة معالجة الرسومات هو "Ordered" لمجموعات البيانات التي يصل حجمها إلى 50,000 صف، باستثناء وضع تعدد الفئات.

تنشئ CatBoost افتراضيًا أشجارًا متماثلة، أو غافلة، تستخدم فيها كل عقدة عند العمق نفسه شرط التقسيم ذاته. لذا فإن الشجرة ذات العمق 6، وهو العمق الافتراضي، لا تعدو ستة اختبارات بنعم أو لا، تشكل إجاباتها فهرسًا من 6 بتات يشير إلى واحدة من 64 ورقة، ما يسرّع التنبؤ ويحد من تعقيد كل شجرة، وهو شكل من التنظيم. ويحوّل المعامل grow_policy النمو إلى أسلوب العرض بحسب العمق أو بحسب الأوراق عندما تحتاج مجموعة البيانات إلى أشجار أقل تقييدًا.

تطبيقات عملية#

• مخاطر الائتمان: تجمع جهات الإقراض بين حقول المتقدمين الفئوية، مثل المهنة والمنطقة والغرض من القرض، وقيم الدخل والدين الرقمية للتنبؤ بالتعثر، من دون ترميز مئات رموز المهن أحاديًا.
• الترتيب والتوصيات: توفر CatBoost دوال خسارة للترتيب مثل YetiRank، المستخدمة لترتيب نتائج البحث أو المنتجات حسب الصلة المتوقعة استنادًا إلى ميزات المستخدم والعنصر والسياق في نظام توصية.
• تقييم العقارات: يمكن لكاشف YOLO26 مدرّب خصيصًا عدّ وسائل الراحة، مثل أحواض السباحة أو الألواح الشمسية، في صور الإعلانات العقارية، ثم تُضاف هذه الأعداد إلى نموذج أسعار CatBoost كأعمدة رقمية إلى جانب الأعمدة الفئوية، مثل الحي ونوع العقار.

CatBoost مقابل XGBoost وLightGBM#

تنشئ المكتبات الثلاث مجموعة من الأشجار بالتتابع، بحيث تصحح كل شجرة أخطاء الأشجار السابقة، وهو ما يميزها عن الغابة العشوائية وأشجارها المدرّبة بصورة مستقلة.

• XGBoost: تنشئ الأشجار مستوىً تلو الآخر افتراضيًا، وتضيف تنظيم L1 وL2 إلى دالة الهدف. أُضيف الدعم الأصلي للميزات الفئوية في إصدارات لاحقة، وما زالت كثير من مسارات المعالجة ترمّز الفئات قبل التدريب.
• LightGBM: تنشئ الأشجار بحسب الأوراق، فتقسم الورقة التي تحقق أكبر خفض للخسارة، وتجزّئ الميزات إلى مدرجات تكرارية، ما يجعلها سريعة على مجموعات البيانات الكبيرة. كما تقبل أعمدة فئوية مرمّزة بالأعداد الصحيحة مباشرةً.
• CatBoost: تنشئ أشجارًا متماثلة، وترمّز الفئات بإحصاءات الهدف المرتبة، وتحقق نتائج قوية قبل أي ضبط للمعلمات الفائقة. وتكون إعداداتها الافتراضية 1,000 شجرة بعمق 6، مع اختيار معدل التعلّم تلقائيًا استنادًا إلى عدد التكرارات لدوال هدف خسارة اللوغاريتم وتعدد الفئات وRMSE.