Random Forest

الغابة العشوائية خوارزمية تعلم خاضع للإشراف تدرّب العديد من أشجار القرار على تغييرات عشوائية للبيانات نفسها، ثم تجمع تنبؤاتها بالتصويت أو بمتوسط احتمالات الفئات في التصنيف، وبالمتوسط في الانحدار. وصف ليو برايمان هذه الطريقة في ورقته البحثية لعام 2001 Random Forests، مستندًا إلى تقنية التجميع بالعينات التي طورها سابقًا. تحفظ الشجرة العميقة المفردة صفوف التدريب في ذاكرتها، لذا تتغير تنبؤاتها مع تغييرات طفيفة في البيانات. ويؤدي حساب متوسط مئات الأشجار التي ترتكب أخطاء مختلفة إلى إلغاء قدر كبير من هذا التباين، ما يجعل الغابة العشوائية من أكثر النماذج الافتراضية موثوقيةً للبيانات الجدولية. ولا تحتاج إلى تحجيم السمات، وتتعامل مع التفاعلات غير الخطية بين السمات، كما يستقر خطأ الاختبار فيها مع إضافة المزيد من الأشجار.

آلية عمل الغابة العشوائية#

تضيف الغابة العشوائية مصدرين للعشوائية إلى تدريب الأشجار، لأن التجميع لا يفيد إلا عندما ترتكب عناصره أخطاء مختلفة، ثم تجمع الأشجار:

• التجميع بوساطة إعادة أخذ العينات (bagging): تُدرَّب كل شجرة على عينة معادة، وهي مجموعة من الصفوف تُسحب من بيانات التدريب مع الإرجاع، ويعادل حجمها حجم البيانات الأصلية. وقد تظهر بعض الصفوف عدة مرات، بينما يُستبعَد نحو 37% من الصفوف (نسبة 1/e) من أي عينة بعينها.
• مجموعات فرعية عشوائية من السمات: لا تنظر الشجرة عند كل انقسام إلا في مجموعة فرعية عشوائية من السمات. يضبط مصنّف Scikit-learn افتراضيًا عدد السمات على الجذر التربيعي لعددها؛ لذا تتيح مجموعة بيانات تضم 100 سمة عشرة خيارات لكل انقسام، بينما ينظر نموذج الانحدار افتراضيًا في جميع السمات. وبذلك لا تستطيع سمة مهيمنة أن تتصدر كل شجرة، ما يقلل الترابط بين الأشجار.
• التجميع: تعتمد الطريقة الأصلية لبرايمان التصويت بالأغلبية بين الأشجار. أما تطبيق Scikit-learn فيحسب متوسط احتمالات الفئات لجميع الأشجار بدلًا من ذلك، وتحسب غابات الانحدار متوسط التنبؤات العددية للأشجار.

تنمو الأشجار بعمق ولا تُشذّب، لذا تتميز كل شجرة بانحياز منخفض وتباين مرتفع. ويخفض حساب متوسط أشجار عديدة منخفضة الترابط التباين مع الإبقاء على الانحياز منخفضًا، في خطوة مواتية على موازنة الانحياز والتباين. ولأن الأشجار مستقلة، يمكن أيضًا تدريبها بالتوازي عبر أنوية CPU.

خطأ العينات خارج الحقيبة وأهمية السمات#

تعمل الصفوف التي لم ترها الشجرة كمجموعة اختبار مضمّنة. وتنبئ درجة العينات خارج الحقيبة (OOB) بكل صف تدريبي باستخدام الأشجار التي استُبعد فيها الصف من عينات إعادة السحب فقط، ما يقدّر الصحة على بيانات غير مرئية من دون حجز مجموعة تحقق منفصلة. وتعرض الغابات أيضًا أهمية السمات. وتقيس الأهمية الافتراضية القائمة على عدم النقاء مقدار ما تخفضه كل سمة من عدم النقاء عبر جميع الانقسامات، وتميل إلى تفضيل السمات ذات القيم الفريدة الكثيرة؛ لذلك يُعد قياس أهمية التبديل، أي انخفاض الدرجة بعد خلط سمة واحدة، الخيار الأكثر موثوقية عند ترتيب السمات.

يقارن هذا المثال شجرة مكتملة النمو بـغابة عشوائية من scikit-learn على مجموعة بيانات سرطان الثدي المضمّنة، باستخدام التحقق المتقاطع ذي 5 طيات، ثم يقرأ درجة OOB للغابة:

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier

# 569 tumors described by 30 numeric features, labeled malignant or benign
X, y = load_breast_cancer(return_X_y=True)

# One fully grown tree vs. a forest of 300 trees on bootstrap samples
tree = DecisionTreeClassifier(random_state=0)
forest = RandomForestClassifier(n_estimators=300, oob_score=True, random_state=0)

# Compare 5-fold cross-validated accuracy
print(f"Single tree: {cross_val_score(tree, X, y, cv=5).mean():.3f}")
print(f"Forest:      {cross_val_score(forest, X, y, cv=5).mean():.3f}")

# Out-of-bag score: each row is predicted only by trees that never trained on it
forest.fit(X, y)
print(f"OOB score:   {forest.oob_score_:.3f}")

يطبع البرنامج 0.917 للشجرة المفردة و0.963 للغابة، ودرجة OOB تبلغ 0.965. وتخفض الغابة معدل خطأ الشجرة من 8.3% إلى 3.7%، كما لا يبتعد تقدير OOB سوى 0.002 عن الصحة المحسوبة بالتحقق المتقاطع في جولة تدريب واحدة.

تطبيقات عملية#

• مخاطر الائتمان واكتشاف الاحتيال: تقيّم البنوك طلبات القروض والمعاملات استنادًا إلى سجلات جدولية مثل الدخل وعمر الحساب وأنماط الإنفاق، ويُستخدم ناتج الاحتمالات في الغابة لتحديد عتبة القرار.
• التنبؤ بالمخاطر الصحية: تتنبأ النماذج السريرية بنتائج مثل إعادة الإدخال إلى المستشفى استنادًا إلى سجلات المرضى، وتوضح أهمية التبديل القياسات التي تؤثر في كل تنبؤ.
• تحليل صور الأقمار الصناعية: تُعد الغابات العشوائية خيارًا راسخًا لرسم خرائط الغطاء الأرضي، إذ تصنّف كل بكسل أو حقل استنادًا إلى قيم النطاقات الطيفية ومؤشرات الغطاء النباتي.
• نمذجة إنتاجية المحاصيل: يكشف كاشف YOLO26 الفاكهة أو النباتات في صور الحقول، بعدد كشف واحد لكل جسم. ثم تُضاف أعداد كل قطعة أرض إلى قراءات التربة والطقس كأعمدة في غابة عشوائية تتنبأ بالإنتاجية.

الغابة العشوائية مقارنةً بالطرق ذات الصلة#

• شجرة قرار مفردة: يسهل قراءة الشجرة على هيئة مجموعة من قواعد إذا-فإن، لكن التغييرات الطفيفة في البيانات قد تنتج شجرة مختلفة تمامًا. وتستبدل الغابة هذه السهولة في القراءة بانخفاض كبير في التباين.
• التعزيز المتدرج: تبني XGBoost وLightGBM وCatBoost أشجارًا ضحلة الواحدة تلو الأخرى، وتصحح كل شجرة أخطاء الأشجار السابقة. وغالبًا ما يحقق التعزيز درجات أعلى في معايير البيانات الجدولية بعد الضبط، بينما تُدرَّب أشجار الغابة العشوائية المستقلة بالتوازي وتحقق نتائج قوية بالإعدادات الافتراضية.
• نماذج الأساس للبيانات الجدولية: تتنبأ المحوّلات المدرّبة مسبقًا بجدول جديد في تمريرة أمامية واحدة، من دون ملاءمة نموذج لكل مجموعة بيانات، وأصبحت تضاهي الآن مجموعات الأشجار المضبوطة على الجداول الصغيرة.
• الأشجار شديدة العشوائية: تسحب أشجار extra trees عتبة عشوائية واحدة لكل سمة مرشحة بدلًا من البحث عن أفضل عتبة، ثم تحتفظ بأفضل هذه الانقسامات العشوائية. ويدرّبها Scikit-learn افتراضيًا على مجموعة البيانات كاملة دون أخذ عينات بإعادة السحب، كما أن تجاوز البحث عن العتبة يجعل ملاءمتها أسرع من ملاءمة غابة عشوائية بالحجم نفسه.