Decision Tree

شجرة القرار نموذج من التعلم الخاضع للإشراف يُصدر التنبؤات بطرح سلسلة من الأسئلة بنعم أو لا حول سمات المدخلات، مثل «هل يتجاوز الدخل 50,000 دولار؟»، واتباع الإجابات من الجذر إلى ورقة تتضمن التنبؤ. تتنبأ أشجار التصنيف بفئة عند كل ورقة، وتتنبأ أشجار الانحدار بعدد. وكل تنبؤ عبارة عن سلسلة قواعد يسهل قراءتها، ما يجعل الأشجار أداة معيارية لـالذكاء الاصطناعي القابل للتفسير (XAI)، كما تشكل الأشجار اللبنات الأساسية لـالغابات العشوائية ومجموعات التعزيز بالتدرج، التي ما زالت تتفوق على التعلم العميق في مجموعات البيانات الجدولية متوسطة الحجم. وقد أرست خوارزمية CART التي وضعها Breiman وFriedman وOlshen وStone عام 1984، وخوارزميتا ID3 لعام 1986 وC4.5 لعام 1993 اللتان وضعهما Ross Quinlan، أسس تعلم الأشجار من البيانات.

كيفية بناء شجرة القرار#

تنمو الأشجار من أعلى إلى أسفل عبر التقسيم التكراري. في كل عقدة، تقيّم الخوارزمية التقسيمات المرشحة، التي يتألف كل منها من سمة وعتبة للسمات الرقمية، وتعتمد التقسيم الذي يجعل العقدتين الناتجتين أكثر تجانساً، ثم تكرر البحث في كل عقدة فرعية. تقيس أشجار التصنيف التجانس باستخدام شوائب Gini، أي احتمال تصنيف عينة عشوائية من العقدة تصنيفاً خاطئاً إذا أُسندت التسميات عشوائياً وفق نسب فئات العقدة، أو باستخدام الإنتروبيا، الذي يسمى انخفاضه مكسب المعلومات. تختار أشجار الانحدار التقسيم الذي يقلل الخطأ التربيعي أكثر من غيره، وتتنبأ كل ورقة فيها بمتوسط الهدف لعينات التدريب الخاصة بها. يتوقف النمو عندما تكون العقدة نقية، أو عندما تضم عينات قليلة جداً، أو عند بلوغ أقصى عمق. ينظر كل تقسيم إلى خطوة واحدة فقط، لذا ينشئ هذا البحث الجشع شجرة جيدة بسرعة، بينما يُعد العثور على الشجرة المثلى المثبتة NP-hard.

تطبّق DecisionTreeClassifier في scikit-learn نسخة محسّنة من CART. ينشئ هذا المثال شجرة بعمق 2 على مجموعة بيانات زهور السوسن ويطبع القواعد التي تعلمها:

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_text

iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=42)

# A depth limit keeps the tree small enough to read and less prone to overfitting
clf = DecisionTreeClassifier(max_depth=2, random_state=42)
clf.fit(X_train, y_train)

print(export_text(clf, feature_names=iris.feature_names))
print(f"Test accuracy: {clf.score(X_test, y_test):.2f}")

تستخدم الشجرة طول البتلة وحده: تُصنف الأزهار التي يقل طولها عن 2.45 سم أو يساويه ضمن setosa (الفئة 0)، وتفصل عتبة ثانية عند 4.75 سم بين versicolor (الفئة 1) وvirginica (الفئة 2)، وهي قواعد تصنّف 97% من الأزهار المحجوبة بدقة.

كل تقسيم هو قاعدة عتبة بهذا الشكل، تتعلمها الشجرة من البيانات ويمكن للشخص أيضاً تحديدها يدوياً. يحدد مراقب التمرين Ultralytics AIGym قاعدتين من هذا النوع يدوياً لمخرجات تقدير الوضعية في YOLO26: يصنف الإطار بأنه «أعلى» عندما تتجاوز زاوية المرفق المحسوبة من النقاط المفتاحية للكتف والمرفق والمعصم 145°، وبأنه «أسفل» عندما تقل عن 90°، ويحسب تكراراً عند كل انتقال من أعلى إلى أسفل.

فرط التكيّف والتقليم#

تحفظ الشجرة التي تنمو حتى تصبح كل أوراقها نقية بيانات التدريب عن ظهر قلب، بما فيها الضجيج، في مثال كلاسيكي على فرط التكيّف. يوقف التقليم المسبق النمو مبكراً بفرض قيود مثل الحد الأقصى للعمق أو الحد الأدنى لعدد العينات في كل ورقة. أما التقليم اللاحق فينمي الشجرة كاملةً ثم يزيل الفروع ذات الإضافة الضئيلة؛ وتطبّق scikit-learn تقليم تعقيد الكلفة الأدنى عبر المعلمة ccp_alpha، إذ يؤدي رفع قيمتها إلى مزيد من التقليم. ويُختار كلا النوعين من القيود بوصفهما معلمات فائقة باستخدام التحقق المتقاطع.

حتى الشجرة المقلّمة تعاني تبايناً عالياً: فتغيير صغير في بيانات التدريب قد يغيّر التقسيم الأعلى، وبالتالي كل تقسيم تحته. تعالج المجموعات ذلك بدمج أشجار كثيرة، إما بحساب متوسط أشجار دُرّبت على عينات bootstrap كما تفعل الغابات العشوائية، أو بإضافة الأشجار واحدة تلو الأخرى لتصحيح أخطاء الأشجار السابقة كما يفعل التعزيز بالتدرج.

نقاط القوة والقيود#

تتعامل الأشجار مع السمات الرقمية والفئوية معاً، ولا تحتاج إلى تحجيم السمات، وتلتقط التفاعلات والتأثيرات غير الخطية دون هندسة السمات يدوية، وتصدر التنبؤات عبر عدد قليل من المقارنات. ومحاور تقسيمها متعامدة، لذا يتحول حد قطري مثل «الإنفاق يتجاوز الدخل» إلى درجات عديدة ما لم تُضف سمة النسبة. تتنبأ أشجار الانحدار بقيمة ثابتة داخل كل ورقة، لذا لا تستطيع، على خلاف الانحدار الخطي، استقراء اتجاه خارج نطاق بيانات التدريب.

التطبيقات#

• قرارات الائتمان: يستخدم المقرضون الأشجار البسيطة وبطاقات التقييم القائمة على الأشجار لفرز الطلبات حسب المخاطر، ويمكن إرجاع كل قرار إلى عتبات الدخل والسجل الائتماني والديون التي أدت إليه.
• الفرز السريري: توجه قواعد القرار السريري المصاغة على شكل أشجار مسارات المرضى استناداً إلى العلامات الحيوية والأعراض، لتحديد ما إذا كان المريض مثلاً بحاجة إلى تصوير فوري.
• تسرّب العملاء: تقسم الأشجار العملاء استناداً إلى الاستخدام ومدة التعامل وسجل الدعم إلى شرائح ذات مخاطر إلغاء مرتفعة ومنخفضة، وتصف المسارات كل شريحة بعبارات واضحة.
• الصيانة التنبؤية: تقدّر الأشجار المعززة بالتدرج، استناداً إلى سمات الاهتزاز ودرجة الحرارة ومدة التشغيل، الآلات المرجح تعطلها قبل موعد صيانتها التالية.

أشجار القرار والمصطلحات ذات الصلة#

• الغابات العشوائية: تحسب متوسط أشجار كثيرة دُرّبت على عينات bootstrap ومجموعات فرعية عشوائية من السمات، فتضحّي بسهولة قراءة شجرة واحدة في مقابل دقة وثبات أعلى.
• XGBoost وLightGBM وCatBoost: مكتبات للتعزيز بالتدرج تضيف الأشجار واحدة تلو الأخرى لتصحيح أخطاء الأشجار السابقة، وقد صُمم LightGBM للسرعة على مجموعات البيانات الكبيرة وCatBoost للتعامل الأصلي مع السمات الفئوية.
• التعلم العميق: تتعلم الشبكات العصبية السمات من الصور والصوت والنص الخام، بينما تقسّم الأشجار البيانات استناداً إلى السمات الموجودة مسبقاً كأعمدة في الجداول.
• أشجار تحليل القرار: شجرة القرار في بحوث العمليات وتخطيط الأعمال مخطط يرسمه المحلل يدوياً أيضاً، ويتضمن عقد القرار وعقد الاحتمال والعوائد لمقارنة الخيارات وفق القيمة المتوقعة؛ ويُبنى انطلاقاً من احتمالات مقدّرة بدلاً من تعلمه من بيانات التدريب.