Logistic Regression

الانحدار اللوجستي أسلوب من أساليب التعلم الخاضع للإشراف للتصنيف، يقدّر احتمال انتماء مدخل إلى فئة عبر تمرير مجموع موزون لسماته من خلال الدالة اللوجستية، أو دالة سيغمويد. تتضمن التسمية كلمة «انحدار» لأن النموذج ينمذج لوغاريتم أرجحية الفئة بدلالة السمات، لكنه يُستخدم للتصنيف: إذ يحوّل مرشح الرسائل المزعجة أو نموذج ائتماني أو اختبار فحص الاحتمال إلى قرار بنعم أو لا باستخدام عتبة. طوّره جوزيف بيركسون كنموذج إحصائي عام ابتداءً من عام 1944، حين صاغ مصطلح «لوجيت»، ولا يزال خط الأساس القياسي لتصنيف البيانات الجدولية لأنه يُدرَّب في ثوانٍ، ويخرج احتمالات، ويمكن قراءة أوزانه مباشرةً باعتبارها تأثيرات على الأرجحية.

آلية عمل الانحدار اللوجستي#

يحسب النموذج درجة، z = w·x + b، تمامًا كما يفعل الانحدار الخطي، ثم يحولها إلى احتمال، p = 1 / (1 + e⁻ᶻ). تضغط دالة سيغمويد أي درجة ضمن النطاق من 0 إلى 1، وتُرجع 0.5 عند z = 0، وتقترب من 1 أو 0 كلما كبرت z في أي من الاتجاهين. ويوضح عكس التحويل معنى الدرجة: إذ تساوي z لوغاريتم الأرجحية، log(p / (1 − p))، لذا يفترض النموذج أن لوغاريتم أرجحية الفئة الإيجابية يتغير خطيًا مع كل سمة، وأن حد قراره خط مستقيم أو مستوى أو مستوى فائق. وتؤدي زيادة سمة بمقدار وحدة واحدة إلى ضرب الأرجحية في eʷ، حيث w هو وزن تلك السمة، ولهذا تعرض الدراسات الطبية والائتمانية نتائج الانحدار اللوجستي على هيئة نسب أرجحية.

يحدد التدريب الأوزان باستخدام الاحتمال الأعظمي، وهو ما يعادل تقليل خسارة اللوغاريتم، المسماة أيضًا الإنتروبيا المتقاطعة الثنائية: −[y·log(p) + (1 − y)·log(1 − p)]، محسوبةً كمتوسط على بيانات التدريب. الخسارة محدبة، ولذلك لها حد أدنى وحيد، لكنها لا تملك حلًا بصيغة مغلقة، لذا تصل إليها المحللات مثل L-BFGS أو طريقة نيوتن أو الانحدار المتدرج تكراريًا. ومن دون عقوبة، تدفع الفئات التي يفصلها مستوى فائق فصلًا تامًا الأوزان نحو اللانهاية، لذا تضيف المكتبات التنظيم افتراضيًا: إذ تطبق LogisticRegression من scikit-learn عقوبة L2 بقيمة C = 1.0، وتؤدي قيم C الأصغر إلى تنظيم أقوى. ولأن خسارة اللوغاريتم تكافئ الاحتمالات الدقيقة، يميل الانحدار اللوجستي المحدد جيدًا والمنظَّم على نحو ملائم إلى إرجاع احتمالات جيدة المعايرة، وهي خاصية تقيسها درجات مثل درجة Brier.

عتبات القرار#

تحوّل العتبة كل احتمال إلى تصنيف، و0.5 ليست سوى القيمة الافتراضية. ويؤدي تغيير العتبة إلى المفاضلة بين الدقة والاستدعاء: إذ يخفض نموذج فحص السرطان العتبة لتقليل عدد الأورام التي يفوّتها، ويرفع مرشح الرسائل غير المرغوب فيها العتبة لتجنب حجب الرسائل المشروعة. يرسم منحنى ROC هذه المفاضلة عند كل عتبة، وتقيس المساحة تحت منحنى ROC مدى نجاح النموذج في وضع العينات الإيجابية في مرتبة أعلى من العينات السلبية. يدرّب هذا المثال نموذج الانحدار اللوجستي على مجموعة بيانات سرطان الثدي في ويسكونسن المضمّنة في scikit-learn، ويقارن بين عتبتين:

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, recall_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
y = 1 - y  # make malignant (originally 0) the positive class
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

# Standardize the 30 features, then fit weights by minimizing log loss
model = make_pipeline(StandardScaler(), LogisticRegression())
model.fit(X_train, y_train)

# Predicted probability of malignancy, turned into labels at two thresholds
proba = model.predict_proba(X_test)[:, 1]
for threshold in (0.5, 0.1):
    pred = (proba >= threshold).astype(int)
    print(
        f"Threshold {threshold}: precision {precision_score(y_test, pred):.3f}, recall {recall_score(y_test, pred):.3f}"
    )

عند العتبة الافتراضية 0.5، يكون كل ورم يحدده النموذج خبيثًا (الدقة 1.000)، ويفوّت ورمين من أصل 53 ورمًا خبيثًا في مجموعة الاختبار (الاستدعاء 0.962). وعند 0.1، يكتشف الأورام الـ53 كلها (الاستدعاء 1.000)، كما يحدد 11 من أصل 90 ورمًا حميدًا (الدقة 0.828).

مصنفات متعددة الفئات والشبكات العصبية#

عند وجود أكثر من فئتين متنافيتين، يحسب الانحدار اللوجستي متعدد الحدود درجةً لكل فئة، ثم يحول الدرجات إلى احتمالات مجموعها 1 باستخدام دالة سوفت ماكس، ويُدرّب بخسارة الإنتروبيا المتقاطعة؛ أما أسلوب واحد مقابل الباقي فيدرّب نموذجًا ثنائيًا منفصلًا لكل فئة. وتستخدم مسائل التصنيف متعدد التسميات، حيث يمكن للمدخل الواحد أن يحمل عدة تسميات في الوقت نفسه، دالة سيغمويد مستقلة لكل فئة.

تكون طبقة الإخراج في معظم الشبكات العصبية للتصنيف أحد هذه النماذج مطبقًا على السمات التي تعلمتها الطبقات السابقة، كما في شبكات تصنيف الصور التي تنتهي بطبقة خطية ودالة سوفت ماكس. وينتهي كل فرع تصنيف في رأس الكشف لـYOLO26 بالتفاف 1×1 يُخرج قيمة لوغيت واحدة لكل فئة عند كل موضع شبكي، وتحول دالة سيغمويد كل قيمة لوغيت إلى درجة فئة مستقلة تُدرَّب باستخدام الإنتروبيا المتقاطعة الثنائية، لذا فإن كل درجة فئة هي انحدار لوجستي على السمات في ذلك الموضع. وتُعد وسيطة conf في وضع التنبؤ، وقيمتها الافتراضية 0.25، عتبة القرار المطبقة على تلك الدرجات.

التطبيقات#

• درجات المخاطر السريرية: تقدّر النماذج احتمال الإصابة بمرض أو مضاعفة أو إعادة الإدخال إلى المستشفى بالاستناد إلى العمر وضغط الدم والقيم المخبرية، وتوضح نسب الأرجحية للأطباء مقدار زيادة كل عامل للمخاطر.
• التقييم الائتماني: يبني المقرضون بطاقات تقييم ائتماني باستخدام الانحدار اللوجستي، لأن مساهمة كل سمة في الدرجة يمكن تفسيرها للمتقدمين والجهات التنظيمية.
• التنبؤ بالنقر على الإعلانات: وصفت ورقة Google لعام 2013 حول نظامها التشغيلي للنقرات الانحدار اللوجستي المدرّب عبر الإنترنت باستخدام خوارزمية FTRL-Proximal، التي تحافظ على تناثر النموذج، لتقدير احتمال نقر المستخدم على إعلان.
• التنبؤ بتوقف العملاء: تقدّر شركات الاشتراك احتمال إلغاء كل عميل اشتراكه في الفترة التالية، وتوجّه عروض الاحتفاظ إلى الحسابات الأعلى مخاطرة.

الانحدار اللوجستي مقارنةً بالأساليب ذات الصلة#

• الانحدار الخطي على تسميات 0/1: يؤدي ملاءمة الخطأ التربيعي لتسميات الفئات إلى تنبؤات أقل من 0 وأكبر من 1، كما أن النقاط البعيدة عن الحد، حتى المصنفة تصنيفًا صحيحًا، تؤثر في الملاءمة، وهو ما تتجنبه دالة سيغمويد وخسارة اللوغاريتم.
• آلات متجهات الدعم (SVM): تتعلم آلة متجهات الدعم الخطية مستوى فائقًا أيضًا، لكنها تقلل خسارة المفصلة لتعظيم الهامش، وتخرج مسافات عن الحد بدلًا من الاحتمالات.
• بايز الساذج: مصنف توليدي ينمذج كيفية نشوء السمات عن كل فئة، ويشكّل مع الانحدار اللوجستي ثنائيًا تقليديًا، إذ يمثّل نظيره التمييزي. أظهر Ng وJordan (2001) أن بايز الساذج يقترب من خطئه التقاربي الأعلى باستخدام عدد أقل من أمثلة التدريب، بينما يصل الانحدار اللوجستي إلى خطأ أقل عندما تتوفر بيانات كثيرة.
• البيرسيبترون: يطبق دالة خطوة على المجموع الموزون نفسه، ويخرج 0 أو 1 فقط، ولا يحدّث أوزانه إلا عندما يصنّف مثالًا تدريبيًا تصنيفًا خاطئًا.