Linear Regression

الانحدار الخطي طريقة في التعلّم الخاضع للإشراف تتنبأ بقيمة مستمرة، مثل السعر أو درجة الحرارة أو الطلب في الشهر المقبل، بوصفها مجموعًا موزونًا لسمات المُدخلات مضافًا إليه ثابت. ومع سمة واحدة، يلائم خطًا مستقيمًا، ŷ = w·x + b؛ ومع عدة سمات، يلائم مستوى أو مستوى فائقًا، ŷ = w₁x₁ + w₂x₂ + … + wₙxₙ + b. نشر أدريان-ماري ليجاندر طريقة المربعات الصغرى المستخدمة في ملاءمته عام 1805، ونشر كارل فريدريش غاوس عرضه الخاص عام 1809. ولا يزال النموذج الأول المعتاد في النمذجة التنبؤية العددية، لأنه يُدرّب في أجزاء من الثانية، ويعمل مع قدر قليل من البيانات، ويبيّن كل وزن مقدار تغيّر التنبؤ لكل وحدة من سمته.

آلية عمل الانحدار الخطي#

يختار التدريب الأوزان والثابت المقطوع بحيث تكون التنبؤات أقرب ما يمكن إلى الأهداف الحقيقية في بيانات التدريب. وتقيس المربعات الصغرى العادية مدى التقارب بمجموع مربعات البواقي، أي الفروق بين الأهداف والتنبؤات، وهو ما يعادل تقليل متوسط مربع الخطأ (MSE)، دالة الخسارة القياسية للانحدار. ويجعل الخطأ التربيعي الخسارةَ وعاءً سلسًا ذا حد أدنى واحد، لذا توجد للأوزان المثلى صيغة مغلقة، وهي المعادلة العادية w = (XᵀX)⁻¹Xᵀy؛ وتحسبها المكتبات باستخدام تحليل المصفوفات المستقر مثل QR أو SVD بدلًا من حساب المعكوس صراحةً. أما في مجموعات البيانات الكبيرة جدًا على ذلك، فيصل الانحدار المتدرج أو الانحدار المتدرج العشوائي إلى الأوزان نفسها تكراريًا، ويتقارب بأسرع ما يمكن عندما تُوحّد السمات لتكون على مقاييس متقاربة.

يمثل كل وزن مقدار تغيّر التنبؤ عند زيادة سمته وحدة واحدة مع تثبيت السمات الأخرى، ما يجعل تدقيق النموذج سهلًا. وتلائم مقدّرة LinearRegression في scikit-learn المربعات الصغرى العادية، وينشئ هذا المثال أسعار منازل بمعاملات معروفة ويتحقق من مدى دقة استعادتها بالملاءمة:

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score
from sklearn.model_selection import train_test_split

# 500 synthetic homes: price = $50,000 + $150 per sq ft - $2,000 per year of age + noise
rng = np.random.default_rng(0)
X = np.column_stack([rng.uniform(800, 3000, 500), rng.uniform(0, 50, 500)])
y = 50_000 + 150 * X[:, 0] - 2_000 * X[:, 1] + rng.normal(0, 20_000, 500)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# Fit by ordinary least squares
model = LinearRegression()
model.fit(X_train, y_train)

print(f"Per sq ft: {model.coef_[0]:.1f}, per year: {model.coef_[1]:.0f}, intercept: {model.intercept_:.0f}")
print(f"Test R^2: {r2_score(y_test, model.predict(X_test)):.3f}")

تستعيد الملاءمة 147.7 دولارًا لكل قدم مربع مقابل القيمة الحقيقية البالغة 150 دولارًا، و−1,992 دولارًا لكل سنة من العمر مقابل القيمة الحقيقية البالغة −2,000 دولار، كما تفسّر 96.2% من التباين في أسعار البيانات المحجوزة للاختبار (R² = 0.962). ويمثل R² نسبة تباين الهدف التي يفسرها النموذج، بينما يبلغ الجذر التربيعي لمتوسط مربع الخطأ (RMSE) عن الخطأ المعتاد بوحدات الهدف نفسه.

الافتراضات والتشخيصات#

يفترض الانحدار الخطي أن متوسط المتغير المستهدف هو مجموع موزون للمدخلات، وأن الأخطاء مستقلة، وأن تشتتها يظل ثابتًا تقريبًا عبر نطاق التنبؤات؛ كما تفترض فترات الثقة والقيم الاحتمالية للأوزان أن الأخطاء تتبع توزيعًا طبيعيًا تقريبًا. ويمكن أن تكون المدخلات أي تحويل ثابت للسمات الخام، لذا فإن إضافة حدود تربيعية أو لوغاريتمات أو جداءات للسمات عبر هندسة السمات تظل انحدارًا خطيًا، لكنه قادر على تتبع منحنى. ويُعد رسم البواقي مقابل التنبؤات الفحص القياسي: يشير النمط المنحني إلى حد غير خطي مفقود، ويعني الشكل المروحي أن الأخطاء تزداد مع التنبؤ، وهو ما يعالجه غالبًا تحويل لوغاريتمي للمتغير المستهدف. كذلك، تسمح الأخطاء التربيعية لعدد قليل من القيم المتطرفة بسحب الملاءمة نحوها، وتحد الخسائر المتينة مثل خسارة Huber من تأثيرها.

عندما ترتبط السمات بعضها ببعض ارتباطًا قويًا، تؤدي التغييرات الطفيفة في البيانات إلى تقلب أوزانها بشدة. يضيف انحدار Ridge عقوبة على مربعات الأوزان فتقلصها، ويضيف انحدار lasso عقوبة على القيم المطلقة للأوزان فتجعل بعضها صفرًا تمامًا، وبذلك ينتقي السمات، بينما يجمع الانحدار الشبكي المرن بين النهجين. تقبل هذه الأنواع من التنظيم قدرًا قليلًا من الانحياز مقابل تباين أقل، أي مقايضة الانحياز والتباين، وتحد من فرط التكيّف عندما يكون عدد السمات كبيرًا مقارنة بعدد العينات.

الانحدار الخطي في التعلم العميق#

تنتهي الشبكة العصبية التي تتنبأ بأعداد عادةً بطبقة خطية، لذا فإن خطوتها الأخيرة هي انحدار خطي على السمات التي تعلمتها الطبقات السابقة، كما أن الشبكة التي لا تحتوي على طبقات مخفية وتُدرّب باستخدام MSE هي انحدار خطي تمامًا. تستخدم نماذج اكتشاف الكائنات هذا الأسلوب لإحداثيات الصناديق. في YOLO26، ينتهي كل فرع صندوق في رأس الكشف بالتفاف 1×1 يربط خطيًا السمات عند كل موضع شبكي بأربع مسافات من ذلك الموضع إلى حواف الصندوق المحيط، ويعاقب التدريب هذه المسافات بخسارة L1 إلى جانب خسارة CIoU على تداخل الصناديق.

التطبيقات#

• التنبؤ: تنمذج شركات البيع بالتجزئة والمرافق المبيعات أو استهلاك الكهرباء بدلالة السعر والعروض الترويجية ودرجة الحرارة ومؤشرات التقويم، ويُعد خط الاتجاه الملائم خط أساس شائعًا لنماذج التنبؤ الأكثر تعقيدًا.
• التسعير والتقييم: تنمذج نماذج التسعير الهيدوني أسعار المنازل بدلالة المساحة والعمر والموقع، ويعبّر كل وزن عن القيمة السوقية لوحدة إضافية من تلك الخاصية.
• تقدير الأثر: ينمذج الاقتصاديون والباحثون الصحيون نتيجةً ما، مثل الأجور أو ضغط الدم، بدلالة عامل محل اهتمام ومتغيرات ضابطة، لتقدير كيفية تغير النتيجة بتغير ذلك العامل مع تثبيت العوامل الأخرى.
• منحنيات المعايرة: تنمذج المختبرات قراءات الأجهزة بدلالة التراكيز المعروفة لعينات مرجعية، ثم تعكس الخط الملائم لتحويل قراءات العينات الجديدة إلى تراكيز.

الانحدار الخطي مقارنةً بالأساليب ذات الصلة#

• الانحدار اللوجستي: يحل مسائل التصنيف بتمرير المجموع الموزون نفسه عبر دالة سيغمويد لإخراج احتمال بين 0 و1، ويُدرَّب باستخدام خسارة اللوغاريتم بدلًا من الخطأ التربيعي.
• الانحدار متعدد الحدود: يلائم قوى السمة، مثل x وx²، وهو انحدار خطي على تلك السمات الموسعة.
• أشجار القرار والأشجار المعززة مثل XGBoost: تقسّم فضاء السمات إلى مناطق وتتعلم التأثيرات غير الخطية والتفاعلات دون الحاجة إلى إنشاء سمات يدويًا، لكنها تتنبأ بقيمة ثابتة داخل كل منطقة، ولذلك لا تستطيع استقراء اتجاه يتجاوز نطاق التدريب.
• الارتباط: يقيس معامل ارتباط بيرسون r قوة العلاقة الخطية بصورة متناظرة، ويساوي ميل الانحدار الخطي البسيط لـ y على x قيمة r مضروبة في نسبة الانحرافين المعياريين لـ y وx.