Linear Regression

Doğrusal regresyon, bir fiyat, sıcaklık veya gelecek ayın talebi gibi sürekli bir değeri girdi özelliklerinin ağırlıklı toplamı ve bir sabit olarak tahmin eden bir denetimli öğrenme yöntemidir. Tek özellikte ŷ = w·x + b doğrusu; birkaç özellikte ise ŷ = w₁x₁ + w₂x₂ + … + wₙxₙ + b düzlemini veya hiperdüzlemini uydurur. Regresyonu uydurmak için kullanılan en küçük kareler yöntemini Adrien-Marie Legendre 1805'te, Carl Friedrich Gauss ise 1809'da yayımladığı çalışmada tanıttı. Milisaniyeler içinde eğitildiği, az veriyle çalıştığı ve her ağırlık özelliğinin birimi başına tahminin ne kadar değiştiğini gösterdiği için sayısal tahmine dayalı modellemede hâlâ genellikle ilk başvurulan modeldir.

Doğrusal Regresyon Nasıl Çalışır#

Eğitim, eğitim verilerindeki gerçek hedeflere en yakın tahminleri verecek ağırlıkları ve kesişim değerini seçer. Sıradan en küçük kareler, yakınlığı hedefler ile tahminler arasındaki farkların, yani artıkların kareleri toplamı olarak ölçer; bu, regresyon için standart kayıp fonksiyonu olan ortalama kare hatasını (MSE) en aza indirmeye denktir. Kareli hata, kaybı tek minimumlu, düzgün bir çanak hâline getirir; bu nedenle en iyi ağırlıkların kapalı biçimli çözümü normal denklem w = (XᵀX)⁻¹Xᵀy ile bulunur. Kitaplıklar bu hesabı açık ters matris yerine QR veya SVD gibi kararlı matris çarpanlarına ayırma yöntemleriyle yapar. Bu yöntem için fazla büyük veri kümelerinde gradyan inişi veya stokastik gradyan inişi aynı ağırlıklara yinelemeli olarak ulaşır; özellikler benzer ölçeklere standartlaştırıldığında yakınsama en hızlı olur.

Diğer özellikler sabit tutulduğunda her ağırlık, ilgili özelliğin bir birim artmasının tahmindeki değişimini gösterir; bu da modeli denetlemeyi kolaylaştırır. scikit-learn LinearRegression tahminleyicisi sıradan en küçük kareleri uydurur; bu örnek bilinen katsayılardan ev fiyatları üretir ve uydurmanın bu katsayıları ne kadar yakından bulduğunu denetler:

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score
from sklearn.model_selection import train_test_split

# 500 synthetic homes: price = $50,000 + $150 per sq ft - $2,000 per year of age + noise
rng = np.random.default_rng(0)
X = np.column_stack([rng.uniform(800, 3000, 500), rng.uniform(0, 50, 500)])
y = 50_000 + 150 * X[:, 0] - 2_000 * X[:, 1] + rng.normal(0, 20_000, 500)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# Fit by ordinary least squares
model = LinearRegression()
model.fit(X_train, y_train)

print(f"Per sq ft: {model.coef_[0]:.1f}, per year: {model.coef_[1]:.0f}, intercept: {model.intercept_:.0f}")
print(f"Test R^2: {r2_score(y_test, model.predict(X_test)):.3f}")

Uydurma işleminde, gerçek 150 değerine karşılık metrekare başına 147.7 dolar; gerçek −$2,000 değerine karşılık ise yaş başına −$1,992 dolar elde edilir. Model, eğitim dışında tutulan fiyatlardaki varyansın %96.2'sini açıklar (R² = 0.962). R², modelin hedef değişkenin varyansının ne kadarını açıkladığını gösterir; kök ortalama kare hata (RMSE) ise hedefin kendi birimlerindeki tipik hatayı verir.

Varsayımlar ve Tanılamalar#

Doğrusal regresyon; hedefin ortalamasının girdilerin ağırlıklı toplamı olduğunu, hataların bağımsız olduğunu ve hata yayılımının tahmin aralığı boyunca yaklaşık sabit kaldığını varsayar; ağırlıklara ait güven aralıkları ve p-değerleri de hataların yaklaşık normal dağıldığını varsayar. Girdiler, ham özelliklerin herhangi bir sabit dönüşümü olabilir; bu nedenle özellik mühendisliği yoluyla kare terimler, logaritmalar veya özellik çarpımları eklemek de eğri izleyebilen doğrusal bir regresyon sağlar. Artıkları tahminlere göre çizmek standart kontroldür: eğri bir örüntü eksik bir doğrusal olmayan terime, yelpaze şekli ise hataların tahminle büyüdüğüne işaret eder; hedefe log dönüşümü uygulamak genellikle bunu düzeltir. Kare hata ayrıca birkaç aykırı değerin uyumu kendilerine doğru çekmesine neden olur; Huber kaybı gibi sağlam kayıplar bu değerlerin etkisini azaltır.

Özellikler birbiriyle güçlü biçimde ilişkili olduğunda, verideki küçük değişiklikler ağırlıklarını büyük ölçüde değiştirir. Ridge regresyonu ağırlıkların karelerine ceza ekleyerek onları küçültür; lasso mutlak ağırlıklara ceza ekleyerek bazılarını tam olarak sıfıra ayarlar ve böylece özellik seçimi yapar; elastic net ise bu ikisini birleştirir. Bu düzenlileştirme türleri, daha düşük varyans karşılığında bir miktar yanlılığı kabul eder; bu, yanlılık-varyans ödünleşimidir ve örnek sayısına kıyasla çok sayıda özellik olduğunda aşırı öğrenmeyi sınırlar.

Derin Öğrenmede Doğrusal Regresyon#

Sayı tahmini yapan bir sinir ağı genellikle doğrusal bir katmanla biter; dolayısıyla son adımı, önceki katmanların öğrendiği özellikler üzerinde yapılan doğrusal regresyondur. Gizli katmanı olmayan ve MSE ile eğitilen bir ağ, tam olarak doğrusal regresyondur. Nesne algılama modelleri bunu kutu koordinatları için kullanır. YOLO26 modelinde algılama başlığının her kutu dalı, her ızgara konumundaki özellikleri bu konumdan bir sınırlayıcı kutunun kenarlarına olan dört mesafeye doğrusal olarak eşleyen 1×1 evrişimle biter; eğitimde bu mesafeler L1 kaybıyla, kutu örtüşmesi ise CIoU kaybıyla cezalandırılır.

Uygulamalar#

• Tahminleme: Perakendeciler ve kamu hizmeti şirketleri satışları veya elektrik yükünü fiyat, promosyon, sıcaklık ve takvim göstergelerine göre regresyonla modeller; uydurulmuş bir eğilim doğrusu, daha karmaşık tahmin modelleri için yaygın bir temel oluşturur.
• Fiyatlandırma ve değerleme: Hedonik fiyatlandırma modelleri konut fiyatlarını büyüklük, yaş ve konuma göre regresyonla modeller; her ağırlık, ilgili özelliğin bir birimlik artışının piyasa değerini verir.
• Etki tahmini: Ekonomistler ve sağlık araştırmacıları, diğer değişkenler sabit tutulduğunda sonucun ilgili faktörle nasıl değiştiğini tahmin etmek için ücret veya kan basıncı gibi bir sonucu, kontrol değişkenleriyle birlikte incelenen bir faktöre göre regresyonla modeller.
• Kalibrasyon eğrileri: Laboratuvarlar, cihaz okumalarını referans numunelerin bilinen konsantrasyonlarına göre regresyonla modeller; ardından yeni numunelerin okumalarını konsantrasyonlara dönüştürmek için uydurulan doğrunun tersini kullanır.

Doğrusal Regresyon ve İlişkili Yöntemler#

• Lojistik regresyon: Aynı ağırlıklı toplamı bir sigmoid fonksiyonundan geçirerek 0 ile 1 arasında bir olasılık üretir ve sınıflandırmayı çözer; kare hata yerine log kaybıyla eğitilir.
• Polinom regresyonu: x ve x² gibi bir özelliğin kuvvetlerini uydurur ve genişletilmiş bu özellikler üzerinde doğrusal regresyondur.
• Karar ağaçları ve XGBoost gibi artırmalı ağaçlar: Özellik uzayını bölgelere ayırıp elle özellik oluşturmadan doğrusal olmayan etkileri ve etkileşimleri öğrenir; ancak her bölgede sabit bir değer tahmin ettikleri için eğitim aralığının ötesindeki bir eğilimi dışa yansıtamazlar.
• Korelasyon: Pearson korelasyon katsayısı r, doğrusal ilişkinin gücünü simetrik olarak ölçer; y'nin x'e göre basit doğrusal regresyonunun eğimi, r ile y ve x'in standart sapmalarının oranının çarpımına eşittir.