Linear Regression

Lineare Regression ist ein Verfahren des überwachten Lernens, das einen kontinuierlichen Wert – etwa einen Preis, eine Temperatur oder die Nachfrage im nächsten Monat – als gewichtete Summe von Eingabemerkmalen zuzüglich einer Konstanten vorhersagt. Bei einem Merkmal passt sie eine Gerade an, ŷ = w·x + b; bei mehreren Merkmalen eine Ebene oder Hyperebene, ŷ = w₁x₁ + w₂x₂ + … + wₙxₙ + b. Adrien-Marie Legendre veröffentlichte 1805 die zu ihrer Anpassung verwendete Methode der kleinsten Quadrate, Carl Friedrich Gauss legte 1809 seine eigene Darstellung vor. Sie ist noch immer das übliche erste Modell für numerische Vorhersagemodellierung, weil das Training Millisekunden dauert, nur wenige Daten benötigt und jedes Gewicht angibt, um wie viel sich die Vorhersage pro Einheit des jeweiligen Merkmals ändert.

So funktioniert lineare Regression#

Beim Training werden die Gewichte und der Achsenabschnitt so gewählt, dass die Vorhersagen möglichst nahe an den tatsächlichen Zielwerten in den Trainingsdaten liegen. Die Methode der kleinsten Quadrate misst die Abweichung anhand der Summe der quadrierten Residuen, also der Differenzen zwischen Zielwerten und Vorhersagen. Das entspricht der Minimierung des mittleren quadratischen Fehlers (MSE), der standardmäßigen Verlustfunktion für Regression. Durch die quadrierten Fehler bildet der Verlust eine glatte Schüssel mit einem einzigen Minimum. Die besten Gewichte haben daher eine geschlossene Lösung, die Normalgleichung w = (XᵀX)⁻¹Xᵀy. Bibliotheken berechnen sie mit stabilen Matrixzerlegungen wie QR oder SVD statt mit einer expliziten Inversen. Für Datensätze, die dafür zu groß sind, erreichen Gradientenabstieg oder stochastischer Gradientenabstieg dieselben Gewichte schrittweise. Am schnellsten konvergieren sie, wenn die Merkmale auf ähnliche Größenordnungen standardisiert werden.

Jedes Gewicht gibt an, um wie viel sich die Vorhersage bei einer Erhöhung des zugehörigen Merkmals um eine Einheit ändert, wenn die anderen Merkmale konstant bleiben. Dadurch lässt sich das Modell leicht überprüfen. Der LinearRegression-Schätzer von scikit-learn passt eine Kleinste-Quadrate-Regression an. Dieses Beispiel erzeugt Hauspreise anhand bekannter Koeffizienten und prüft, wie genau die Anpassung diese wiederherstellt:

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score
from sklearn.model_selection import train_test_split

# 500 synthetic homes: price = $50,000 + $150 per sq ft - $2,000 per year of age + noise
rng = np.random.default_rng(0)
X = np.column_stack([rng.uniform(800, 3000, 500), rng.uniform(0, 50, 500)])
y = 50_000 + 150 * X[:, 0] - 2_000 * X[:, 1] + rng.normal(0, 20_000, 500)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# Fit by ordinary least squares
model = LinearRegression()
model.fit(X_train, y_train)

print(f"Per sq ft: {model.coef_[0]:.1f}, per year: {model.coef_[1]:.0f}, intercept: {model.intercept_:.0f}")
print(f"Test R^2: {r2_score(y_test, model.predict(X_test)):.3f}")

Die Anpassung ergibt 147,7 $ pro Quadratfuß gegenüber dem tatsächlichen Wert von 150 $ und −1.992 $ pro Altersjahr gegenüber dem tatsächlichen Wert von −2.000 $. Außerdem erklärt sie 96,2 % der Varianz der zurückgehaltenen Preise (R² = 0,962). R² gibt den Anteil der Varianz des Zielwerts an, den das Modell erklärt. Der quadratische Mittelwertfehler (RMSE) gibt den typischen Fehler in den Einheiten des Zielwerts an.

Annahmen und Diagnostik#

Die lineare Regression setzt voraus, dass der durchschnittliche Zielwert eine gewichtete Summe der Eingaben ist, dass die Fehler unabhängig sind und dass ihre Streuung über den gesamten Vorhersagebereich ungefähr konstant bleibt; Konfidenzintervalle und p-Werte für die Gewichte setzen außerdem ungefähr normalverteilte Fehler voraus. Die Eingaben können beliebige feste Transformationen der Rohmerkmale sein. Wenn du also durch Merkmalsentwicklung quadrierte Terme, Logarithmen oder Produkte von Merkmalen hinzufügst, erhältst du weiterhin eine lineare Regression, die einer Kurve folgen kann. Das Diagramm der Residuen gegen die Vorhersagen ist die übliche Prüfung: Ein gekrümmtes Muster weist auf einen fehlenden nichtlinearen Term hin, und eine Trichterform bedeutet, dass die Fehler mit der Vorhersage wachsen – was sich häufig durch eine Log-Transformation des Zielwerts beheben lässt. Durch den quadrierten Fehler können außerdem einige Ausreißer die Anpassung zu sich ziehen. Robuste Verlustfunktionen wie der Huber-Verlust verringern ihren Einfluss.

Wenn Merkmale stark miteinander korrelieren, können kleine Änderungen an den Daten zu starken Schwankungen ihrer Gewichte führen. Die Ridge-Regression fügt einen Strafterm für quadrierte Gewichte hinzu, der sie verkleinert; Lasso fügt einen Strafterm für die Absolutwerte der Gewichte hinzu, der einige Gewichte exakt auf null setzt und so Merkmale auswählt; Elastic Net kombiniert beide Ansätze. Diese Formen der Regularisierung nehmen eine leichte Verzerrung zugunsten einer geringeren Varianz in Kauf – ein Bias-Varianz-Kompromiss – und begrenzen Überanpassung, wenn die Zahl der Merkmale im Verhältnis zur Zahl der Stichproben groß ist.

Lineare Regression im Deep Learning#

Ein neuronales Netz, das Zahlen vorhersagt, endet in der Regel mit einer linearen Schicht. Sein letzter Schritt ist also eine lineare Regression auf den von früheren Schichten gelernten Merkmalen. Ein Netz ohne verborgene Schichten, das mit MSE trainiert wird, ist genau eine lineare Regression. Modelle zur Objekterkennung verwenden dieses Verfahren für die Boxkoordinaten. In YOLO26 endet jeder Box-Zweig des Erkennungskopfs mit einer 1×1-Faltung, die die Merkmale an jeder Gitterposition linear auf vier Abstände von dieser Position zu den Kanten einer Begrenzungsbox abbildet. Beim Training werden diese Abstände mit einem L1-Verlust bestraft, zusätzlich zu einem CIoU-Verlust für die Überlappung der Boxen.

Anwendungen#

• Prognosen: Einzelhändler und Versorgungsunternehmen modellieren Umsätze oder Strombedarf als Funktion von Preisen, Werbeaktionen, Temperaturen und Kalendermerkmalen. Eine angepasste Trendlinie ist eine gängige Ausgangsbasis für komplexere Prognosemodelle.
• Preisbildung und Wertermittlung: Hedonische Preismodelle modellieren Hauspreise als Funktion von Größe, Alter und Lage. Jedes Gewicht gibt den Marktwert einer zusätzlichen Einheit des betreffenden Merkmals an.
• Effektschätzung: Wirtschaftswissenschaftler und Gesundheitsforscher modellieren ein Ergebnis, etwa Löhne oder Blutdruck, als Funktion eines interessierenden Faktors sowie von Kontrollvariablen. So schätzen sie, wie sich das Ergebnis mit diesem Faktor ändert, während die anderen Faktoren konstant gehalten werden.
• Kalibrierungskurven: Labore modellieren Messwerte von Instrumenten als Funktion der bekannten Konzentrationen von Referenzproben. Anschließend kehren sie die angepasste Gerade um, um Messwerte neuer Proben in Konzentrationen umzurechnen.

Lineare Regression im Vergleich zu verwandten Methoden#

• Logistische Regression: Löst Klassifikationsaufgaben, indem sie dieselbe gewichtete Summe durch eine Sigmoidfunktion leitet und so eine Wahrscheinlichkeit zwischen 0 und 1 ausgibt. Trainiert wird sie mit Log-Loss statt mit dem quadrierten Fehler.
• Polynomiale Regression: Passt Potenzen eines Merkmals an, etwa x und x², und entspricht einer linearen Regression auf diesen erweiterten Merkmalen.
• Entscheidungsbäume und Boosting-Bäume wie XGBoost: Teilen den Merkmalsraum in Bereiche auf und lernen nichtlineare Effekte sowie Wechselwirkungen ohne manuell erstellte Merkmale. Innerhalb jedes Bereichs sagen sie jedoch einen konstanten Wert voraus und können daher Trends außerhalb des Trainingsbereichs nicht fortschreiben.
• Korrelation: Pearsons Korrelationskoeffizient r misst die Stärke eines linearen Zusammenhangs symmetrisch. Die Steigung einer einfachen linearen Regression von y auf x entspricht r multipliziert mit dem Verhältnis der Standardabweichungen von y und x.