Logistic Regression

Die logistische Regression ist ein Verfahren des überwachten Lernens zur Klassifikation. Sie schätzt die Wahrscheinlichkeit, dass eine Eingabe zu einer Klasse gehört, indem sie eine gewichtete Summe ihrer Merkmale durch die logistische Funktion, auch Sigmoidfunktion genannt, leitet. Der Begriff „Regression“ ist Teil des Namens, weil das Modell die Log-Odds der Klasse anhand der Merkmale regressiert. Es wird jedoch zur Klassifikation verwendet: Ein Spamfilter, ein Kreditmodell oder ein Screening-Test wandelt die Wahrscheinlichkeit mithilfe eines Schwellenwerts in eine Ja-Nein-Entscheidung um. Joseph Berkson entwickelte das Verfahren ab 1944 als allgemeines statistisches Modell und prägte dabei den Begriff „Logit“. Die logistische Regression ist nach wie vor die übliche Baseline für die Klassifikation tabellarischer Daten, weil sie in Sekunden trainiert wird, Wahrscheinlichkeiten ausgibt und ihre Gewichte direkt als Effekte auf die Odds interpretiert werden können.

So funktioniert die logistische Regression#

Das Modell berechnet wie bei der linearen Regression einen Wert, z = w·x + b, und bildet ihn dann auf eine Wahrscheinlichkeit ab: p = 1 / (1 + e⁻ᶻ). Die Sigmoidfunktion bildet jeden Wert auf den Bereich von 0 bis 1 ab, gibt bei z = 0 den Wert 0,5 zurück und nähert sich 1 oder 0, wenn z in die jeweilige Richtung stark anwächst. Die Umkehrung zeigt, was der Wert bedeutet: z entspricht den Log-Odds, log(p / (1 − p)). Das Modell nimmt also an, dass sich die Log-Odds der positiven Klasse mit jedem Merkmal linear ändern. Seine Entscheidungsgrenze ist eine Gerade, Ebene oder Hyperebene. Eine Erhöhung eines Merkmals um eine Einheit multipliziert die Odds mit eʷ, wobei w das Gewicht dieses Merkmals ist. Deshalb geben medizinische Studien und Kreditstudien die Ergebnisse der logistischen Regression als Odds Ratios an.

Beim Training werden die Gewichte mit der Maximum-Likelihood-Methode festgelegt, was der Minimierung des Log-Loss entspricht, auch binäre Kreuzentropie genannt: −[y·log(p) + (1 − y)·log(1 − p)]. Der Verlust wird über die Trainingsdaten gemittelt. Der Verlust ist konvex und hat daher ein einziges Minimum, aber keine geschlossene Lösung. Deshalb erreichen Solver wie L-BFGS, das Newton-Verfahren oder der Gradientenabstieg das Minimum iterativ. Ohne Strafterm treiben Klassen, die durch eine Hyperebene perfekt getrennt werden, die Gewichte gegen unendlich. Deshalb fügen Bibliotheken standardmäßig eine Regularisierung hinzu: LogisticRegression von scikit-learn verwendet einen L2-Strafterm mit C = 1.0; kleinere C-Werte bewirken eine stärkere Regularisierung. Da der Log-Loss genaue Wahrscheinlichkeiten belohnt, liefert eine korrekt spezifizierte und passend regularisierte logistische Regression tendenziell gut kalibrierte Wahrscheinlichkeiten. Diese Eigenschaft messen Kennzahlen wie der Brier-Score.

Entscheidungsschwellenwerte#

Ein Schwellenwert wandelt jede Wahrscheinlichkeit in ein Label um. 0,5 ist dabei lediglich der Standardwert. Durch eine Änderung des Schwellenwerts verschiebt sich das Verhältnis zwischen Präzision und Trefferquote: Ein Modell zur Krebsfrüherkennung senkt den Schwellenwert, damit weniger Tumore übersehen werden. Ein Spamfilter erhöht ihn, um zu verhindern, dass legitime E-Mails ausgeblendet werden. Die ROC-Kurve stellt diesen Zielkonflikt für alle Schwellenwerte dar. Die Fläche darunter misst, wie gut das Modell positive Fälle höher einstuft als negative. Dieses Beispiel trainiert eine logistische Regression mit dem in scikit-learn enthaltenen Wisconsin-Brustkrebsdatensatz und vergleicht zwei Schwellenwerte:

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, recall_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
y = 1 - y  # make malignant (originally 0) the positive class
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

# Standardize the 30 features, then fit weights by minimizing log loss
model = make_pipeline(StandardScaler(), LogisticRegression())
model.fit(X_train, y_train)

# Predicted probability of malignancy, turned into labels at two thresholds
proba = model.predict_proba(X_test)[:, 1]
for threshold in (0.5, 0.1):
    pred = (proba >= threshold).astype(int)
    print(
        f"Threshold {threshold}: precision {precision_score(y_test, pred):.3f}, recall {recall_score(y_test, pred):.3f}"
    )

Beim Standardschwellenwert 0,5 ist jeder vom Modell erkannte Tumor bösartig (Präzision 1.000), und das Modell übersieht 2 der 53 bösartigen Tumore in der Testmenge (Trefferquote 0.962). Bei 0,1 erkennt es alle 53 (Trefferquote 1.000) und markiert außerdem 11 der 90 gutartigen Tumore (Präzision 0.828).

Klassifikatoren für mehrere Klassen und neuronale Netze#

Bei mehr als zwei sich gegenseitig ausschließenden Klassen berechnet die multinomiale logistische Regression für jede Klasse einen Wert und wandelt die Werte mit der Softmaxfunktion in Wahrscheinlichkeiten um, deren Summe 1 ergibt. Trainiert wird sie mit Kreuzentropieverlust. Beim One-vs-Rest-Verfahren wird stattdessen für jede Klasse ein separates binäres Modell trainiert. Bei Mehrfachlabel-Problemen, bei denen eine Eingabe mehrere Labels zugleich haben kann, wird für jede Klasse eine unabhängige Sigmoidfunktion verwendet.

Die Ausgabeschicht der meisten Klassifikations-neuronalen Netze ist eines dieser Modelle, angewendet auf Merkmale, die frühere Schichten gelernt haben. Das gilt etwa für Netze zur Bildklassifikation, die mit einer linearen Schicht und einer Softmaxfunktion enden. Im Erkennungskopf von YOLO26 endet jeder Klassifikationszweig mit einer 1×1-Faltung, die an jeder Gitterposition für jede Klasse einen Logit ausgibt. Eine Sigmoidfunktion wandelt jeden Logit in einen unabhängigen Klassenwert um, der mit binärer Kreuzentropie trainiert wird. Jeder Klassenwert entspricht somit einer logistischen Regression auf den Merkmalen an der jeweiligen Position. Das Argument conf des Vorhersagemodus ist standardmäßig auf 0,25 gesetzt und entspricht dem auf diese Werte angewendeten Entscheidungsschwellenwert.

Anwendungen#

• Klinische Risikowerte: Modelle schätzen anhand von Alter, Blutdruck und Laborwerten die Wahrscheinlichkeit einer Erkrankung, Komplikation oder erneuten Krankenhauseinweisung. Die Odds Ratios zeigen Ärztinnen und Ärzten, wie stark die einzelnen Faktoren das Risiko erhöhen.
• Kreditbewertung: Kreditgeber erstellen Kreditbewertungssysteme mit logistischer Regression, weil sich der Beitrag jedes Merkmals zum Ergebnis gegenüber Antragstellern und Aufsichtsbehörden erklären lässt.
• Vorhersage von Anzeigenklicks: In Googles Veröffentlichung von 2013 über das produktiv eingesetzte Klickvorhersagesystem wurde eine online mit dem FTRL-Proximal-Algorithmus trainierte logistische Regression beschrieben. Der Algorithmus hält das Modell dünn besetzt, um die Wahrscheinlichkeit vorherzusagen, dass ein Nutzer auf eine Anzeige klickt.
• Vorhersage von Kündigungen: Abonnementanbieter schätzen die Wahrscheinlichkeit, dass einzelne Kunden im nächsten Zeitraum kündigen, und richten Rückgewinnungsangebote gezielt an die Konten mit dem höchsten Risiko.

Logistische Regression im Vergleich zu verwandten Methoden#

• Lineare Regression mit 0/1-Labels: Die Anpassung des quadrierten Fehlers an Klassenlabels führt zu Vorhersagen unter 0 und über 1. Außerdem beeinflussen weit von der Entscheidungsgrenze entfernte Punkte die Anpassung, selbst wenn sie korrekt klassifiziert wurden. Die Sigmoidfunktion und der Log-Loss vermeiden diese Probleme.
• Support-Vector-Maschinen (SVM): Eine lineare SVM lernt ebenfalls eine Hyperebene, minimiert aber den Hinge-Verlust, um den Rand zu maximieren, und gibt Abstände zur Entscheidungsgrenze statt Wahrscheinlichkeiten aus.
• Naive Bayes: Ein generativer Klassifikator, der modelliert, wie Merkmale aus den einzelnen Klassen hervorgehen. Zusammen mit der logistischen Regression, seinem diskriminativen Gegenstück, bildet er ein klassisches Paar. Ng und Jordan (2001) zeigten, dass sich Naive Bayes mit weniger Trainingsbeispielen seinem höheren asymptotischen Fehler nähert, während die logistische Regression bei ausreichend vielen Daten einen niedrigeren Fehler erreicht.
• Perzeptron: Wendet eine Sprungfunktion auf dieselbe gewichtete Summe an, gibt nur 0 oder 1 aus und aktualisiert seine Gewichte nur dann, wenn es ein Trainingsbeispiel falsch klassifiziert.