Predictive Modeling

Beim prädiktiven Modellieren werden Modelle mit historischen Daten trainiert, um unbekannte oder zukünftige Ergebnisse abzuschätzen. Arbeitsablauf, Modelltypen, Bewertung, Anwendungen und Code.

Prädiktive Modellierung bezeichnet den Prozess, ein statistisches Modell oder ein Modell des maschinellen Lernens anhand historischer Daten zu erstellen, um ein unbekanntes oder noch nicht eingetretenes Ergebnis vorherzusagen. Beispiele dafür sind die Frage, ob ein Kunde kündigt, wie viel ein Geschäft nächste Woche verkauft oder ob ein Scan auf eine Erkrankung hindeutet. Das Modell lernt aus vergangenen Beispielen, wie Eingabemerkmale mit einem bekannten Ergebnis zusammenhängen – eine Form des überwachten Lernens – und wendet diesen Zusammenhang anschließend auf neue Fälle an. Häufig gibt es neben der Vorhersage eine Wahrscheinlichkeit oder einen Wertebereich aus. Predictive Analytics bezeichnet die geschäftliche Anwendung solcher Modelle für Entscheidungen in Marketing, Finanzwesen, Betrieb und Gesundheitswesen. Sie liegt zwischen der deskriptiven Analyse, die zusammenfasst, was geschehen ist, und der präskriptiven Analyse, die empfiehlt, was zu tun ist.

Der Arbeitsablauf der prädiktiven Modellierung#

Ein Projekt beginnt mit der Festlegung des Zielwerts und der Entscheidung, die er unterstützen soll. Anschließend werden historische Beispiele zusammengestellt, bei denen die Eingaben zu dem Zeitpunkt bekannt waren, an dem die Vorhersage hätte getroffen werden müssen. Feature Engineering wandelt Rohdaten in Modelleingaben um, und die Daten werden in Trainings-, Validierungs- und Testdatensätze aufgeteilt. Bei Prognosen erfolgt die Aufteilung nach Zeit, damit das Modell stets anhand späterer Zeiträume bewertet wird als der Zeiträume, aus denen es gelernt hat. Eine zufällige Aufteilung oder ein Merkmal, das die Antwort bereits enthält, führt zu Datenleckage und überhöhten Ergebnissen. Kandidatenmodelle werden anhand zurückgehaltener Daten mit einer einfachen Ausgangsbasis verglichen. Nach der Bereitstellung wird das Modell auf Datenverschiebung überwacht, da die gelernten Zusammenhänge mit den Veränderungen der Welt schwächer werden.

Die Bewertung verwendet Metriken, die zur jeweiligen Entscheidung passen: Präzision, Trefferquote und die Fläche unter der ROC-Kurve für Klassifizierer sowie den mittleren absoluten Fehler (MAE) oder den quadratischen Mittelwert des Fehlers für numerische Vorhersagen. Die Kreuzvalidierung schätzt die Leistung kleiner Datensätze, indem sie Ergebnisse aus mehreren Aufteilungen in Trainings- und Testdaten mittelt. Dieses Beispiel verwendet scikit-learn, um die Entwicklung von Diabetes ein Jahr nach den Ausgangsmessungen eines Patienten vorherzusagen. Dabei werden zwei Modelle mit einer Ausgangsbasis verglichen, die immer den Durchschnittswert vorhersagt:

from sklearn.datasets import load_diabetes
from sklearn.dummy import DummyRegressor
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.linear_model import Ridge
from sklearn.model_selection import cross_val_score

# 442 patients: 10 baseline measurements and disease progression one year later
X, y = load_diabetes(return_X_y=True)

models = {
    "Baseline (always predict the mean)": DummyRegressor(),
    "Ridge regression": Ridge(alpha=0.1),
    "Gradient-boosted trees": HistGradientBoostingRegressor(max_depth=3, random_state=0),
}
for name, model in models.items():
    # Mean absolute error on held-out folds of 5-fold cross-validation
    scores = cross_val_score(model, X, y, cv=5, scoring="neg_mean_absolute_error")
    print(f"{name}: MAE {-scores.mean():.1f}")

Die Ausgangsbasis weicht im Durchschnitt um 66,0 Punkte vom Fortschrittswert ab, die Ridge-Regression um 44,6 und die Gradient-Boosting-Bäume um 46,5. Beide Modelle senken den Fehler damit um etwa ein Drittel. Bei diesen 442 Patienten ist das einfachere lineare Modell genauer.

Arten prädiktiver Modelle#

Prädiktive Modelle unterscheiden sich nach dem Ergebnis, das sie schätzen. Klassifizierungsmodelle wie die logistische Regression und Entscheidungsbäume sagen eine Kategorie und meist auch deren Wahrscheinlichkeit voraus. Regressionsmodelle wie die lineare Regression sagen einen Zahlenwert voraus. Prognosemodelle für Zeitreihen sagen zukünftige Werte einer Folge anhand ihrer bisherigen Werte, der Saisonalität und externer Einflussgrößen voraus. Überlebenszeitmodelle sagen voraus, wann ein Ereignis wie ein Maschinenausfall eintritt, auch wenn es noch nicht eingetreten ist. Für Tabellendaten werden üblicherweise regularisierte lineare Modelle und Baumensembles wie Random Forests und XGBoost verwendet. Bei Bildern, Audio und Text sind dagegen neuronale Netze führend. Tabellarische Basismodelle können Vorhersagen für neue Tabellen treffen, ohne für jeden Datensatz ein Modell zu trainieren.