Online Learning

Online-Lernen ist eine Form des maschinellen Lernens, bei der ein Modell aus sequenziell eintreffenden Daten lernt und nach jedem Beispiel oder kleinen Stapel aktualisiert wird, statt einmalig mit einem festen Datensatz trainiert zu werden. Bei jedem Schritt erstellt das Modell eine Vorhersage, erhält das tatsächliche Ergebnis, berechnet seinen Verlust und passt seine Parameter an, bevor das nächste Beispiel eintrifft. Der Ansatz eignet sich für Datenströme wie Klicks, Transaktionen oder Sensormessungen, für Datenmengen, die zu groß zum Speichern sind, sowie für Beziehungen, die sich im Laufe der Zeit ändern. Batch- oder Offline-Lernen ist das Gegenteil: Das Modell wird mit allen Trainingsdaten auf einmal trainiert und bleibt unverändert, bis es erneut trainiert wird.

So funktioniert Online-Lernen#

Das Perzeptron von Frank Rosenblatt aus dem Jahr 1958 lernte online und passte seine Gewichte nach jedem falsch klassifizierten Beispiel an. Stochastischer Gradientenabstieg (SGD) wendet dieselbe Aktualisierung pro Beispiel oder Stapel auf nahezu jedes differenzierbare Modell an. Andere Algorithmen sind speziell für Datenströme entwickelt: Hoeffding-Bäume, die Pedro Domingos und Geoff Hulten 2000 vorstellten, wachsen zu einem Entscheidungsbaum, während jedes Beispiel nur einmal verarbeitet wird. Bibliotheken wie River implementieren Streaming-Versionen gängiger Modelle. In scikit-learn lernen Schätzer mit einer partial_fit-Methode inkrementell.

Online-Lerner werden üblicherweise präsequenziell bewertet – ein Begriff des Statistikers Philip Dawid. Jedes neue Beispiel wird zunächst zum Testen und anschließend zum Trainieren des Modells verwendet. So wird die laufende Bewertung anhand von Daten berechnet, die das Modell noch nicht gesehen hatte. In der Theorie wird ein Online-Lerner anhand seines Regrets gemessen, also der Differenz zwischen seinem kumulierten Verlust und dem eines besten festen Modells, das im Nachhinein ausgewählt wird. Martin Zinkevich zeigte 2003, dass der Online-Gradientenabstieg den Regret nur proportional zur Quadratwurzel der Schrittzahl wachsen lässt, sodass die durchschnittliche Differenz pro Schritt gegen null sinkt.

Dieses Beispiel speist 400 Mini-Batches in eine mit SGD trainierte logistische Regression ein. Nach der Hälfte ändert sich die Regel zur Zuweisung der Labels, und eine zu diesem Zeitpunkt eingefrorene Kopie dient als Modell, das nicht weiterlernt:

import copy

import numpy as np
from sklearn.linear_model import SGDClassifier

rng = np.random.default_rng(0)
online = SGDClassifier(loss="log_loss", random_state=0)
scores = {"frozen": [], "online": []}

for step in range(400):  # 400 mini-batches of 20 examples arrive one at a time
    X = rng.normal(size=(20, 2))
    w = [1.0, 1.0] if step < 200 else [1.0, -1.0]  # the labeling rule changes at step 200
    y = (X @ np.array(w) > 0).astype(int)
    if step == 200:
        frozen = copy.deepcopy(online)  # a copy that stops learning when the rule changes
    if step >= 200:  # test on each new batch before learning from it
        scores["frozen"].append(frozen.score(X, y))
        scores["online"].append(online.score(X, y))
    online.partial_fit(X, y, classes=[0, 1])

for name, acc in scores.items():
    print(f"{name}: {np.mean(acc):.2f} accuracy after the change")

Nach der Änderung erreicht das eingefrorene Modell einen Wert von 0,47 und ist damit nicht besser als Raten; das Online-Modell erzielt dagegen durchschnittlich 0,98. Beim ersten Stapel nach der Änderung erreicht das Online-Modell 0,35, beim zweiten 0,80 und erholt sich nach wenigen weiteren Stapeln.

Konzeptdrift und Vergessen#

Der wichtigste Grund für Online-Lernen ist Konzeptdrift, also eine Änderung der Beziehung zwischen Eingaben und Labels, die häufig mit einer Datenverschiebung in den Eingaben selbst einhergeht. Die Verschiebung kann plötzlich auftreten, wie im Beispiel, sich allmählich entwickeln oder saisonal und abhängig von der Tageszeit wiederkehren. Detektoren wie ADWIN von Albert Bifet und Ricard Gavaldà beobachten den Fehlerstrom und melden Änderungen seines Mittelwerts, die schnellere Aktualisierungen oder einen Neustart auslösen können.

Schnelle Anpassung hat ihren Preis. Eine hohe Lernrate folgt der Verschiebung schnell, aber auch dem Rauschen. Ein Netzwerk, das nur aktuelle Daten sieht, überschreibt früher Gelerntes – ein Fehler, der als katastrophales Vergessen bezeichnet wird. Häufig wird dem mit Wiedergabepuffern begegnet, die bei jeder Aktualisierung gespeicherte ältere Beispiele beimischen.

Online-Lernen in der Praxis#

Online-Lernen kommt häufig dort zum Einsatz, wo Labels innerhalb von Sekunden eintreffen. Die Vorhersage von Anzeigenklicks ist das klassische Beispiel: Google beschrieb 2013, wie seine Modelle zur Klickrate mit dem FTRL-Proximal-Algorithmus fortlaufend anhand von Datenströmen trainiert werden. Auch Empfehlungssysteme und Betrugserkennung werden häufig auf dieselbe Weise aktualisiert. Eingesetzte Vision-Modelle werden stattdessen meist stapelweise aktualisiert, da Labels verspätet eintreffen und eine einzige fehlerhafte Aktualisierung alle nachfolgenden Vorhersagen beeinträchtigen kann. Teams kombinieren daher Modellüberwachung mit regelmäßigem Fine-Tuning anhand aktueller und wiederholt eingespeister Daten, wie in Workflows zur Modellwartung.

Kleinere Online-Aktualisierungen kommen dennoch in Vision-Systemen zum Einsatz. Im Track-Modus von Ultralytics YOLO26 sorgt die Aktivierung der Re-Identifizierung mit with_reid: True dafür, dass der standardmäßige TrackTrack-Tracker für jede Spur ein Erscheinungsbild-Embedding speichert und es nach jeder zugeordneten Erkennung als gleitenden Mittelwert aktualisiert. Dabei erhält das neue Embedding ein Gewicht von 5 % multipliziert mit der Konfidenz der Erkennung. So passt sich das Erscheinungsbild jeder Spur allmählichen Änderungen von Pose und Beleuchtung an, während das ReID-Netzwerk unverändert bleibt.

Kontinuierliches Lernen überschneidet sich mit Online-Lernen, konzentriert sich aber darauf, frühere Aufgaben zu behalten, während neue hinzukommen. Online-Lernen beschreibt dagegen, wie häufig Aktualisierungen stattfinden. Aktives Lernen wählt aus, welche Beispiele gelabelt werden sollen, und bestärkendes Lernen lernt ebenfalls aus einem Interaktionsstrom, jedoch aus Belohnungen für eigene Aktionen statt aus gelabelten Beispielen.