Continual Learning

Kontinuierliches Lernen (CL), oft auch lebenslanges Lernen genannt, bezeichnet die Fähigkeit eines Modells der künstlichen Intelligenz, im Laufe der Zeit nacheinander neue Aufgaben zu erlernen oder neues Wissen zu erwerben, ohne zuvor Gelerntes zu vergessen. Anders als bei herkömmlichen Pipelines für maschinelles Lernen, bei denen Modelle einmalig mit einem statischen Datensatz trainiert und anschließend eingesetzt werden, ahmt kontinuierliches Lernen die menschliche Fähigkeit nach, sich fortlaufend an neue Umgebungen anzupassen und aus neuen Erfahrungen zu lernen. Die größte Herausforderung in diesem Bereich besteht darin, dem katastrophalen Vergessen entgegenzuwirken. Dabei führt das Training eines neuronalen Netzes mit neuen Daten zu einer drastischen Verschlechterung seiner Leistung bei früheren Aufgaben, weil die für diese Aufgaben optimierten Gewichte überschrieben werden.

Warum kontinuierliches Lernen wichtig ist#

In dynamischen Umgebungen der realen Welt bleiben Datenverteilungen nur selten unverändert. Ein visuelles Wahrnehmungssystem in einem autonomen Fahrzeug muss sich beispielsweise an wechselnde Jahreszeiten, neue Verkehrsregeln oder unterschiedliche Stadtpläne anpassen, ohne die Fähigkeit zu verlieren, grundlegende Verkehrszeichen aus dem ursprünglichen Training zu erkennen. Ein herkömmliches Neutrainieren von Grund auf mit einem kumulativen Datensatz ist oft rechenintensiv und aufgrund von Speicherbeschränkungen oder Datenschutzbedenken unpraktisch. Kontinuierliches Lernen löst diese Probleme, indem es die schrittweise Aktualisierung von Modellen ermöglicht. Dadurch werden sie effizienter und besser skalierbar für Edge-KI-Anwendungen mit begrenzten Ressourcen.

Anwendungen in der Praxis#

• Robotik und autonome Systeme: Roboter, die in unstrukturierten Umgebungen eingesetzt werden, müssen neuartige Objekte handhaben oder sich in unbekanntem Gelände zurechtfinden. Durch kontinuierliches Lernen kann ein Roboter eine bestimmte Fertigungsaufgabe meistern und später lernen, eine andere Produktlinie zu bearbeiten, ohne dass das gesamte System zurückgesetzt werden muss. So lassen sich flexible Innovationsabläufe für Industrie 4.0 unterstützen.
• Diagnose anhand medizinischer Bilder: Daten im Gesundheitswesen verändern sich, wenn neue Krankheiten auftreten oder sich Bildgebungsverfahren ändern. Ein KI-System, das Radiologen unterstützt, kann mithilfe kontinuierlichen Lernens neue Krankheitsbilder einbeziehen, etwa einen neuartigen Virusstamm auf Röntgenbildern, und zugleich bei der Erkennung häufiger Erkrankungen wie Lungenentzündungen oder Knochenbrüchen eine hohe Genauigkeit beibehalten. Diese Fähigkeit ist entscheidend, um eine aktuelle medizinische Diagnostik zu gewährleisten, ohne die Patientensicherheit bei etablierten Verfahren zu gefährden.

Zentrale Strategien für kontinuierliches Lernen#

Um katastrophalem Vergessen entgegenzuwirken, setzen Forschende verschiedene Strategien ein. Regularisierungsmethoden ergänzen die Verlustfunktion um Einschränkungen, damit wichtige, bei früheren Aufgaben ermittelte Gewichte nicht wesentlich verändert werden. Replay-Methoden speichern eine kleine Auswahl früherer Daten (oder erzeugen synthetische Beispiele mithilfe generativer KI) und mischen diese während des Trainings mit neuen Daten. Bei der Parameterisolierung werden bestimmten Aufgaben eigene Teilmengen der Modellparameter zugewiesen. So wird sichergestellt, dass Aktualisierungen für eine neue Aufgabe die für frühere Aufgaben optimierten Parameter nicht beeinflussen. Fortschritte aus den Jahren 2024 und 2025 konzentrierten sich darauf, Vision-Language-Modelle einzusetzen, um allgemeine und aufgabenspezifische Merkmale besser zu unterscheiden.

Kontinuierliches Lernen vs. Transferlernen#

Es ist wichtig, kontinuierliches Lernen von Transferlernen zu unterscheiden. Beim Transferlernen dient ein vortrainiertes Modell als Ausgangspunkt für eine neue, spezifische Aufgabe. Die Leistung bei der ursprünglichen Aufgabe ist dabei in der Regel unerheblich. Ziel ist es, die Leistung im Zieldomänenbereich zu maximieren. Beim kontinuierlichen Lernen geht es dagegen darum, sowohl bei der neuen als auch bei allen früheren Aufgaben gute Ergebnisse zu erzielen. Während es beim aktiven Lernen darum geht, die informativsten Datenpunkte für die Annotation im Training auszuwählen, konzentriert sich kontinuierliches Lernen auf den Prozess, das Modell im Laufe der Zeit zu aktualisieren.

Ein YOLO-Modell aktualisieren#

Echtes kontinuierliches Lernen erfordert zwar spezielle architektonische Anpassungen, doch Nutzer können diesen Arbeitsablauf simulieren, indem sie Modelle mit neuen Daten und einem Puffer alter Daten feinabstimmen. Die Ultralytics Platform vereinfacht die Verwaltung dieser Datensätze und die Versionierung von Modellen. Das folgende Beispiel zeigt, wie du ein Modell mithilfe der Python-API aktualisieren kannst:

from ultralytics import YOLO

# Ein Modell laden, das zuvor mit „dataset_v1.yaml“ trainiert wurde
model = YOLO("yolo26n-v1.pt")

# Das Modell mit einem neuen Datensatz trainieren, der neue und alte Beispiele enthält
# Dadurch lässt sich katastrophales Vergessen eindämmen, indem alte Daten erneut verwendet werden
results = model.train(
    data="dataset_v2_combined.yaml",
    epochs=50,
    imgsz=640,
    lr0=0.001,  # Niedrigere Lernrate für die Feinabstimmung
)

Herausforderungen und zukünftige Entwicklungen#

Trotz der Fortschritte bleibt kontinuierliches Lernen ein aktives Forschungsgebiet. Es ist schwierig, das optimale Spannungsfeld zwischen Plastizität und Stabilität zu bestimmen, also die Fähigkeit, Neues zu lernen (Plastizität), mit der Fähigkeit, Altes zu behalten (Stabilität), in Einklang zu bringen. Außerdem erfordert die Bewertung dieser Systeme aussagekräftige Leistungskennzahlen, die sowohl den Vorwärtstransfer (Lerngeschwindigkeit bei neuen Aufgaben) als auch den Rückwärtstransfer (Auswirkungen auf ältere Aufgaben) berücksichtigen. Mit zunehmender Größe von Foundation Models werden effiziente Methoden zur kontinuierlichen Anpassung wie Low-Rank Adaptation (LoRA) immer wichtiger, um große Systeme ohne vollständiges Neutrainieren anzupassen.