Continual Learning

Kontinuierliches Lernen (CL), oft auch als lebenslanges Lernen bezeichnet, beschreibt die Fähigkeit eines Modells der künstlichen Intelligenz, sequenziell neue Aufgaben zu erlernen oder neues Wissen im Laufe der Zeit zu erwerben, ohne dabei zuvor gelerntes Wissen zu vergessen. Im Gegensatz zu herkömmlichen Machine-Learning-Pipelines, bei denen Modelle einmalig auf einem statischen Datensatz trainiert und anschließend bereitgestellt werden, ahmt kontinuierliches Lernen die menschliche Fähigkeit nach, sich kontinuierlich an neue Umgebungen anzupassen und aus neuen Erfahrungen zu lernen. Die größte Herausforderung in diesem Bereich ist die Überwindung des katastrophalen Vergessens, einem Phänomen, bei dem das Training eines neuronalen Netzwerks mit neuen Daten dazu führt, dass sich seine Leistung bei älteren Aufgaben drastisch verschlechtert, da die für die alten Aufgaben optimierten Gewichte überschrieben werden.

Link to this sectionWarum kontinuierliches Lernen wichtig ist#

In dynamischen Umgebungen der realen Welt bleiben Datenverteilungen selten statisch. Ein visuelles Wahrnehmungssystem in einem autonomen Fahrzeug muss sich beispielsweise an wechselnde Jahreszeiten, neue Verkehrsregeln oder unterschiedliche Stadtlayouts anpassen können, ohne die Fähigkeit zu verlieren, grundlegende Verkehrsschilder zu erkennen, die während des ursprünglichen Trainings gelernt wurden. Herkömmliches Retraining von Grund auf auf einem kumulativen Datensatz ist aufgrund von Speicherbeschränkungen oder Datenschutzbedenken oft rechenintensiv und unpraktisch. Kontinuierliches Lernen begegnet diesen Problemen, indem es Modellen ermöglicht, inkrementell zu aktualisieren, was sie effizienter und skalierbarer für Edge-AI-Anwendungen macht, bei denen Ressourcen begrenzt sind.

Link to this sectionPraxisanwendungen#

• Robotik und autonome Systeme: Roboter, die in unstrukturierten Umgebungen eingesetzt werden, müssen neuartige Objekte handhaben oder durch unbekanntes Gelände navigieren können. Durch kontinuierliches Lernen kann ein Roboter eine spezifische Fertigungsaufgabe meistern und später lernen, eine andere Produktlinie zu verarbeiten, ohne dass ein vollständiger Systemneustart erforderlich ist. Dies unterstützt effektiv flexible Innovationspipelines für Industrie 4.0.
• Medizinische Bilddiagnose: Gesundheitsdaten entwickeln sich ständig weiter, wenn neue Krankheiten auftreten oder sich bildgebende Verfahren ändern. Ein KI-System zur Unterstützung von Radiologen kann durch kontinuierliches Lernen neue Krankheitsbilder einbeziehen, wie etwa eine neue Virusvariante in Röntgenbildern, während es gleichzeitig eine hohe Genauigkeit bei der Erkennung gängiger Leiden wie Lungenentzündungen oder Knochenbrüchen beibehält. Diese Fähigkeit ist entscheidend, um medizinische Diagnosen auf dem neuesten Stand zu halten, ohne die Patientensicherheit bei bewährten Protokollen zu gefährden.

Link to this sectionWichtige Strategien für kontinuierliches Lernen#

Um katastrophales Vergessen zu verhindern, setzen Forscher verschiedene Strategien ein. Regularisierungsmethoden fügen der Verlustfunktion Einschränkungen hinzu, um signifikante Änderungen an wichtigen Gewichten zu verhindern, die in früheren Aufgaben identifiziert wurden. Replay-Methoden speichern eine kleine Teilmenge früherer Daten (oder generieren synthetische Beispiele mithilfe von generativer KI) und mischen sie während des Trainings mit neuen Daten. Schließlich widmet die Parameterisolation bestimmte Teilmengen der Modellparameter verschiedenen Aufgaben, um sicherzustellen, dass Aktualisierungen für eine neue Aufgabe die für frühere Aufgaben optimierten Parameter nicht beeinträchtigen. Jüngste Fortschritte in den Jahren 2024 und 2025 konzentrieren sich darauf, Vision-Language-Modelle zu nutzen, um besser zu erkennen, welche Merkmale generisch und welche aufgabenspezifisch sind.

Link to this sectionKontinuierliches Lernen vs. Transfer Learning#

Es ist wichtig, zwischen kontinuierlichem Lernen und Transfer Learning zu unterscheiden. Beim Transfer Learning dient ein vortrainiertes Modell als Ausgangspunkt, um eine neue spezifische Aufgabe zu lösen, wobei die Leistung bei der ursprünglichen Aufgabe meist irrelevant ist. Das Ziel ist es, die Leistung in der Zieldomäne zu maximieren. Im Gegensatz dazu besteht das Ziel des kontinuierlichen Lernens darin, sowohl bei der neuen Aufgabe als auch bei allen vorherigen Aufgaben gut abzuschneiden. Während sich Active Learning ähnlich darauf konzentriert, die informativsten Datenpunkte für das Training auszuwählen, fokussiert sich kontinuierliches Lernen auf den Prozess der Aktualisierung des Modells selbst im Laufe der Zeit.

Link to this sectionAktualisierung eines YOLO Modells#

Obwohl echtes kontinuierliches Lernen spezielle architektonische Anpassungen erfordert, können Benutzer diesen Workflow simulieren, indem sie Modelle mit neuen Daten feinabstimmen, die mit einem Puffer alter Daten vermischt sind. Die Ultralytics Plattform vereinfacht die Verwaltung dieser Datensätze und die Versionierung von Modellen. Nachfolgend findest du ein Beispiel, wie man die Aktualisierung eines Modells mithilfe der Python API angehen könnte:

from ultralytics import YOLO

# Load a model previously trained on 'dataset_v1.yaml'
model = YOLO("yolo26n-v1.pt")

# Train the model on a new dataset containing new and old samples
# This helps mitigate catastrophic forgetting by "replaying" old data
results = model.train(
    data="dataset_v2_combined.yaml",
    epochs=50,
    imgsz=640,
    lr0=0.001,  # Lower learning rate for fine-tuning
)

Link to this sectionHerausforderungen und zukünftige Richtungen#

Trotz Fortschritten bleibt kontinuierliches Lernen ein aktives Forschungsgebiet. Die Bestimmung des optimalen Plastizitäts-Stabilitäts-Dilemmas – das Abwägen zwischen der Fähigkeit, neue Dinge zu lernen (Plastizität), und der Fähigkeit, alte zu behalten (Stabilität) – ist schwierig. Darüber hinaus erfordert die Bewertung dieser Systeme robuste Leistungsmetriken, die sowohl den Vorwärtstransfer (Lerngeschwindigkeit bei neuen Aufgaben) als auch den Rückwärtstransfer (Auswirkungen auf alte Aufgaben) berücksichtigen. Da Foundation-Modelle immer größer werden, werden effiziente Methoden zur kontinuierlichen Anpassung wie Low-Rank Adaptation (LoRA) entscheidend für die Anpassung großer Systeme ohne vollständiges Retraining.