Continual Learning

Il continual learning (CL), spesso definito apprendimento permanente, descrive la capacità di un modello di intelligenza artificiale di apprendere sequenzialmente nuovi compiti o acquisire nuove conoscenze nel tempo senza dimenticare le informazioni apprese in precedenza. A differenza delle pipeline di machine learning tradizionali, in cui i modelli vengono addestrati una sola volta su un dataset statico e poi distribuiti, il continual learning imita la capacità umana di adattarsi a nuovi ambienti e imparare continuamente da nuove esperienze. La sfida principale in questo campo è superare il catastrofico oblio, un fenomeno in cui l'addestramento di una rete neurale su nuovi dati ne causa un drastico degrado delle prestazioni su compiti precedenti, poiché i pesi ottimizzati per i vecchi compiti vengono sovrascritti.

Link to this sectionPerché il Continual Learning è importante#

In ambienti dinamici del mondo reale, le distribuzioni dei dati raramente rimangono statiche. Ad esempio, un sistema di percezione visiva su un veicolo autonomo deve adattarsi al cambio di stagioni, a nuove normative sul traffico o a diversi layout cittadini senza perdere la capacità di riconoscere i segnali stradali di base appresi durante l'addestramento iniziale. Il tradizionale retraining from scratch su un dataset cumulativo è spesso computazionalmente costoso e impraticabile a causa di vincoli di archiviazione o problemi di privacy. Il continual learning affronta questi problemi consentendo ai modelli di aggiornarsi in modo incrementale, rendendoli più efficienti e scalabili per edge AI applications dove le risorse sono limitate.

Link to this sectionApplicazioni nel mondo reale#

• Robotica e sistemi autonomi: I robot impiegati in ambienti non strutturati devono manipolare oggetti nuovi o navigare in terreni sconosciuti. Grazie al continual learning, un robot può padroneggiare uno specifico task di produzione e imparare in seguito a gestire una linea di prodotti diversa senza dover ripristinare completamente il sistema, supportando efficacemente le pipeline di innovazione per l'industria 4.0.
• Diagnostica per immagini mediche: I dati sanitari si evolvono man mano che emergono nuove malattie o cambiano i protocolli di imaging. Un sistema di IA che assiste i radiologi può utilizzare il continual learning per incorporare nuove patologie, come un nuovo ceppo di virus rilevato nelle radiografie, mantenendo un'elevata precisione nel rilevamento di condizioni comuni come polmoniti o fratture. Questa capacità è vitale per mantenere aggiornata la diagnostica sanitaria senza compromettere la sicurezza del paziente sui protocolli stabiliti.

Link to this sectionStrategie chiave nel Continual Learning#

Per mitigare il catastrofico oblio, i ricercatori impiegano diverse strategie. I metodi di regolarizzazione aggiungono vincoli alla loss function per evitare cambiamenti significativi ai pesi importanti identificati nei compiti precedenti. I metodi di replay memorizzano un piccolo sottoinsieme di dati precedenti (o generano campioni sintetici usando generative AI) e li mescolano con nuovi dati durante l'addestramento. Infine, l'isolamento dei parametri dedica specifici sottoinsiemi dei parametri del modello a diversi compiti, garantendo che gli aggiornamenti per un nuovo compito non interferiscano con i parametri ottimizzati per quelli precedenti. I recenti progressi nel 2024 e 2025 si sono concentrati sull'utilizzo di vision language models per identificare meglio quali caratteristiche siano generiche e quali specifiche del compito.

Link to this sectionContinual Learning vs. Transfer Learning#

È importante distinguere il continual learning dal transfer learning. Nel transfer learning, un modello pre-addestrato funge da punto di partenza per risolvere un nuovo compito specifico e le prestazioni sul compito originale sono solitamente irrilevanti. L'obiettivo è massimizzare le prestazioni sul dominio target. Al contrario, l'obiettivo del continual learning è ottenere buoni risultati sia sul nuovo compito che su tutti i compiti precedenti. Allo stesso modo, mentre l'active learning si concentra sulla selezione dei punti dati più informativi da etichettare per l'addestramento, il continual learning si concentra sul processo di aggiornamento del modello stesso nel tempo.

Link to this sectionAggiornare un modello YOLO#

Sebbene il vero continual learning richieda aggiustamenti architetturali specializzati, puoi simulare questo flusso di lavoro effettuando il fine-tuning dei modelli su nuovi dati mescolati con un buffer di vecchi dati. La Ultralytics Platform semplifica la gestione di questi dataset e il versionamento dei modelli. Di seguito è riportato un esempio di come si potrebbe approcciare l'aggiornamento di un modello utilizzando la Python API:

from ultralytics import YOLO

# Load a model previously trained on 'dataset_v1.yaml'
model = YOLO("yolo26n-v1.pt")

# Train the model on a new dataset containing new and old samples
# This helps mitigate catastrophic forgetting by "replaying" old data
results = model.train(
    data="dataset_v2_combined.yaml",
    epochs=50,
    imgsz=640,
    lr0=0.001,  # Lower learning rate for fine-tuning
)

Link to this sectionSfide e direzioni future#

Nonostante i progressi, il continual learning rimane un'area di ricerca attiva. Determinare l'ottimale plasticity-stability dilemma—bilanciare la capacità di imparare cose nuove (plasticità) con la capacità di conservare quelle vecchie (stabilità)—è difficile. Inoltre, la valutazione di questi sistemi richiede solide performance metrics che tengano conto sia del forward transfer (velocità di apprendimento sui nuovi compiti) che del backward transfer (impatto sui vecchi compiti). Man mano che i foundation models diventano più grandi, metodi di adattamento continuo efficienti come Low-Rank Adaptation (LoRA) stanno diventando cruciali per personalizzare sistemi su larga scala senza un retraining completo.