Continual Learning
L’apprentissage continu, ou apprentissage tout au long de la vie, entraîne un modèle sur un flux de nouvelles tâches ou données sans lui faire oublier les précédentes. Découvre la répétition, EWC et le code.
L’apprentissage continu, également appelé apprentissage tout au long de la vie ou apprentissage incrémental, entraîne un modèle sur une séquence de tâches ou un flux de données évolutif tout en préservant les connaissances déjà acquises. Un ajustement fin classique sur de nouvelles données écrase les poids du modèle qui servaient aux tâches précédentes ; les performances sur ces tâches s’effondrent. Cet échec est appelé oubli catastrophique. Les méthodes d’apprentissage continu équilibrent la plasticité, c’est-à-dire la capacité à apprendre de nouvelles choses, et la stabilité, c’est-à-dire la capacité à conserver les connaissances antérieures. Ce compromis est appelé dilemme stabilité-plasticité, tant pour les réseaux neuronaux que pour les cerveaux biologiques.
Pourquoi l’apprentissage continu est important#
Les modèles déployés sont confrontés à des données qui évoluent constamment : nouvelles classes d’objets, nouveau matériel de caméra, éclairage saisonnier ou dérive des données progressive. La solution la plus simple consiste à réentraîner le modèle depuis zéro sur l’ensemble cumulatif des données, mais le coût augmente à chaque mise à jour et les anciennes données peuvent être indisponibles en raison de limites de stockage, de licences ou de règles de protection des données. L’apprentissage continu met plutôt le modèle à jour de façon incrémentale, ce qui convient aux appareils d’IA en périphérie et aux pipelines d’exploitation de l’apprentissage automatique qui réentraînent les modèles déployés selon un calendrier établi.
Types d’apprentissage continu#
Van de Ven, Tuytelaars et Tolias distinguent trois scénarios. Dans l’apprentissage incrémental par tâche, le modèle sait à quelle tâche appartient chaque entrée et peut utiliser une tête de sortie distincte pour chaque tâche. Dans l’apprentissage incrémental par domaine, les classes restent identiques, mais la distribution des entrées change, par exemple lorsqu’un détecteur passe de séquences diurnes à des séquences nocturnes. Dans l’apprentissage incrémental par classe, de nouvelles classes apparaissent continuellement et le modèle doit distinguer toutes les classes rencontrées jusque-là sans savoir de quelle tâche provient une entrée ; c’est le scénario le plus difficile des trois.
Stratégies de prévention de l’oubli#
- Rejeu : le modèle conserve un petit tampon d’exemples antérieurs, ou en génère de nouveaux avec un modèle génératif, et les mélange à chaque nouvelle phase d’entraînement.
- Consolidation élastique des poids : les méthodes de régularisation comme EWC ajoutent à la fonction de perte une pénalité pour la modification des poids importants pour les tâches antérieures ; leur importance est estimée à partir de l’information de Fisher.
- Isolation des paramètres : chaque tâche dispose de ses propres paramètres, grâce à des réseaux de base gelés, à des têtes spécifiques aux tâches ou à des adaptateurs comme LoRA, afin que les mises à jour d’une nouvelle tâche ne puissent pas écraser les paramètres des anciennes.
- Distillation des connaissances : les sorties de l’ancien modèle sur de nouvelles données servent de cibles souples pendant l’apprentissage de la nouvelle tâche. Cette approche est appelée « apprentissage sans oubli ».
L’extrait ci-dessous exécute une expérience d’apprentissage incrémental par classe avec PyTorch : un petit réseau apprend les chiffres manuscrits de 0 à 4, puis ceux de 5 à 9, avec et sans tampon de rejeu contenant 100 images stockées de la première tâche.
import torch
from sklearn.datasets import load_digits
from torch import nn
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0] # digits 0-4, then digits 5-9
for replay in [0, 100]:
torch.manual_seed(0)
model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# Train on task A, then on task B plus a replay buffer of stored task A images
for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
for _ in range(200):
optimizer.zero_grad()
nn.functional.cross_entropy(model(X[task]), y[task]).backward()
optimizer.step()
accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")Sans rejeu, le réseau oublie complètement les chiffres de 0 à 4 et obtient un score de 0 % sur ceux-ci après avoir appris les chiffres de 5 à 9. Le rejeu de 100 images stockées, soit environ 11 % des 901 images de la première tâche, maintient cette précision à 70 %. Ultralytics YOLO26 prend en charge le volet de l’isolation des paramètres grâce à son argument d’entraînement freeze, qui gèle les N premières couches ou des modules nommés pendant l’ajustement fin du modèle sur de nouvelles données.
Défis ouverts#
Évaluer un système d’apprentissage continu nécessite plus qu’un seul score : les métriques de performance doivent être suivies pour chaque tâche antérieure après chaque mise à jour. Il faut mesurer le transfert rétroactif (l’effet du nouvel apprentissage sur les anciennes tâches) ainsi que le transfert prospectif (la mesure dans laquelle les anciennes connaissances accélèrent l’apprentissage des nouvelles tâches). Le long entraînement continu présente aussi un problème moins visible que l’oubli. Dohare et al. ont montré que les méthodes classiques d’apprentissage profond perdent progressivement leur plasticité, c’est-à-dire leur capacité à apprendre quoi que ce soit de nouveau, au fil de longues séquences de tâches fondées sur ImageNet et de problèmes d’apprentissage par renforcement. La rétropropagation continue, qui réinitialise aléatoirement une petite fraction des unités rarement utilisées, permet de conserver cette plasticité indéfiniment.
Applications concrètes#
- Robotique : un robot sur une chaîne de production peut apprendre à manipuler une nouvelle variante de produit sans réentraînement complet, tout en conservant ses compétences pour les pièces qu’il sait déjà traiter.
- Analyse d’images médicales : les hôpitaux changent de scanners et de protocoles d’imagerie, tandis que de nouvelles découvertes sont faites au fil du temps. Les mises à jour incrémentales par domaine permettent à un modèle de diagnostic de s’adapter aux nouvelles images tout en conservant sa précision pour les affections déjà établies.
- Grands modèles de langage : le préentraînement continu sur des textes plus récents actualise les connaissances d’un modèle, et les adaptateurs économes en paramètres lui ajoutent de nouvelles compétences sans réentraîner le modèle entier.
Apprentissage continu et concepts connexes#
- Apprentissage par transfert : l’apprentissage par transfert réutilise un modèle préentraîné comme point de départ pour une nouvelle tâche, et évalue la réussite uniquement sur cette tâche. L’apprentissage continu est évalué sur la nouvelle tâche et sur chacune des tâches précédentes.
- Apprentissage en ligne : l’apprentissage en ligne met à jour un modèle un exemple ou un mini-lot à la fois, au fur et à mesure de l’arrivée des données, généralement pour une seule tâche, et n’a pas nécessairement à traiter l’oubli.
- Apprentissage curriculaire : l’apprentissage curriculaire classe les exemples d’une tâche fixe, du plus facile au plus difficile, tandis que l’apprentissage continu porte sur une séquence de tâches ou de distributions différentes.
- Désapprentissage automatique : le désapprentissage fonctionne en sens inverse et supprime délibérément d’un modèle l’influence de données d’entraînement spécifiques, par exemple pour respecter les demandes d’effacement au titre du droit à l’oubli prévu par le RGPD.










