Continual Learning
A aprendizagem contínua, ou aprendizagem ao longo da vida, treina um modelo com um fluxo de novas tarefas ou dados sem que ele esqueça as anteriores. Veja replay, EWC e código.
A aprendizagem contínua, também chamada aprendizagem ao longo da vida ou incremental, treina um modelo numa sequência de tarefas ou num fluxo de dados em mudança, preservando aquilo que aprendeu anteriormente. O ajuste fino padrão com dados novos substitui os pesos do modelo que serviam tarefas anteriores, fazendo com que o desempenho nessas tarefas desabe, uma falha conhecida como esquecimento catastrófico. Os métodos de aprendizagem contínua equilibram a plasticidade, ou capacidade de aprender coisas novas, com a estabilidade, ou capacidade de preservar conhecimentos anteriores, um compromisso conhecido como dilema estabilidade-plasticidade, tanto nas redes neuronais como nos cérebros biológicos.
Por que o aprendizado contínuo é importante#
Os modelos implementados enfrentam dados que estão sempre a mudar: novas classes de objetos, novo equipamento de câmara, iluminação sazonal ou deriva de dados gradual. A solução mais simples é voltar a treinar do zero com o conjunto de dados cumulativo completo, mas esse custo aumenta a cada atualização, e os dados mais antigos podem não estar disponíveis devido a limites de armazenamento, licenciamento ou regras de privacidade de dados. Em vez disso, a aprendizagem contínua atualiza o modelo de forma incremental, o que é adequado a dispositivos de IA de ponta e a fluxos de trabalho de operações de aprendizagem automática que voltam a treinar modelos implementados periodicamente.
Tipos de aprendizagem contínua#
Van de Ven, Tuytelaars e Tolias distinguem três cenários. Na aprendizagem incremental por tarefa, o modelo recebe a indicação da tarefa a que pertence cada entrada e pode utilizar uma camada de saída separada para cada tarefa. Na aprendizagem incremental por domínio, as classes mantêm-se, mas a distribuição das entradas muda, como quando um detetor passa de vídeos diurnos para noturnos. Na aprendizagem incremental por classe, continuam a surgir novas classes e o modelo tem de distinguir todas as classes observadas até então sem saber a que tarefa pertence uma entrada, o que torna este o cenário mais difícil dos três.
Estratégias para evitar o esquecimento#
- Repetição: O modelo guarda um pequeno conjunto de exemplos anteriores, ou gera exemplos sintéticos com um modelo generativo, e inclui-os em cada nova ronda de treinamento.
- Consolidação elástica de pesos: Métodos de regularização como o EWC acrescentam à função de perda uma penalização por alterar pesos importantes para tarefas anteriores, estimando a sua importância com base na informação de Fisher.
- Isolamento de parâmetros: Cada tarefa recebe os seus próprios parâmetros através de redes de base congeladas, cabeças específicas para tarefas ou adaptadores como o LoRA, para que as atualizações de uma nova tarefa não substituam as anteriores.
- Destilação de conhecimento: As saídas do modelo anterior em dados novos servem como alvos suaves enquanto o modelo aprende a nova tarefa; esta abordagem é conhecida como Aprendizagem sem Esquecimento.
O excerto abaixo executa uma experiência de aprendizagem incremental por classe em PyTorch: uma rede pequena aprende os dígitos manuscritos de 0 a 4 e, depois, os dígitos de 5 a 9, com e sem um conjunto de repetição com 100 imagens guardadas da primeira tarefa.
import torch
from sklearn.datasets import load_digits
from torch import nn
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0] # digits 0-4, then digits 5-9
for replay in [0, 100]:
torch.manual_seed(0)
model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# Train on task A, then on task B plus a replay buffer of stored task A images
for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
for _ in range(200):
optimizer.zero_grad()
nn.functional.cross_entropy(model(X[task]), y[task]).backward()
optimizer.step()
accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")Sem repetição, a rede esquece por completo os dígitos de 0 a 4 e obtém uma pontuação de 0% neles depois de aprender os dígitos de 5 a 9. Repetir 100 imagens guardadas, cerca de 11% das 901 imagens da primeira tarefa, mantém a precisão em 70%. O Ultralytics YOLO26 oferece a vertente de isolamento de parâmetros deste conjunto de ferramentas através do seu argumento de treinamento freeze, que bloqueia as primeiras N camadas ou módulos nomeados enquanto o modelo é ajustado com dados novos.
Desafios em aberto#
Avaliar um sistema de aprendizagem contínua exige mais do que uma pontuação: é necessário acompanhar as métricas de desempenho em todas as tarefas anteriores após cada atualização, medindo a transferência para trás (como a aprendizagem nova alterou tarefas anteriores) e a transferência para a frente (como o conhecimento anterior acelerou tarefas novas). O treinamento contínuo prolongado também enfrenta um problema mais discreto do que o esquecimento. Dohare et al. demonstraram que os métodos padrão de aprendizagem profunda perdem gradualmente plasticidade, ou seja, a capacidade de aprender algo novo, ao longo de sequências longas de tarefas baseadas em ImageNet e problemas de aprendizagem por reforço; a retropropagação contínua, que reinicializa aleatoriamente uma pequena fração das unidades pouco utilizadas, mantém essa capacidade indefinidamente.
Aplicações no mundo real#
- Robótica: Um robô numa linha de produção pode aprender a manusear uma nova variante de produto sem um ciclo completo de novo treinamento, mantendo a capacidade de trabalhar com as peças que já conhece.
- Análise de imagens médicas: Os hospitais mudam os scanners e os protocolos de imagiologia, e surgem novas descobertas ao longo do tempo. As atualizações incrementais por domínio permitem que um modelo de diagnóstico se adapte às novas imagens e mantenha a precisão em condições já conhecidas.
- Modelos de linguagem de grande escala: O pré-treinamento contínuo com textos mais recentes atualiza o conhecimento de um modelo, e os adaptadores eficientes em parâmetros acrescentam novas competências sem voltar a treinar o modelo completo.
Aprendizagem contínua vs. conceitos relacionados#
- Aprendizagem por transferência: A aprendizagem por transferência reutiliza um modelo pré-treinado como ponto de partida para uma nova tarefa e avalia o sucesso apenas nessa tarefa. A aprendizagem contínua é avaliada tanto na nova tarefa como em todas as anteriores.
- Aprendizagem online: A aprendizagem online atualiza um modelo uma amostra ou minib lote de cada vez, à medida que os dados chegam, geralmente para uma única tarefa, e não precisa de abordar o esquecimento.
- Aprendizagem por currículo: A aprendizagem por currículo ordena os exemplos de uma tarefa fixa, do mais fácil ao mais difícil, enquanto a aprendizagem contínua lida com uma sequência de tarefas ou distribuições diferentes.
- Desaprendizagem automática: A desaprendizagem segue a direção oposta e remove deliberadamente de um modelo a influência de dados de treinamento específicos, por exemplo, para cumprir pedidos de eliminação ao abrigo do direito ao esquecimento previsto no RGPD.










