Continual Learning
持续学习(也称终身学习)会让模型在一系列新任务或数据上训练,同时不遗忘先前学到的内容。介绍重放、EWC 和代码。
持续学习又称终身学习或增量学习,是指在一系列任务或不断变化的数据流上训练模型,同时保留先前学到的知识。在新数据上进行标准微调会覆盖曾用于早期任务的模型权重,导致这些任务的性能骤降,这种失败称为灾难性遗忘。持续学习方法会在可塑性(学习新知识的能力)与稳定性(保留旧知识的能力)之间取得平衡;这一权衡在神经网络和生物大脑中都被称为稳定性—可塑性困境。
持续学习为何重要#
已部署的模型会持续面对变化的数据:新的对象类别、新的摄像头硬件、季节性光照变化,或逐渐发生的数据漂移。最简单的解决方法是使用完整的累积数据集从头开始重新训练,但每次更新都会增加成本,而且由于存储限制、许可或数据隐私规定,旧数据可能无法获取。持续学习会增量更新模型,因此适用于边缘 AI设备,以及按计划重新训练已部署模型的机器学习运维流程。
持续学习的类型#
Van de Ven、Tuytelaars 和 Tolias区分了三种场景。在任务增量学习中,模型会获知每个输入所属的任务,并可为每个任务使用单独的输出头。在领域增量学习中,类别保持不变,但输入分布会发生变化,例如检测器从白天拍摄的视频转向夜间视频。在类别增量学习中,新类别会不断出现,模型必须区分目前见过的所有类别,同时无法获知某个输入来自哪个任务;这使它成为三种场景中最难的一种。
防止遗忘的策略#
- 回放:模型会存储少量过去的示例,或使用生成模型生成合成示例,并在每轮新训练中将它们混合进去。
- 弹性权重巩固:EWC 等正则化方法会在损失函数中加入惩罚项,防止更改对早期任务至关重要的权重,并根据 Fisher 信息估算这些权重的重要性。
- 参数隔离:通过冻结骨干网络、使用特定任务的输出头或采用 LoRA 等适配器,为每个任务分配独立参数,因此新任务的更新不会覆盖旧任务的参数。
- 知识蒸馏:在模型学习新任务时,将先前模型在新数据上的输出作为软目标;这种方法称为“无遗忘学习”。
下面的代码片段使用 PyTorch运行类别增量实验:一个小型网络先学习手写数字 0 到 4,再学习数字 5 到 9;实验会比较使用和不使用回放缓冲区的情况,其中缓冲区存储了第一项任务的 100 张图像。
import torch
from sklearn.datasets import load_digits
from torch import nn
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0] # digits 0-4, then digits 5-9
for replay in [0, 100]:
torch.manual_seed(0)
model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# Train on task A, then on task B plus a replay buffer of stored task A images
for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
for _ in range(200):
optimizer.zero_grad()
nn.functional.cross_entropy(model(X[task]), y[task]).backward()
optimizer.step()
accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")如果不使用回放,网络会彻底忘记数字 0 到 4,在学习数字 5 到 9 后对前一组数字的得分为 0%。回放 100 张存储图像(约占第一项任务 901 张图像的 11%),可将准确率维持在 70%。Ultralytics YOLO26 通过 freeze训练参数支持这套工具中的参数隔离方法;该参数可锁定前 N 层或指定模块,让模型在新数据上进行微调。
尚待解决的挑战#
评估持续学习器不能只看一个分数:性能指标必须在每次更新后针对所有先前任务进行跟踪,同时衡量反向迁移(新学习对旧任务的影响)和前向迁移(旧知识如何加速新任务的学习)。除了遗忘,长期持续训练还面临一个不那么显眼的问题。Dohare 等人指出,在基于 ImageNet 的任务序列和强化学习问题中,标准深度学习方法会逐渐失去可塑性,也就是学习新知识的能力;而持续反向传播会随机重新初始化一小部分很少使用的单元,从而使这种能力得以无限期维持。
实际应用#
- 机器人:制造线上工作的机器人可以学习处理新产品变体,而无需进行完整的重新训练,同时保留处理现有零件的技能。
- 医学图像分析:医院会更换扫描仪和成像协议,也会不断出现新的发现。领域增量更新让诊断模型能够适应新图像,同时保持对已知病症的判断准确性。
- 大语言模型:使用较新的文本进行持续预训练可以更新模型知识;参数高效适配器则可以添加新技能,而无需重新训练整个模型。










