获取 YOLO 许可
返回 Ultralytics 术语表

Continual Learning

持续学习(也称终身学习)会让模型在一系列新任务或数据上训练,同时不遗忘先前学到的内容。介绍重放、EWC 和代码。

持续学习又称终身学习或增量学习,是指在一系列任务或不断变化的数据流上训练模型,同时保留先前学到的知识。在新数据上进行标准微调会覆盖曾用于早期任务的模型权重,导致这些任务的性能骤降,这种失败称为灾难性遗忘。持续学习方法会在可塑性(学习新知识的能力)与稳定性(保留旧知识的能力)之间取得平衡;这一权衡在神经网络和生物大脑中都被称为稳定性—可塑性困境。

持续学习为何重要#

已部署的模型会持续面对变化的数据:新的对象类别、新的摄像头硬件、季节性光照变化,或逐渐发生的数据漂移。最简单的解决方法是使用完整的累积数据集从头开始重新训练,但每次更新都会增加成本,而且由于存储限制、许可或数据隐私规定,旧数据可能无法获取。持续学习会增量更新模型,因此适用于边缘 AI设备,以及按计划重新训练已部署模型的机器学习运维流程。

持续学习的类型#

Van de Ven、Tuytelaars 和 Tolias区分了三种场景。在任务增量学习中,模型会获知每个输入所属的任务,并可为每个任务使用单独的输出头。在领域增量学习中,类别保持不变,但输入分布会发生变化,例如检测器从白天拍摄的视频转向夜间视频。在类别增量学习中,新类别会不断出现,模型必须区分目前见过的所有类别,同时无法获知某个输入来自哪个任务;这使它成为三种场景中最难的一种。

防止遗忘的策略#

  • 回放:模型会存储少量过去的示例,或使用生成模型生成合成示例,并在每轮新训练中将它们混合进去。
  • 弹性权重巩固:EWC 等正则化方法会在损失函数中加入惩罚项,防止更改对早期任务至关重要的权重,并根据 Fisher 信息估算这些权重的重要性。
  • 参数隔离:通过冻结骨干网络、使用特定任务的输出头或采用 LoRA 等适配器,为每个任务分配独立参数,因此新任务的更新不会覆盖旧任务的参数。
  • 知识蒸馏:在模型学习新任务时,将先前模型在新数据上的输出作为软目标;这种方法称为“无遗忘学习”。

下面的代码片段使用 PyTorch运行类别增量实验:一个小型网络先学习手写数字 0 到 4,再学习数字 5 到 9;实验会比较使用和不使用回放缓冲区的情况,其中缓冲区存储了第一项任务的 100 张图像。

import torch
from sklearn.datasets import load_digits
from torch import nn

X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0]  # digits 0-4, then digits 5-9

for replay in [0, 100]:
    torch.manual_seed(0)
    model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    # Train on task A, then on task B plus a replay buffer of stored task A images
    for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
        for _ in range(200):
            optimizer.zero_grad()
            nn.functional.cross_entropy(model(X[task]), y[task]).backward()
            optimizer.step()
    accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
    print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")

如果不使用回放,网络会彻底忘记数字 0 到 4,在学习数字 5 到 9 后对前一组数字的得分为 0%。回放 100 张存储图像(约占第一项任务 901 张图像的 11%),可将准确率维持在 70%。Ultralytics YOLO26 通过 freeze训练参数支持这套工具中的参数隔离方法;该参数可锁定前 N 层或指定模块,让模型在新数据上进行微调。

尚待解决的挑战#

评估持续学习器不能只看一个分数:性能指标必须在每次更新后针对所有先前任务进行跟踪,同时衡量反向迁移(新学习对旧任务的影响)和前向迁移(旧知识如何加速新任务的学习)。除了遗忘,长期持续训练还面临一个不那么显眼的问题。Dohare 等人指出,在基于 ImageNet 的任务序列和强化学习问题中,标准深度学习方法会逐渐失去可塑性,也就是学习新知识的能力;而持续反向传播会随机重新初始化一小部分很少使用的单元,从而使这种能力得以无限期维持。

实际应用#

  • 机器人:制造线上工作的机器人可以学习处理新产品变体,而无需进行完整的重新训练,同时保留处理现有零件的技能。
  • 医学图像分析:医院会更换扫描仪和成像协议,也会不断出现新的发现。领域增量更新让诊断模型能够适应新图像,同时保持对已知病症的判断准确性。
  • 大语言模型:使用较新的文本进行持续预训练可以更新模型知识;参数高效适配器则可以添加新技能,而无需重新训练整个模型。
  • 迁移学习:迁移学习会将预训练模型用作新任务的起点,并且只根据该任务评估效果。持续学习则会同时根据新任务和所有早期任务评估效果。
  • 在线学习:在线学习会在数据流入时逐个示例或按小批次更新模型,通常只处理单一任务,而且不一定需要解决遗忘问题。
  • 课程学习:课程学习会将单一固定任务中的示例按照由易到难的顺序排列;持续学习则要面对一系列不同的任务或数据分布。
  • 机器遗忘:遗忘的方向与学习相反,会有意从模型中移除特定训练数据的影响,例如为了遵守 GDPR 的被遗忘权而处理数据删除请求。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来