获取 YOLO 许可
返回 Ultralytics 术语表

Gradient Checkpointing

梯度检查点技术只在前向传播中保存部分激活值,并在反向传播时重新计算其余部分,以计算量换取内存。

梯度检查点是一种训练技术,它只保留前向传播中的少量中间激活值,并在反向传播需要时重新计算其余激活值,以此节省内存。它也称为激活检查点或重物化。Tianqi Chen、Bing Xu、Chiyuan Zhang 和 Carlos Guestrin 在 2016 年 4 月的论文 Training Deep Nets with Sublinear Memory Cost中推广了这项技术在深度学习中的应用;他们证明,对于一个 n 层网络,只需额外执行一次前向传播,就能将训练内存控制在与 √n 成正比的水平。在用于 ImageNet 的 1,000 层残差网络上,他们的方法将内存占用从 48 GB 降至 7 GB,训练时间则增加约 30%。

梯度检查点的工作原理#

在常规前向传播中,自动微分引擎会存储几乎每个操作的输出,因为之后计算梯度时需要这些输出。对于深层网络、大型批次、高分辨率图像或长序列,这些激活值占用的 GPU内存远多于模型权重。检查点会将网络划分为多个段,并且只保留每段的输入。反向传播到达某一段时,会从已保存的输入重新执行该段的前向传播,再对其进行反向传播;在处理前一段之前,会释放重建的激活值:

PyTorch通过 torch.utils.checkpoint.checkpoint 提供此功能,JAX则通过 jax.checkpoint 提供。统计一个包含八个块的网络中自动微分引擎保存的激活值,可以看到节省效果,而且梯度不会发生变化:

import torch
from torch import nn
from torch.utils.checkpoint import checkpoint

torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []

for use_checkpoint in (False, True):
    saved.clear()
    # Record every tensor autograd keeps for the backward pass
    with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
        h = x
        for block in model:  # a checkpointed block keeps only its input and reruns its forward pass in backward
            h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
    h.square().mean().backward()
    activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
    print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
    grads.append(model[0][0].weight.grad.clone())
    model.zero_grad()

print("Identical gradients:", torch.equal(*grads))

输出结果显示,无检查点时保存了 72 MB 个激活值,启用检查点后保存了 8 MB 个,并输出 Identical gradients: True。每个块通常会保存 9 MB:1 MB 的输入加上两个各为 4 MB 的隐藏张量;启用检查点后只保留输入,反向传播时则一次重建一个块的 9 MB 激活值。

选择要重新计算的内容#

为每个块都设置检查点可以最大限度地节省内存,但几乎需要重新运行整个前向传播;对于典型层,计算量大约会增加三分之一。选择性重新计算则针对输出较大、计算成本较低的操作。NVIDIA 的 Vijay Korthikanti 及其同事只重新计算了 Transformer注意力的核心部分:分数计算、softmax、dropout 和对值的加权;结合序列并行后,他们将激活内存减少到原来的五分之一,同时消除了超过 90% 的重计算开销。Flash attention在单个内核中采用了相同思路,在反向传播时重新计算注意力分数,而不是存储这些分数。GPipe 只在流水线并行阶段边界处存储激活值,并在每个阶段内部重新计算所有内容。

重新计算必须与原始前向传播完全一致。PyTorch 会恢复随机数生成器状态,以确保 dropout掩码匹配;当 Hugging Face Transformers 模型启用检查点进行训练时,会关闭其 KV 缓存,因为缓存的推理状态与重新运行各层相冲突。

  • 梯度累积:将一个大批次拆分成多个依次运行的微批次,无需额外计算即可减少每步的激活值,但会增加步数。
  • 混合精度:以 BF16 等 16 位格式存储激活值,将其内存占用减半,通常还能加快训练速度。
  • 训练检查点:为恢复训练或部署而保存的权重和优化器状态文件;这是“检查点”一词的另一种无关用法。

在单个 GPU 上微调大型语言模型 (LLM)时,检查点很常见;Hugging Face 的 Trainer 可通过 gradient_checkpointing=True 启用此功能。在大型医疗或航拍图像上训练图像分割模型时,检查点也很常用,因为特征图会占用大量内存。Ultralytics YOLO26训练会存储所有激活值,并通过批次大小来适配内存:在训练模式下,batch=-1 会运行 AutoBatch,测量多个批次大小下的内存占用,并选择一个预计会占用 60% GPU 内存的批次大小;像 batch=0.70 这样的数值则会将目标设为 70%。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来