Gradient Checkpointing
梯度检查点技术只在前向传播中保存部分激活值,并在反向传播时重新计算其余部分,以计算量换取内存。
梯度检查点是一种训练技术,它只保留前向传播中的少量中间激活值,并在反向传播需要时重新计算其余激活值,以此节省内存。它也称为激活检查点或重物化。Tianqi Chen、Bing Xu、Chiyuan Zhang 和 Carlos Guestrin 在 2016 年 4 月的论文 Training Deep Nets with Sublinear Memory Cost中推广了这项技术在深度学习中的应用;他们证明,对于一个 n 层网络,只需额外执行一次前向传播,就能将训练内存控制在与 √n 成正比的水平。在用于 ImageNet 的 1,000 层残差网络上,他们的方法将内存占用从 48 GB 降至 7 GB,训练时间则增加约 30%。
梯度检查点的工作原理#
在常规前向传播中,自动微分引擎会存储几乎每个操作的输出,因为之后计算梯度时需要这些输出。对于深层网络、大型批次、高分辨率图像或长序列,这些激活值占用的 GPU内存远多于模型权重。检查点会将网络划分为多个段,并且只保留每段的输入。反向传播到达某一段时,会从已保存的输入重新执行该段的前向传播,再对其进行反向传播;在处理前一段之前,会释放重建的激活值:
PyTorch通过 torch.utils.checkpoint.checkpoint 提供此功能,JAX则通过 jax.checkpoint 提供。统计一个包含八个块的网络中自动微分引擎保存的激活值,可以看到节省效果,而且梯度不会发生变化:
import torch
from torch import nn
from torch.utils.checkpoint import checkpoint
torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []
for use_checkpoint in (False, True):
saved.clear()
# Record every tensor autograd keeps for the backward pass
with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
h = x
for block in model: # a checkpointed block keeps only its input and reruns its forward pass in backward
h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
h.square().mean().backward()
activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
grads.append(model[0][0].weight.grad.clone())
model.zero_grad()
print("Identical gradients:", torch.equal(*grads))输出结果显示,无检查点时保存了 72 MB 个激活值,启用检查点后保存了 8 MB 个,并输出 Identical gradients: True。每个块通常会保存 9 MB:1 MB 的输入加上两个各为 4 MB 的隐藏张量;启用检查点后只保留输入,反向传播时则一次重建一个块的 9 MB 激活值。
选择要重新计算的内容#
为每个块都设置检查点可以最大限度地节省内存,但几乎需要重新运行整个前向传播;对于典型层,计算量大约会增加三分之一。选择性重新计算则针对输出较大、计算成本较低的操作。NVIDIA 的 Vijay Korthikanti 及其同事只重新计算了 Transformer注意力的核心部分:分数计算、softmax、dropout 和对值的加权;结合序列并行后,他们将激活内存减少到原来的五分之一,同时消除了超过 90% 的重计算开销。Flash attention在单个内核中采用了相同思路,在反向传播时重新计算注意力分数,而不是存储这些分数。GPipe 只在流水线并行阶段边界处存储激活值,并在每个阶段内部重新计算所有内容。
重新计算必须与原始前向传播完全一致。PyTorch 会恢复随机数生成器状态,以确保 dropout掩码匹配;当 Hugging Face Transformers 模型启用检查点进行训练时,会关闭其 KV 缓存,因为缓存的推理状态与重新运行各层相冲突。
相关内存优化技术#
- 梯度累积:将一个大批次拆分成多个依次运行的微批次,无需额外计算即可减少每步的激活值,但会增加步数。
- 混合精度:以 BF16 等 16 位格式存储激活值,将其内存占用减半,通常还能加快训练速度。
- 训练检查点:为恢复训练或部署而保存的权重和优化器状态文件;这是“检查点”一词的另一种无关用法。
在单个 GPU 上微调大型语言模型 (LLM)时,检查点很常见;Hugging Face 的 Trainer 可通过 gradient_checkpointing=True 启用此功能。在大型医疗或航拍图像上训练图像分割模型时,检查点也很常用,因为特征图会占用大量内存。Ultralytics YOLO26训练会存储所有激活值,并通过批次大小来适配内存:在训练模式下,batch=-1 会运行 AutoBatch,测量多个批次大小下的内存占用,并选择一个预计会占用 60% GPU 内存的批次大小;像 batch=0.70 这样的数值则会将目标设为 70%。










