Gradient Checkpointing
При контрольных точках градиентов сохраняются лишь некоторые активации прямого прохода, а остальные пересчитываются при обратном распространении ошибки: вычисления обмениваются на экономию памяти.
Контрольные точки градиентов — это техника обучения, которая экономит память: сохраняются лишь некоторые промежуточные активации прямого прохода, а остальные пересчитываются, когда они нужны для обратного распространения ошибки. Эту технику также называют контрольными точками активаций или рематериализацией. Тяньци Чэнь, Бин Сюй, Чиюань Чжан и Карлос Гестрин популяризировали её в глубоком обучении в статье Training Deep Nets with Sublinear Memory Cost, опубликованной в апреле 2016 года. Они показали, что сеть из n слоёв может обучаться с объёмом памяти, пропорциональным √n, ценой одного дополнительного прямого прохода. На 1000-слойной остаточной сети для ImageNet их метод сократил потребление памяти с 48 ГБ до 7 ГБ при увеличении времени обучения примерно на 30%.
Как работает контрольная фиксация градиентов#
Во время обычного прямого прохода механизм autograd сохраняет результаты почти каждой операции, поскольку позднее они нужны для вычисления градиентов. В глубоких сетях, при больших батчах, изображениях высокого разрешения или длинных последовательностях активации занимают намного больше памяти GPU, чем веса модели. Контрольные точки разбивают сеть на сегменты и сохраняют только вход каждого сегмента. Когда обратный проход доходит до сегмента, он повторно выполняет прямой проход этого сегмента, начиная с сохранённого входа, распространяет градиент через него и освобождает восстановленные активации, прежде чем перейти к предыдущему сегменту:
В PyTorch эта функция доступна как torch.utils.checkpoint.checkpoint, а в JAX — как jax.checkpoint. Подсчёт активаций, сохраняемых autograd для сети из восьми блоков, показывает и экономию памяти, и то, что градиенты не меняются:
import torch
from torch import nn
from torch.utils.checkpoint import checkpoint
torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []
for use_checkpoint in (False, True):
saved.clear()
# Record every tensor autograd keeps for the backward pass
with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
h = x
for block in model: # a checkpointed block keeps only its input and reruns its forward pass in backward
h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
h.square().mean().backward()
activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
grads.append(model[0][0].weight.grad.clone())
model.zero_grad()
print("Identical gradients:", torch.equal(*grads))В выводе указано 72 MB сохранённых активаций без контрольных точек, 8 MB — с ними и Identical gradients: True. Обычно каждый блок сохраняет 9 МБ: вход размером 1 МБ и два скрытых тензора по 4 МБ. При использовании контрольных точек сохраняется только вход, а обратный проход по очереди восстанавливает 9 МБ для одного блока.
Выбор того, что пересчитывать#
Контрольные точки для каждого блока обеспечивают максимальную экономию памяти, но повторно запускают почти весь прямой проход, добавляя примерно треть вычислений для типичного слоя. Выборочный пересчёт затрагивает операции, выходы которых велики, а вычисление дёшево. Виджай Кортикханти из NVIDIA и его коллеги пересчитывали только основную часть внимания transformer: вычисление оценок, softmax, dropout и взвешивание значений. В сочетании с параллелизмом последовательностей это позволило в пять раз сократить память для активаций и устранить более 90% накладных расходов на пересчёт. Flash attention применяет ту же идею внутри одного ядра, повторно вычисляя оценки внимания во время обратного прохода вместо их сохранения. GPipe сохраняет активации только на границах этапов конвейерного параллелизма, а внутри каждого этапа пересчитывает всё.
Пересчёт должен в точности воспроизводить исходный прямой проход. PyTorch восстанавливает состояние генератора случайных чисел, чтобы маски dropout совпадали, а модели Transformers из Hugging Face отключают свой кэш KV при обучении с контрольными точками, поскольку кэшированное состояние инференса несовместимо с повторным запуском слоёв.
Смежные методы экономии памяти#
- Накопление градиентов: Разбивает большой батч на микробатчи, которые обрабатываются по очереди. Это уменьшает объём активаций на шаг без дополнительных вычислений, но увеличивает количество шагов.
- Смешанная точность: Сохраняет активации в 16-битных форматах, например BF16, вдвое сокращая объём памяти и обычно ускоряя обучение.
- Контрольные точки обучения: Файлы с весами и состоянием оптимизатора, которые сохраняют для возобновления обучения или развёртывания. Это другое значение того же термина.
Контрольные точки часто используют при дообучении больших языковых моделей (LLM) на одной GPU: для этого Trainer от Hugging Face поддерживает параметр gradient_checkpointing=True. Их также применяют при обучении моделей сегментации изображений на крупных медицинских или аэрофотоснимках, где карты признаков занимают большую часть памяти. При обучении Ultralytics YOLO26 сохраняются все активации, а объём памяти регулируется размером батча: batch=-1 в режиме обучения запускает AutoBatch, который проверяет использование памяти при нескольких размерах батча и выбирает размер, при котором, согласно прогнозу, будет занято 60% памяти GPU. Дробное значение, например batch=0.70, задаёт целевой уровень 70%.










