Gradient Checkpointing
그래디언트 체크포인팅은 순전파 중 일부 활성화 값만 저장하고 나머지는 역전파 중 다시 계산하여, 메모리를 절약하는 대신 연산량을 늘립니다.
그래디언트 체크포인팅은 순전파에서 일부 중간 활성화만 보관하고 나머지는 역전파에서 필요할 때 다시 계산해 메모리를 절약하는 학습 기법입니다. 활성화 체크포인팅 또는 재물질화라고도 합니다. Tianqi Chen, Bing Xu, Chiyuan Zhang, Carlos Guestrin은 2016년 4월 논문 Training Deep Nets with Sublinear Memory Cost에서 딥러닝에 이 기법을 널리 알렸습니다. 이들은 n개 층으로 이루어진 네트워크가 순전파를 한 번 더 수행하는 비용으로 √n에 비례하는 메모리를 사용해 학습될 수 있음을 보였습니다. ImageNet용 1,000층 잔차 네트워크에서 이 방법은 메모리 사용량을 48 GB에서 7 GB로 낮추고 학습 시간은 약 30% 늘렸습니다.
그래디언트 체크포인팅 작동 방식#
일반적인 순전파에서는 나중에 그래디언트를 계산할 때 필요하기 때문에 autograd 엔진이 거의 모든 연산의 출력을 저장합니다. 깊은 네트워크, 큰 배치, 고해상도 이미지 또는 긴 시퀀스에서는 이러한 활성화가 모델 가중치보다 훨씬 많은 GPU 메모리를 차지합니다. 체크포인팅은 네트워크를 여러 구간으로 나누고 각 구간의 입력만 저장합니다. 역전파가 한 구간에 도달하면 저장된 입력에서 해당 구간의 순전파를 다시 수행하고, 그 구간을 역전파한 다음 재구성된 활성화를 해제하고 이전 구간으로 이동합니다.
PyTorch에서는 이를 torch.utils.checkpoint.checkpoint로, JAX에서는 jax.checkpoint으로 제공합니다. 8개 블록으로 이루어진 네트워크에서 autograd가 저장하는 활성화 수를 세면 메모리 절감 효과와 그래디언트가 변하지 않는다는 점을 확인할 수 있습니다.
import torch
from torch import nn
from torch.utils.checkpoint import checkpoint
torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []
for use_checkpoint in (False, True):
saved.clear()
# Record every tensor autograd keeps for the backward pass
with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
h = x
for block in model: # a checkpointed block keeps only its input and reruns its forward pass in backward
h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
h.square().mean().backward()
activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
grads.append(model[0][0].weight.grad.clone())
model.zero_grad()
print("Identical gradients:", torch.equal(*grads))체크포인팅을 적용하지 않았을 때 저장된 활성화 수인 72 MB, 체크포인팅을 적용했을 때의 8 MB, 그리고 Identical gradients: True를 출력합니다. 각 블록은 일반적으로 입력 1 MB와 4 MB 은닉 텐서 2개를 합쳐 9 MB를 저장합니다. 체크포인팅을 사용하면 입력만 저장하고, 역전파에서는 한 번에 블록 하나의 9 MB 활성화를 재구성합니다.
다시 계산할 항목 선택#
모든 블록에 체크포인팅을 적용하면 메모리를 가장 많이 절약하지만 순전파의 대부분을 다시 수행해야 하므로 일반적인 층에서는 연산량이 약 3분의 1 늘어납니다. 선택적 재계산은 출력 크기가 크면서 계산 비용이 낮은 연산을 대상으로 합니다. NVIDIA의 Vijay Korthikanti와 동료들은 Transformer 어텐션의 핵심인 점수 계산, 소프트맥스, 드롭아웃, 값 가중 연산만 다시 계산했습니다. 이 방법을 시퀀스 병렬화와 결합해 활성화 메모리를 5분의 1로 줄이면서 재계산 오버헤드를 90% 이상 제거했습니다. Flash attention은 저장하는 대신 역전파 중 어텐션 점수를 다시 계산해 단일 커널 내부에서 같은 아이디어를 적용합니다. GPipe는 파이프라인 병렬화 단계 경계에서만 활성화를 저장하고 각 단계 내부의 모든 활성화를 다시 계산합니다.
재계산 결과는 원래 순전파를 정확히 재현해야 합니다. PyTorch는 난수 생성기 상태를 복원해 드롭아웃 마스크가 일치하도록 합니다. Hugging Face Transformers 모델은 체크포인팅을 활성화한 상태로 학습할 때 KV 캐시를 끕니다. 캐시된 추론 상태가 층을 다시 실행하는 과정과 충돌하기 때문입니다.
관련 메모리 기법#
- 그래디언트 누적: 큰 배치를 한 번에 하나씩 실행되는 마이크로 배치로 나눕니다. 추가 연산 없이 단계당 활성화 사용량을 줄이지만 단계 수는 늘어납니다.
- 혼합 정밀도: 활성화를 BF16과 같은 16비트 형식으로 저장해 메모리 사용량을 절반으로 줄이고 일반적으로 학습 속도를 높입니다.
- 학습 체크포인트: 학습 재개 또는 배포를 위해 저장하는 가중치 및 옵티마이저 상태 파일로, 여기서 말하는 체크포인팅과는 무관한 용례입니다.
단일 GPU에서 대규모 언어 모델(LLM)을 미세 조정할 때 체크포인팅을 자주 사용하며, Hugging Face의 Trainer에서는 gradient_checkpointing=True로 활성화할 수 있습니다. 또한 특징 맵이 메모리 대부분을 차지하는 대형 의료 또는 항공 이미지에서 이미지 분할 모델을 학습할 때도 사용합니다. Ultralytics YOLO26 학습은 모든 활성화를 저장하고 배치 크기를 조정해 메모리에 맞춥니다. 학습 모드의 batch=-1는 여러 배치 크기에서 메모리를 프로파일링하고 GPU 메모리의 60%를 채울 것으로 예측되는 크기를 선택하는 AutoBatch를 실행합니다. batch=0.70과 같은 분수 값은 목표 비율을 70%로 설정합니다.










