YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Gradient Checkpointing

그래디언트 체크포인팅은 순전파 중 일부 활성화 값만 저장하고 나머지는 역전파 중 다시 계산하여, 메모리를 절약하는 대신 연산량을 늘립니다.

그래디언트 체크포인팅은 순전파에서 일부 중간 활성화만 보관하고 나머지는 역전파에서 필요할 때 다시 계산해 메모리를 절약하는 학습 기법입니다. 활성화 체크포인팅 또는 재물질화라고도 합니다. Tianqi Chen, Bing Xu, Chiyuan Zhang, Carlos Guestrin은 2016년 4월 논문 Training Deep Nets with Sublinear Memory Cost에서 딥러닝에 이 기법을 널리 알렸습니다. 이들은 n개 층으로 이루어진 네트워크가 순전파를 한 번 더 수행하는 비용으로 √n에 비례하는 메모리를 사용해 학습될 수 있음을 보였습니다. ImageNet용 1,000층 잔차 네트워크에서 이 방법은 메모리 사용량을 48 GB에서 7 GB로 낮추고 학습 시간은 약 30% 늘렸습니다.

그래디언트 체크포인팅 작동 방식#

일반적인 순전파에서는 나중에 그래디언트를 계산할 때 필요하기 때문에 autograd 엔진이 거의 모든 연산의 출력을 저장합니다. 깊은 네트워크, 큰 배치, 고해상도 이미지 또는 긴 시퀀스에서는 이러한 활성화가 모델 가중치보다 훨씬 많은 GPU 메모리를 차지합니다. 체크포인팅은 네트워크를 여러 구간으로 나누고 각 구간의 입력만 저장합니다. 역전파가 한 구간에 도달하면 저장된 입력에서 해당 구간의 순전파를 다시 수행하고, 그 구간을 역전파한 다음 재구성된 활성화를 해제하고 이전 구간으로 이동합니다.

PyTorch에서는 이를 torch.utils.checkpoint.checkpoint로, JAX에서는 jax.checkpoint으로 제공합니다. 8개 블록으로 이루어진 네트워크에서 autograd가 저장하는 활성화 수를 세면 메모리 절감 효과와 그래디언트가 변하지 않는다는 점을 확인할 수 있습니다.

import torch
from torch import nn
from torch.utils.checkpoint import checkpoint

torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []

for use_checkpoint in (False, True):
    saved.clear()
    # Record every tensor autograd keeps for the backward pass
    with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
        h = x
        for block in model:  # a checkpointed block keeps only its input and reruns its forward pass in backward
            h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
    h.square().mean().backward()
    activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
    print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
    grads.append(model[0][0].weight.grad.clone())
    model.zero_grad()

print("Identical gradients:", torch.equal(*grads))

체크포인팅을 적용하지 않았을 때 저장된 활성화 수인 72 MB, 체크포인팅을 적용했을 때의 8 MB, 그리고 Identical gradients: True를 출력합니다. 각 블록은 일반적으로 입력 1 MB와 4 MB 은닉 텐서 2개를 합쳐 9 MB를 저장합니다. 체크포인팅을 사용하면 입력만 저장하고, 역전파에서는 한 번에 블록 하나의 9 MB 활성화를 재구성합니다.

다시 계산할 항목 선택#

모든 블록에 체크포인팅을 적용하면 메모리를 가장 많이 절약하지만 순전파의 대부분을 다시 수행해야 하므로 일반적인 층에서는 연산량이 약 3분의 1 늘어납니다. 선택적 재계산은 출력 크기가 크면서 계산 비용이 낮은 연산을 대상으로 합니다. NVIDIA의 Vijay Korthikanti와 동료들은 Transformer 어텐션의 핵심인 점수 계산, 소프트맥스, 드롭아웃, 값 가중 연산만 다시 계산했습니다. 이 방법을 시퀀스 병렬화와 결합해 활성화 메모리를 5분의 1로 줄이면서 재계산 오버헤드를 90% 이상 제거했습니다. Flash attention은 저장하는 대신 역전파 중 어텐션 점수를 다시 계산해 단일 커널 내부에서 같은 아이디어를 적용합니다. GPipe는 파이프라인 병렬화 단계 경계에서만 활성화를 저장하고 각 단계 내부의 모든 활성화를 다시 계산합니다.

재계산 결과는 원래 순전파를 정확히 재현해야 합니다. PyTorch는 난수 생성기 상태를 복원해 드롭아웃 마스크가 일치하도록 합니다. Hugging Face Transformers 모델은 체크포인팅을 활성화한 상태로 학습할 때 KV 캐시를 끕니다. 캐시된 추론 상태가 층을 다시 실행하는 과정과 충돌하기 때문입니다.

  • 그래디언트 누적: 큰 배치를 한 번에 하나씩 실행되는 마이크로 배치로 나눕니다. 추가 연산 없이 단계당 활성화 사용량을 줄이지만 단계 수는 늘어납니다.
  • 혼합 정밀도: 활성화를 BF16과 같은 16비트 형식으로 저장해 메모리 사용량을 절반으로 줄이고 일반적으로 학습 속도를 높입니다.
  • 학습 체크포인트: 학습 재개 또는 배포를 위해 저장하는 가중치 및 옵티마이저 상태 파일로, 여기서 말하는 체크포인팅과는 무관한 용례입니다.

단일 GPU에서 대규모 언어 모델(LLM)을 미세 조정할 때 체크포인팅을 자주 사용하며, Hugging Face의 Trainer에서는 gradient_checkpointing=True로 활성화할 수 있습니다. 또한 특징 맵이 메모리 대부분을 차지하는 대형 의료 또는 항공 이미지에서 이미지 분할 모델을 학습할 때도 사용합니다. Ultralytics YOLO26 학습은 모든 활성화를 저장하고 배치 크기를 조정해 메모리에 맞춥니다. 학습 모드의 batch=-1는 여러 배치 크기에서 메모리를 프로파일링하고 GPU 메모리의 60%를 채울 것으로 예측되는 크기를 선택하는 AutoBatch를 실행합니다. batch=0.70과 같은 분수 값은 목표 비율을 70%로 설정합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요