Gradient Checkpointing
Checkpointing gradient chỉ lưu một số activation trong lượt truyền xuôi và tính toán lại phần còn lại trong quá trình lan truyền ngược, đánh đổi năng lực tính toán để tiết kiệm bộ nhớ.
Gradient checkpointing là kỹ thuật huấn luyện giúp tiết kiệm bộ nhớ bằng cách chỉ giữ lại một số activation trung gian từ lượt truyền xuôi và tính toán lại phần còn lại khi lan truyền ngược cần đến. Kỹ thuật này còn được gọi là activation checkpointing hoặc rematerialization. Trong bài báo tháng 4 năm 2016 Huấn luyện mạng sâu với chi phí bộ nhớ dưới tuyến tính, Tianqi Chen, Bing Xu, Chiyuan Zhang và Carlos Guestrin đã phổ biến kỹ thuật này trong deep learning, cho thấy mạng n lớp có thể được huấn luyện với lượng bộ nhớ tỷ lệ với √n, đổi lại cần thêm một lượt truyền xuôi. Trên mạng residual 1.000 lớp dùng cho ImageNet, phương pháp của họ giảm bộ nhớ từ 48 GB xuống 7 GB, với thời gian huấn luyện tăng khoảng 30%.
Cách Gradient Checkpointing hoạt động#
Trong một lượt truyền xuôi thông thường, engine autograd lưu đầu ra của gần như mọi phép toán, vì việc tính gradient sau đó cần đến chúng. Với mạng sâu, batch lớn, ảnh độ phân giải cao hoặc chuỗi dài, các activation này chiếm nhiều bộ nhớ GPU hơn hẳn trọng số model. Checkpointing chia mạng thành các đoạn và chỉ giữ đầu vào của từng đoạn. Khi lượt truyền ngược đến một đoạn, hệ thống chạy lại lượt truyền xuôi của đoạn đó từ đầu vào đã lưu, lan truyền ngược qua đoạn rồi giải phóng các activation được tạo lại trước khi chuyển sang đoạn trước đó:
PyTorch cung cấp tính năng này dưới dạng torch.utils.checkpoint.checkpoint, còn JAX cung cấp dưới dạng jax.checkpoint. Đếm số activation được autograd lưu cho mạng tám khối sẽ cho thấy mức tiết kiệm và việc gradient không thay đổi:
import torch
from torch import nn
from torch.utils.checkpoint import checkpoint
torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []
for use_checkpoint in (False, True):
saved.clear()
# Record every tensor autograd keeps for the backward pass
with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
h = x
for block in model: # a checkpointed block keeps only its input and reruns its forward pass in backward
h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
h.square().mean().backward()
activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
grads.append(model[0][0].weight.grad.clone())
model.zero_grad()
print("Identical gradients:", torch.equal(*grads))Kết quả in ra 72 MB activation được lưu khi không dùng checkpointing, 8 MB khi có dùng, và Identical gradients: True. Mỗi khối thường lưu 9 MB, gồm đầu vào 1 MB và hai tensor ẩn 4 MB; khi dùng checkpointing, hệ thống chỉ giữ đầu vào và lượt truyền ngược lần lượt tạo lại 9 MB của một khối.
Chọn phần cần tính toán lại#
Checkpointing mọi khối tiết kiệm bộ nhớ nhiều nhất nhưng phải chạy lại gần như toàn bộ lượt truyền xuôi, khiến lượng tính toán tăng khoảng một phần ba với một lớp điển hình. Tính toán lại có chọn lọc nhắm đến các phép toán có đầu ra lớn nhưng chi phí tính toán thấp. Vijay Korthikanti của NVIDIA cùng các cộng sự chỉ tính toán lại phần cốt lõi của attention trong transformer: phép tính điểm, softmax, dropout và phép tính trọng số cho value. Khi kết hợp với song song hóa theo chuỗi, cách này giảm bộ nhớ activation xuống còn một phần năm và loại bỏ hơn 90% chi phí tính toán lại. Flash attention áp dụng ý tưởng tương tự bên trong một kernel bằng cách tính lại điểm attention trong lượt truyền ngược thay vì lưu chúng. GPipe chỉ lưu activation ở ranh giới giữa các stage song song hóa pipeline và tính toán lại mọi thứ bên trong mỗi stage.
Tính toán lại phải tái tạo chính xác lượt truyền xuôi ban đầu. PyTorch khôi phục trạng thái bộ tạo số ngẫu nhiên để các mask dropout khớp nhau; các model Transformers của Hugging Face tắt KV cache khi huấn luyện với checkpointing, vì trạng thái cache phục vụ suy luận không tương thích với việc chạy lại các lớp.
Các kỹ thuật bộ nhớ liên quan#
- Tích lũy gradient: Chia một batch lớn thành các micro-batch và chạy lần lượt từng micro-batch, giảm số activation ở mỗi bước mà không tăng lượng tính toán nhưng làm tăng số bước.
- Độ chính xác hỗn hợp: Lưu activation ở định dạng 16-bit như BF16, giảm một nửa lượng bộ nhớ và thường giúp tăng tốc độ huấn luyện.
- Checkpoint huấn luyện: Tệp chứa trọng số và trạng thái optimizer được lưu để tiếp tục huấn luyện hoặc triển khai; đây là nghĩa khác, không liên quan của từ checkpoint.
Checkpointing thường được dùng khi tinh chỉnh mô hình ngôn ngữ lớn (LLM) trên một GPU; Trainer của Hugging Face bật tính năng này bằng gradient_checkpointing=True. Kỹ thuật này cũng được dùng khi huấn luyện model phân đoạn ảnh trên ảnh y tế hoặc ảnh hàng không lớn, nơi feature map chiếm phần lớn bộ nhớ. Huấn luyện Ultralytics YOLO26 lưu tất cả activation và điều chỉnh kích thước batch để vừa bộ nhớ: batch=-1 trong chế độ huấn luyện chạy AutoBatch, công cụ đánh giá bộ nhớ ở nhiều kích thước batch rồi chọn kích thước được dự đoán sẽ sử dụng 60% bộ nhớ GPU; một tỷ lệ như batch=0.70 đặt mục tiêu đó thành 70%.










