Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Gradient Checkpointing

Checkpointing gradient chỉ lưu một số activation trong lượt truyền xuôi và tính toán lại phần còn lại trong quá trình lan truyền ngược, đánh đổi năng lực tính toán để tiết kiệm bộ nhớ.

Gradient checkpointing là kỹ thuật huấn luyện giúp tiết kiệm bộ nhớ bằng cách chỉ giữ lại một số activation trung gian từ lượt truyền xuôi và tính toán lại phần còn lại khi lan truyền ngược cần đến. Kỹ thuật này còn được gọi là activation checkpointing hoặc rematerialization. Trong bài báo tháng 4 năm 2016 Huấn luyện mạng sâu với chi phí bộ nhớ dưới tuyến tính, Tianqi Chen, Bing Xu, Chiyuan Zhang và Carlos Guestrin đã phổ biến kỹ thuật này trong deep learning, cho thấy mạng n lớp có thể được huấn luyện với lượng bộ nhớ tỷ lệ với √n, đổi lại cần thêm một lượt truyền xuôi. Trên mạng residual 1.000 lớp dùng cho ImageNet, phương pháp của họ giảm bộ nhớ từ 48 GB xuống 7 GB, với thời gian huấn luyện tăng khoảng 30%.

Cách Gradient Checkpointing hoạt động#

Trong một lượt truyền xuôi thông thường, engine autograd lưu đầu ra của gần như mọi phép toán, vì việc tính gradient sau đó cần đến chúng. Với mạng sâu, batch lớn, ảnh độ phân giải cao hoặc chuỗi dài, các activation này chiếm nhiều bộ nhớ GPU hơn hẳn trọng số model. Checkpointing chia mạng thành các đoạn và chỉ giữ đầu vào của từng đoạn. Khi lượt truyền ngược đến một đoạn, hệ thống chạy lại lượt truyền xuôi của đoạn đó từ đầu vào đã lưu, lan truyền ngược qua đoạn rồi giải phóng các activation được tạo lại trước khi chuyển sang đoạn trước đó:

PyTorch cung cấp tính năng này dưới dạng torch.utils.checkpoint.checkpoint, còn JAX cung cấp dưới dạng jax.checkpoint. Đếm số activation được autograd lưu cho mạng tám khối sẽ cho thấy mức tiết kiệm và việc gradient không thay đổi:

import torch
from torch import nn
from torch.utils.checkpoint import checkpoint

torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []

for use_checkpoint in (False, True):
    saved.clear()
    # Record every tensor autograd keeps for the backward pass
    with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
        h = x
        for block in model:  # a checkpointed block keeps only its input and reruns its forward pass in backward
            h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
    h.square().mean().backward()
    activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
    print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
    grads.append(model[0][0].weight.grad.clone())
    model.zero_grad()

print("Identical gradients:", torch.equal(*grads))

Kết quả in ra 72 MB activation được lưu khi không dùng checkpointing, 8 MB khi có dùng, và Identical gradients: True. Mỗi khối thường lưu 9 MB, gồm đầu vào 1 MB và hai tensor ẩn 4 MB; khi dùng checkpointing, hệ thống chỉ giữ đầu vào và lượt truyền ngược lần lượt tạo lại 9 MB của một khối.

Chọn phần cần tính toán lại#

Checkpointing mọi khối tiết kiệm bộ nhớ nhiều nhất nhưng phải chạy lại gần như toàn bộ lượt truyền xuôi, khiến lượng tính toán tăng khoảng một phần ba với một lớp điển hình. Tính toán lại có chọn lọc nhắm đến các phép toán có đầu ra lớn nhưng chi phí tính toán thấp. Vijay Korthikanti của NVIDIA cùng các cộng sự chỉ tính toán lại phần cốt lõi của attention trong transformer: phép tính điểm, softmax, dropout và phép tính trọng số cho value. Khi kết hợp với song song hóa theo chuỗi, cách này giảm bộ nhớ activation xuống còn một phần năm và loại bỏ hơn 90% chi phí tính toán lại. Flash attention áp dụng ý tưởng tương tự bên trong một kernel bằng cách tính lại điểm attention trong lượt truyền ngược thay vì lưu chúng. GPipe chỉ lưu activation ở ranh giới giữa các stage song song hóa pipeline và tính toán lại mọi thứ bên trong mỗi stage.

Tính toán lại phải tái tạo chính xác lượt truyền xuôi ban đầu. PyTorch khôi phục trạng thái bộ tạo số ngẫu nhiên để các mask dropout khớp nhau; các model Transformers của Hugging Face tắt KV cache khi huấn luyện với checkpointing, vì trạng thái cache phục vụ suy luận không tương thích với việc chạy lại các lớp.

  • Tích lũy gradient: Chia một batch lớn thành các micro-batch và chạy lần lượt từng micro-batch, giảm số activation ở mỗi bước mà không tăng lượng tính toán nhưng làm tăng số bước.
  • Độ chính xác hỗn hợp: Lưu activation ở định dạng 16-bit như BF16, giảm một nửa lượng bộ nhớ và thường giúp tăng tốc độ huấn luyện.
  • Checkpoint huấn luyện: Tệp chứa trọng số và trạng thái optimizer được lưu để tiếp tục huấn luyện hoặc triển khai; đây là nghĩa khác, không liên quan của từ checkpoint.

Checkpointing thường được dùng khi tinh chỉnh mô hình ngôn ngữ lớn (LLM) trên một GPU; Trainer của Hugging Face bật tính năng này bằng gradient_checkpointing=True. Kỹ thuật này cũng được dùng khi huấn luyện model phân đoạn ảnh trên ảnh y tế hoặc ảnh hàng không lớn, nơi feature map chiếm phần lớn bộ nhớ. Huấn luyện Ultralytics YOLO26 lưu tất cả activation và điều chỉnh kích thước batch để vừa bộ nhớ: batch=-1 trong chế độ huấn luyện chạy AutoBatch, công cụ đánh giá bộ nhớ ở nhiều kích thước batch rồi chọn kích thước được dự đoán sẽ sử dụng 60% bộ nhớ GPU; một tỷ lệ như batch=0.70 đặt mục tiêu đó thành 70%.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning