Stochastic Gradient Descent (SGD)

Hạ gradient ngẫu nhiên (SGD) là một thuật toán tối ưu hóa dùng để huấn luyện model bằng cách liên tục cập nhật trọng số bằng gradient của hàm mất mát trên một mẫu nhỏ được lấy ngẫu nhiên từ dữ liệu huấn luyện, thay vì dùng toàn bộ tập dữ liệu. Gradient của mỗi mẫu là một ước lượng có nhiễu nhưng không chệch của gradient trên toàn bộ tập dữ liệu, vì vậy SGD thực hiện được nhiều lần cập nhật với chi phí thấp trong khoảng thời gian mà phương pháp hạ gradient trên toàn bộ batch chỉ thực hiện được một lần cập nhật tốn kém. Phương pháp này bắt nguồn từ phương pháp xấp xỉ ngẫu nhiên của Robbins và Monro vào năm 1951; khi kết hợp với momentum, phương pháp này vẫn là optimizer tiêu chuẩn cho các mạng nơ-ron tích chập (CNNs).

Cách SGD hoạt động#

Mỗi bước SGD lấy một mini-batch B, tính gradient của hàm mất mát trên mini-batch bằng lan truyền ngược, rồi cập nhật từng trọng số một bước nhỏ ngược hướng gradient đó: w ← w − η·∇L_B(w), trong đó η là learning rate. Theo định nghĩa chặt chẽ, SGD sử dụng một mẫu ở mỗi bước, nhưng các framework học sâu áp dụng phương pháp này trên mini-batch gồm hàng chục đến hàng nghìn mẫu; vì vậy trên thực tế, "SGD" và "gradient descent theo mini-batch" là hai thuật ngữ đồng nghĩa. Kích thước batch lớn hơn giúp gradient ít nhiễu hơn và tận dụng phần cứng tốt hơn, nhưng đổi lại có ít bước cập nhật hơn trong mỗi epoch.

Quá trình huấn luyện xáo trộn dữ liệu khi bắt đầu mỗi epoch, duyệt qua dữ liệu theo từng mini-batch và thực hiện một bước cập nhật cho mỗi batch. Khớp một đường thẳng với 1,000 điểm nhiễu minh họa toàn bộ quy trình:

import torch

torch.manual_seed(0)

# 1,000 noisy samples of y = 3x + 2
x = torch.randn(1000, 1)
y = 3 * x + 2 + 0.1 * torch.randn(1000, 1)

model = torch.nn.Linear(1, 1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.05, momentum=0.9)

for epoch in range(5):
    # Reshuffle every epoch, then update the weights once per 32-sample mini-batch
    for idx in torch.randperm(1000).split(32):
        loss = torch.nn.functional.mse_loss(model(x[idx]), y[idx])
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f"epoch {epoch}: w = {model.weight.item():.3f}, b = {model.bias.item():.3f}, loss = {loss.item():.4f}")

Sau hai epoch, trọng số đạt 3.081 và bias đạt 2.012, tổng cộng 64 lần cập nhật. Trong ba epoch tiếp theo, trọng số tiếp tục dao động trong khoảng từ 2.967 đến 3.003 thay vì ổn định, vì gradient của mỗi mini-batch đều chứa nhiễu lấy mẫu; loss của batch cuối duy trì gần mức 0.01, bằng phương sai của nhiễu được cộng vào y.

Tốc độ học, nhiễu và kích thước batch#

Với tốc độ học không đổi, SGD dao động trong một vùng quanh điểm cực tiểu; kích thước vùng này tăng theo tốc độ học và nhiễu gradient. Lý thuyết xấp xỉ ngẫu nhiên chỉ đảm bảo hội tụ khi tốc độ học giảm dần về 0, vì vậy trong thực tế, quá trình huấn luyện giảm tốc độ học theo thời gian bằng lịch giảm theo bước hoặc lịch cosine, thường sau một giai đoạn warmup ngắn. Nhiễu gradient từ các batch nhỏ cũng hướng SGD đến các điểm cực tiểu phẳng có khả năng tổng quát hóa tốt hơn các điểm cực tiểu sắc mà quá trình huấn luyện với batch lớn thường tìm được, tạo thành một dạng regularization ngầm.

Kích thước batch và tốc độ học có ảnh hưởng lẫn nhau. Tăng tốc độ học theo tỷ lệ thuận với kích thước batch, kết hợp warmup năm epoch, đã giúp ResNet-50 huấn luyện ImageNet trong một giờ với mini-batch gồm 8.192 ảnh mà không làm giảm độ chính xác.

Momentum và Nesterov Momentum#

Trong một thung lũng dài và hẹp trên bề mặt loss, gradient chủ yếu hướng ngang qua thung lũng, khiến SGD thông thường zíc zắc giữa hai vách trong khi tiến rất chậm dọc theo đáy. Momentum duy trì vận tốc tích lũy, v ← μ·v + g, rồi cập nhật theo hướng đó, w ← w − η·v; nhờ vậy, các hướng gradient nhất quán sẽ làm tăng tốc độ, còn các hướng dao động sẽ triệt tiêu lẫn nhau. Hệ số μ = 0.9 thường là giá trị mặc định. Nesterov momentum tính gradient sau một bước nhìn trước theo hướng vận tốc, giúp giảm hiện tượng vượt quá điểm đích. SGD của PyTorch triển khai cả hai phương pháp và áp dụng weight_decay bằng cách cộng λ·w vào gradient; với SGD, cách này tương đương với hình phạt L2 trên trọng số.

SGD và các optimizer khác#

• Batch gradient descent: Tính gradient chính xác trên toàn bộ tập dữ liệu cho mỗi lần cập nhật, vì vậy mỗi epoch chỉ thực hiện một bước và nhu cầu bộ nhớ tăng theo kích thước tập dữ liệu.
• Adam: Cấp cho mỗi tham số một kích thước bước riêng dựa trên trung bình trượt của gradient và bình phương gradient, đồng thời lưu hai giá trị trạng thái cho mỗi tham số, so với một giá trị ở SGD có momentum. Adam tiến triển nhanh hơn trong giai đoạn đầu và ít nhạy với tốc độ học hơn, trong khi SGD có momentum được tinh chỉnh tốt thường đạt độ chính xác cuối cùng ngang bằng hoặc cao hơn trên CNN. AdamW, biến thể tách riêng weight decay, là optimizer tiêu chuẩn cho transformer.
• Muon: Trực giao hóa bản cập nhật momentum của toàn bộ từng ma trận trọng số và đã được mở rộng quy mô để huấn luyện mô hình ngôn ngữ lớn.

Quá trình huấn luyện Ultralytics YOLO tạo SGD của PyTorch với động lượng Nesterov khi đặt optimizer="SGD", mặc định sử dụng lr0=0.01 và momentum=0.937. optimizer="auto" mặc định bỏ qua lr0 và chọn MuSGD, thuật toán kết hợp cập nhật SGD và Muon, cho các lần chạy dài hơn 10.000 iteration; các lần chạy ngắn hơn dùng AdamW.

SGD được sử dụng ở đâu#

SGD với momentum đã được dùng để huấn luyện phần lớn các CNN mang tính bước ngoặt trên ImageNet. Các model ResNet ban đầu sử dụng momentum 0.9, weight decay 0.0001 và mini-batch gồm 256 ảnh; learning rate khởi đầu ở mức 0.1 và được chia cho 10 mỗi khi lỗi chững lại. Ngoài deep learning, các SGDClassifier và SGDRegressor của scikit-learn dùng SGD để huấn luyện các model tuyến tính như hồi quy logistic và máy vectơ hỗ trợ tuyến tính; phương thức partial_fit của hai estimator này huấn luyện từng khối một trên các tập dữ liệu quá lớn để nạp toàn bộ vào bộ nhớ.