Stochastic Gradient Descent (SGD)

Gradient descent ngẫu nhiên (SGD) là một thuật toán tối ưu hóa mạnh mẽ, được sử dụng rộng rãi trong machine learning để huấn luyện model một cách hiệu quả, đặc biệt khi làm việc với các dataset lớn. Về bản chất, SGD là một biến thể của phương pháp gradient descent tiêu chuẩn, được thiết kế để tăng tốc quá trình học bằng cách cập nhật các tham số của model thường xuyên hơn. Thay vì tính toán sai số trên toàn bộ dataset trước khi thực hiện một lần cập nhật duy nhất—như trong gradient descent theo batch truyền thống—SGD cập nhật các trọng số của model chỉ bằng một mẫu huấn luyện được chọn ngẫu nhiên tại mỗi lần. Tính chất “ngẫu nhiên” này đưa nhiễu vào quỹ đạo tối ưu hóa, giúp model thoát khỏi các nghiệm chưa tối ưu và hội tụ nhanh hơn trên những dataset khổng lồ, nơi việc xử lý toàn bộ dữ liệu cùng lúc là không khả thi về mặt tính toán.

Cách Gradient Descent Ngẫu nhiên Hoạt động#

Mục tiêu chính của mọi quy trình huấn luyện là tối thiểu hóa một hàm loss, dùng để định lượng sự khác biệt giữa các dự đoán của model và các giá trị mục tiêu thực tế. SGD thực hiện điều này thông qua một chu trình lặp. Đầu tiên, thuật toán chọn một điểm dữ liệu ngẫu nhiên từ dữ liệu huấn luyện. Sau đó, thuật toán thực hiện forward pass để tạo dự đoán và tính toán sai số. Sử dụng lan truyền ngược, thuật toán tính gradient—về cơ bản là độ dốc của bề mặt sai số—dựa trên mẫu duy nhất đó. Cuối cùng, thuật toán cập nhật trọng số model theo hướng ngược với gradient để giảm sai số.

Quy trình này được lặp lại qua nhiều iteration, thường được nhóm thành các epoch, cho đến khi hiệu năng của model ổn định. Độ lớn của các lần cập nhật này được kiểm soát bởi một hyperparameter gọi là learning rate. Vì mỗi bước chỉ dựa trên một sample, đường đi đến cực tiểu thường ngoằn ngoèo hoặc nhiễu hơn so với quỹ đạo mượt mà của gradient descent theo batch. Tuy nhiên, nhiễu này thường có lợi trong deep learning, vì có thể ngăn model mắc kẹt tại một cực tiểu cục bộ và có khả năng dẫn đến một nghiệm toàn cục tốt hơn.

SGD so với các Thuật toán Tối ưu hóa Khác#

Hiểu rõ sự khác biệt giữa SGD và các thuật toán tối ưu hóa liên quan là yếu tố quan trọng để lựa chọn chiến lược huấn luyện phù hợp.

• Gradient Descent theo Batch: Phương pháp truyền thống này tính gradient bằng toàn bộ dataset cho mỗi lần cập nhật. Mặc dù cung cấp một đường đi ổn định và trực tiếp đến cực tiểu, phương pháp này cực kỳ chậm và tiêu tốn nhiều bộ nhớ đối với các tác vụ machine learning (ML) quy mô lớn.
• Gradient Descent theo Mini-Batch: Trên thực tế, hầu hết các framework deep learning hiện đại, bao gồm PyTorch, đều triển khai một phương pháp lai thường được gọi là SGD, nhưng về mặt kỹ thuật chính xác là “SGD theo Mini-Batch”. Phương pháp này cập nhật các tham số bằng một nhóm nhỏ các sample (một batch) thay vì chỉ một sample. Nó cân bằng hiệu quả tính toán của SGD thuần túy với tính ổn định của gradient descent theo batch, trở thành tiêu chuẩn để huấn luyện các model như YOLO26.
• Bộ tối ưu hóa Adam: Adam là một thuật toán tối ưu hóa learning rate thích ứng, được xây dựng dựa trên SGD. Thuật toán điều chỉnh learning rate cho từng tham số riêng lẻ dựa trên các ước lượng moment. Mặc dù Adam thường hội tụ nhanh hơn, SGD với momentum vẫn thường được sử dụng trong thị giác máy tính (CV) nhờ khả năng tìm ra các nghiệm có tính khái quát hóa tốt hơn trong một số tình huống.

Các ứng dụng trong thực tế#

SGD và các biến thể của nó là động lực đằng sau nhiều công nghệ AI mang tính đột phá được sử dụng ngày nay.

1. Xe tự hành: Trong quá trình phát triển xe tự hành, các model phải xử lý lượng lớn luồng dữ liệu hình ảnh để nhận diện người đi bộ, biển báo giao thông và chướng ngại vật. Việc huấn luyện các mạng phát hiện đối tượng phức tạp này đòi hỏi khả năng tối ưu hóa hiệu quả để xử lý hàng triệu hình ảnh đường phố. SGD cho phép các kỹ sư liên tục tinh chỉnh độ chính xác của model, đảm bảo các hệ thống có yêu cầu an toàn nghiêm ngặt trong AI trong ngành ô tô có thể đưa ra quyết định đáng tin cậy theo thời gian thực.

2. Chẩn đoán y khoa: Lĩnh vực phân tích ảnh y khoa phụ thuộc nhiều vào deep learning để phát hiện các bất thường như khối u trong ảnh MRI hoặc X-quang. Vì các dataset y khoa có thể rất lớn và độ phân giải cao, SGD cho phép huấn luyện các mạng nơ-ron tích chập (CNN) phức tạp mà không làm quá tải tài nguyên bộ nhớ. Điều này hỗ trợ tạo ra các công cụ chẩn đoán có độ chính xác cao, giúp bác sĩ trong AI trong chăm sóc sức khỏe.

Ví dụ mã Python#

Mặc dù các thư viện cấp cao như ultralytics xử lý việc tối ưu hóa nội bộ trong lệnh train(), bạn vẫn có thể xem cách một optimizer SGD được khởi tạo và sử dụng trong workflow PyTorch cấp thấp hơn. Đoạn mã này minh họa cách định nghĩa một optimizer SGD đơn giản cho một tensor.

import torch
import torch.nn as nn
import torch.optim as optim

# Define a simple linear model
model = nn.Linear(10, 1)

# Initialize Stochastic Gradient Descent (SGD) optimizer
# 'lr' is the learning rate, and 'momentum' helps accelerate gradients in the right direction
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# Create a dummy input and target
data = torch.randn(1, 10)
target = torch.randn(1, 1)

# Forward pass
output = model(data)
loss = nn.MSELoss()(output, target)

# Backward pass and optimization step
optimizer.zero_grad()  # Clear previous gradients
loss.backward()  # Calculate gradients
optimizer.step()  # Update model parameters
print("Model parameters updated using SGD.")

Thách thức và Giải pháp#

Mặc dù phổ biến, SGD vẫn đi kèm với nhiều thách thức. Vấn đề chính là nhiễu trong các bước gradient, có thể khiến loss dao động mạnh thay vì hội tụ một cách mượt mà. Để giảm thiểu điều này, các chuyên gia thường sử dụng momentum, một kỹ thuật giúp tăng tốc SGD theo hướng phù hợp và giảm dao động, tương tự như một quả bóng nặng lăn xuống dốc. Ngoài ra, việc tìm learning rate phù hợp là rất quan trọng; nếu quá cao, model có thể vượt qua điểm cực tiểu (gradient bùng nổ), còn nếu quá thấp, quá trình huấn luyện sẽ chậm một cách đáng kể. Các công cụ như Ultralytics Platform giúp tự động hóa quy trình này bằng cách quản lý tinh chỉnh hyperparameter và cung cấp tính năng trực quan hóa cho các metric huấn luyện. Những tiến bộ như optimizer Adam về cơ bản tự động hóa việc điều chỉnh learning rate, giải quyết một số khó khăn vốn có của SGD.