Stochastic Gradient Descent (SGD)

Stochastic Gradient Descent (SGD) là một thuật toán tối ưu hóa mạnh mẽ được sử dụng rộng rãi trong machine learning để huấn luyện các model một cách hiệu quả, đặc biệt là khi làm việc với các tập dữ liệu lớn. Về cốt lõi, SGD là một biến thể của phương pháp gradient descent tiêu chuẩn, được thiết kế để tăng tốc quá trình học bằng cách cập nhật các tham số model thường xuyên hơn. Thay vì tính toán lỗi cho toàn bộ tập dữ liệu trước khi thực hiện một bản cập nhật duy nhất—như cách làm trong batch gradient descent truyền thống—SGD cập nhật trọng số của model chỉ bằng cách sử dụng một ví dụ huấn luyện được chọn ngẫu nhiên tại mỗi thời điểm. Bản chất "ngẫu nhiên" hoặc stochastic này tạo ra nhiễu trong lộ trình tối ưu hóa, điều này có thể giúp model thoát khỏi các giải pháp tối ưu cục bộ và hội tụ nhanh hơn trên các tập dữ liệu khổng lồ nơi việc xử lý toàn bộ dữ liệu cùng lúc là không khả thi về mặt tính toán.

Link to this sectionCách thức hoạt động của Stochastic Gradient Descent#

Mục tiêu chính của bất kỳ quá trình huấn luyện nào là giảm thiểu loss function, vốn định lượng sự khác biệt giữa các dự đoán của model và các giá trị mục tiêu thực tế. SGD đạt được điều này thông qua một chu kỳ lặp đi lặp lại. Đầu tiên, thuật toán chọn một điểm dữ liệu ngẫu nhiên từ training data. Sau đó, nó thực hiện một forward pass để tạo ra dự đoán và tính toán lỗi. Sử dụng backpropagation, thuật toán tính toán gradient—về cơ bản là độ dốc của không gian lỗi—dựa trên ví dụ đơn lẻ đó. Cuối cùng, nó cập nhật model weights theo hướng ngược lại của gradient để giảm lỗi.

Quá trình này được lặp lại qua nhiều lần lặp, thường được nhóm thành các epochs, cho đến khi hiệu suất của model ổn định. Độ lớn của các bản cập nhật này được kiểm soát bởi một hyperparameter được gọi là learning rate. Vì mỗi bước chỉ dựa trên một mẫu, con đường dẫn đến giá trị tối thiểu thường ngoằn ngoèo hoặc đầy nhiễu so với quỹ đạo trơn tru của batch gradient descent. Tuy nhiên, nhiễu này thường có lợi trong deep learning, vì nó có thể ngăn model bị kẹt trong một điểm tối ưu cục bộ, từ đó có khả năng dẫn đến một giải pháp toàn cầu tốt hơn.

Link to this sectionSGD so với các thuật toán tối ưu hóa khác#

Việc hiểu rõ sự khác biệt giữa SGD và các optimization algorithms liên quan là rất quan trọng để lựa chọn chiến lược huấn luyện phù hợp.

• Batch Gradient Descent: Phương pháp truyền thống này tính toán gradient bằng cách sử dụng toàn bộ tập dữ liệu cho mỗi bản cập nhật. Mặc dù nó cung cấp một con đường ổn định và trực tiếp đến giá trị tối thiểu, nhưng nó cực kỳ chậm và tốn bộ nhớ cho các tác vụ machine learning (ML) quy mô lớn.
• Mini-Batch Gradient Descent: Trong thực tế, hầu hết các framework deep learning hiện đại, bao gồm PyTorch, đều triển khai một phương pháp lai thường được gọi là SGD nhưng về mặt kỹ thuật nghiêm ngặt là "Mini-Batch SGD". Phương pháp này cập nhật các tham số bằng cách sử dụng một nhóm nhỏ các mẫu (một batch) thay vì chỉ một mẫu. Nó cân bằng giữa hiệu quả tính toán của SGD thuần túy và sự ổn định của batch gradient descent, khiến nó trở thành tiêu chuẩn để huấn luyện các model như YOLO26.
• Adam Optimizer: Adam là một thuật toán tối ưu hóa learning rate thích ứng được xây dựng dựa trên SGD. Nó điều chỉnh learning rate cho từng tham số riêng lẻ dựa trên các ước tính mô-men. Mặc dù Adam thường hội tụ nhanh hơn, SGD với động lượng (momentum) vẫn thường được sử dụng trong computer vision (CV) nhờ khả năng tìm ra các giải pháp có tính tổng quát tốt hơn trong một số tình huống nhất định.

Link to this sectionCác ứng dụng trong thực tế#

SGD và các biến thể của nó là động cơ đằng sau nhiều công nghệ AI mang tính chuyển đổi được sử dụng hiện nay.

1. Xe tự lái: Trong quá trình phát triển autonomous vehicles, các model phải xử lý luồng dữ liệu hình ảnh khổng lồ để xác định người đi bộ, biển báo giao thông và chướng ngại vật. Việc huấn luyện các mạng object detection tinh vi này đòi hỏi khả năng tối ưu hóa hiệu quả để xử lý hàng triệu hình ảnh đường phố. SGD cho phép các kỹ sư liên tục cải thiện độ chính xác của model, đảm bảo các hệ thống an toàn trọng yếu trong AI in automotive có thể đưa ra các quyết định đáng tin cậy theo thời gian thực.

2. Chẩn đoán y tế: Lĩnh vực medical image analysis phụ thuộc nhiều vào deep learning để phát hiện các bất thường như khối u trong ảnh MRI hoặc X-quang. Vì các tập dữ liệu y tế có thể rất lớn và có độ phân giải cao, SGD cho phép huấn luyện các convolutional neural networks (CNNs) phức tạp mà không gây quá tải cho tài nguyên bộ nhớ. Điều này tạo điều kiện thuận lợi cho việc tạo ra các công cụ chẩn đoán độ chính xác cao hỗ trợ bác sĩ trong AI in healthcare.

Link to this sectionVí dụ mã Python#

Mặc dù các thư viện cấp cao như ultralytics xử lý tối ưu hóa nội bộ trong lệnh train(), bạn có thể thấy cách một trình tối ưu hóa SGD được khởi tạo và sử dụng trong quy trình PyTorch cấp thấp hơn. Đoạn mã này minh họa việc định nghĩa một trình tối ưu hóa SGD đơn giản cho một tensor.

import torch
import torch.nn as nn
import torch.optim as optim

# Define a simple linear model
model = nn.Linear(10, 1)

# Initialize Stochastic Gradient Descent (SGD) optimizer
# 'lr' is the learning rate, and 'momentum' helps accelerate gradients in the right direction
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# Create a dummy input and target
data = torch.randn(1, 10)
target = torch.randn(1, 1)

# Forward pass
output = model(data)
loss = nn.MSELoss()(output, target)

# Backward pass and optimization step
optimizer.zero_grad()  # Clear previous gradients
loss.backward()  # Calculate gradients
optimizer.step()  # Update model parameters
print("Model parameters updated using SGD.")

Link to this sectionThách thức và Giải pháp#

Bất chấp sự phổ biến của nó, SGD vẫn đi kèm với những thách thức. Vấn đề chính là nhiễu trong các bước gradient, điều này có thể khiến hàm loss dao động mạnh thay vì hội tụ trơn tru. Để giảm thiểu điều này, các chuyên gia thường sử dụng momentum, một kỹ thuật giúp tăng tốc SGD theo hướng phù hợp và giảm bớt dao động, tương tự như một quả bóng nặng lăn xuống đồi. Ngoài ra, việc tìm ra learning rate chính xác là rất quan trọng; nếu quá cao, model có thể vượt quá điểm tối thiểu (exploding gradient), và nếu quá thấp, quá trình huấn luyện sẽ cực kỳ chậm. Các công cụ như Ultralytics Platform giúp tự động hóa quá trình này bằng cách quản lý hyperparameter tuning và cung cấp khả năng trực quan hóa các chỉ số huấn luyện. Các tiến bộ như Adam optimizer về cơ bản tự động hóa việc điều chỉnh learning rate, giải quyết một số khó khăn cố hữu của SGD.