Stochastic Gradient Descent (SGD)

Stochastic Gradient Descent (SGD) là một thuật toán tối ưu hóa mạnh mẽ được sử dụng rộng rãi trong machine learning để huấn luyện các model một cách hiệu quả, đặc biệt là khi làm việc với các tập dữ liệu lớn. Về cốt lõi, SGD là một biến thể của phương pháp gradient descent tiêu chuẩn, được thiết kế để tăng tốc quá trình học bằng cách cập nhật các tham số model thường xuyên hơn. Thay vì tính toán lỗi cho toàn bộ tập dữ liệu trước khi thực hiện một bản cập nhật duy nhất—như cách làm trong batch gradient descent truyền thống—SGD cập nhật trọng số của model chỉ bằng cách sử dụng một ví dụ huấn luyện được chọn ngẫu nhiên tại mỗi thời điểm. Bản chất "ngẫu nhiên" hoặc stochastic này tạo ra nhiễu trong lộ trình tối ưu hóa, điều này có thể giúp model thoát khỏi các giải pháp tối ưu cục bộ và hội tụ nhanh hơn trên các tập dữ liệu khổng lồ nơi việc xử lý toàn bộ dữ liệu cùng lúc là không khả thi về mặt tính toán.

Cách thức hoạt động của Stochastic Gradient Descent#

Mục tiêu chính của bất kỳ quá trình huấn luyện nào là tối thiểu hóa một loss function, lượng hóa sự khác biệt giữa các dự đoán của model và giá trị mục tiêu thực tế. SGD đạt được điều này thông qua một chu trình lặp đi lặp lại. Đầu tiên, thuật toán chọn một điểm dữ liệu ngẫu nhiên từ training data. Sau đó, thuật toán thực hiện một lượt truyền tiến (forward pass) để tạo ra dự đoán và tính toán sai số. Sử dụng backpropagation, thuật toán tính toán gradient—về cơ bản là độ dốc của không gian sai số—dựa trên mẫu đơn lẻ đó. Cuối cùng, nó cập nhật các model weights theo hướng ngược lại với gradient để giảm thiểu sai số.

Quá trình này được lặp lại qua nhiều vòng lặp, thường được nhóm thành các epochs, cho đến khi hiệu suất của model ổn định. Biên độ của các cập nhật này được điều khiển bởi một siêu tham số được gọi là learning rate. Do mỗi bước chỉ dựa trên một mẫu duy nhất, đường đi đến điểm tối thiểu thường có hình zíc-zắc hoặc có nhiều nhiễu so với quỹ đạo mượt mà của batch gradient descent. Tuy nhiên, độ nhiễu này thường mang lại lợi thế trong deep learning, vì nó có thể ngăn model bị mắc kẹt ở một điểm tối thiểu cục bộ, từ đó có khả năng dẫn đến một giải pháp toàn cục tốt hơn.

SGD so với các thuật toán tối ưu hóa khác#

Việc hiểu rõ sự khác biệt giữa SGD và các optimization algorithms liên quan là rất quan trọng để lựa chọn chiến lược huấn luyện phù hợp.

• Batch Gradient Descent: Phương pháp truyền thống này tính toán gradient bằng cách sử dụng toàn bộ tập dữ liệu cho mọi cập nhật đơn lẻ. Mặc dù nó cung cấp một con đường ổn định và trực tiếp đến điểm tối thiểu, nhưng nó lại cực kỳ chậm và tốn nhiều bộ nhớ đối với các tác vụ machine learning (ML) quy mô lớn.
• Mini-Batch Gradient Descent: Trong thực tế, hầu hết các framework deep learning hiện đại, bao gồm cả PyTorch, đều triển khai một phương pháp kết hợp thường được gọi là SGD nhưng về mặt kỹ thuật thì hoàn toàn là "Mini-Batch SGD". Phương pháp này cập nhật các tham số bằng cách sử dụng một nhóm nhỏ các mẫu (một batch) thay vì chỉ một mẫu. Nó cân bằng giữa hiệu quả tính toán của SGD thuần túy và tính ổn định của batch gradient descent, làm cho nó trở thành tiêu chuẩn để huấn luyện các model như YOLO26.
• Adam Optimizer: Adam là một thuật toán tối ưu hóa tốc độ học thích ứng được xây dựng dựa trên nền tảng của SGD. Nó điều chỉnh learning rate cho từng tham số một cách riêng lẻ dựa trên các ước lượng momment. Mặc dù Adam thường hội tụ nhanh hơn, nhưng SGD với momentum vẫn thường xuyên được sử dụng trong computer vision (CV) nhờ khả năng tìm ra các giải pháp có tính tổng quát hóa cao hơn trong một số kịch bản nhất định.

Các ứng dụng trong thực tế#

SGD và các biến thể của nó là động cơ đằng sau nhiều công nghệ AI mang tính chuyển đổi được sử dụng hiện nay.

1. Xe tự hành: Trong quá trình phát triển autonomous vehicles, các model phải xử lý các luồng dữ liệu hình ảnh khổng lồ để nhận diện người đi bộ, biển báo giao thông và các chướng ngại vật. Việc huấn luyện các mạng object detection phức tạp này đòi hỏi quá trình tối ưu hóa hiệu quả để xử lý hàng triệu hình ảnh đường phố. SGD cho phép các kỹ sư liên tục cải thiện độ chính xác của model, đảm bảo các hệ thống quan trọng về an toàn trong AI in automotive có thể đưa ra các quyết định đáng tin cậy theo thời gian thực.

2. Chẩn đoán y tế: Lĩnh vực medical image analysis phụ thuộc rất nhiều vào deep learning để phát hiện các bất thường như khối u trong ảnh chụp MRI hoặc X-ray. Do các tập dữ liệu y tế có thể rất lớn và có độ phân giải cao, SGD cho phép huấn luyện các mạng convolutional neural networks (CNNs) phức tạp mà không làm quá tải tài nguyên bộ nhớ. Điều này tạo điều kiện thuận lợi cho việc tạo ra các công cụ chẩn đoán độ chính xác cao hỗ trợ các bác sĩ trong lĩnh vực AI in healthcare.

Ví dụ mã Python#

Mặc dù các thư viện cấp cao như ultralytics xử lý việc tối ưu hóa nội bộ trong lệnh train(), bạn có thể thấy cách một SGD optimizer được khởi tạo và sử dụng trong một quy trình PyTorch cấp thấp hơn. Đoạn mã ngắn này minh họa cách định nghĩa một SGD optimizer đơn giản cho một tensor.

import torch
import torch.nn as nn
import torch.optim as optim

# Define a simple linear model
model = nn.Linear(10, 1)

# Initialize Stochastic Gradient Descent (SGD) optimizer
# 'lr' is the learning rate, and 'momentum' helps accelerate gradients in the right direction
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# Create a dummy input and target
data = torch.randn(1, 10)
target = torch.randn(1, 1)

# Forward pass
output = model(data)
loss = nn.MSELoss()(output, target)

# Backward pass and optimization step
optimizer.zero_grad()  # Clear previous gradients
loss.backward()  # Calculate gradients
optimizer.step()  # Update model parameters
print("Model parameters updated using SGD.")

Thách thức và Giải pháp#

Mặc dù rất phổ biến, SGD vẫn đi kèm với một số thách thức. Vấn đề chính là độ nhiễu trong các bước gradient, có thể khiến hàm mất mát dao động mạnh thay vì hội tụ một cách mượt mà. Để giảm thiểu điều này, các kỹ sư thường sử dụng momentum, một kỹ thuật giúp tăng tốc SGD theo hướng phù hợp và làm giảm dao động, tương tự như một quả cầu nặng lăn xuống đồi. Ngoài ra, việc tìm ra learning rate chính xác là cực kỳ quan trọng; nếu quá cao, model có thể vượt quá điểm tối thiểu (exploding gradient), và nếu quá thấp, quá trình huấn luyện sẽ cực kỳ chậm. Các công cụ như Ultralytics Platform giúp tự động hóa quá trình này bằng cách quản lý hyperparameter tuning và cung cấp khả năng trực quan hóa các chỉ số huấn luyện. Những tiến bộ như Adam optimizer về cơ bản tự động hóa việc điều chỉnh learning rate, giải quyết một số khó khăn vốn có của SGD.