Gradient Descent

Hạ gradient là thuật toán tối ưu hóa lặp cơ bản được dùng để huấn luyện model machine learning và mạng nơ-ron. Chức năng chính của thuật toán là giảm thiểu hàm loss bằng cách điều chỉnh có hệ thống các tham số nội bộ của model, cụ thể là weight của model và bias. Có thể hình dung quá trình này như người đi bộ cố gắng xuống núi trong sương mù dày đặc; không nhìn thấy chân núi, người đó cảm nhận độ dốc và bước theo hướng dốc xuống nhất. Trong machine learning (ML), "ngọn núi" biểu thị bề mặt sai số, còn "chân núi" là trạng thái model đưa ra dự đoán chính xác nhất. Kỹ thuật tối ưu hóa này là động lực đằng sau những đột phá của trí tuệ nhân tạo (AI) hiện đại, cung cấp sức mạnh cho mọi thứ từ hồi quy tuyến tính đơn giản đến các kiến trúc deep learning phức tạp như Ultralytics YOLO26.

Cách hạ gradient hoạt động#

Hiệu quả của hạ gradient phụ thuộc vào việc tính gradient—một vector chỉ hướng hàm loss tăng nhanh nhất. Phép tính này thường được thực hiện bằng thuật toán lan truyền ngược. Sau khi xác định được hướng, thuật toán cập nhật weight theo hướng ngược lại để giảm sai số. Độ lớn của bước cập nhật được xác định bởi một hyperparameter gọi là learning rate. Tìm learning rate tối ưu là điều rất quan trọng; bước quá lớn có thể khiến model vượt qua điểm cực tiểu, còn bước quá nhỏ khiến quá trình huấn luyện chậm đến mức khó chịu và cần quá nhiều epoch mới hội tụ. Để hiểu sâu hơn về mặt toán học, Khan Academy có bài học giải tích nhiều biến về chủ đề này.

Quá trình lặp lại cho đến khi model đạt đến điểm sai số được giảm thiểu, thường gọi là hội tụ. Trong khi thuật toán tiêu chuẩn tính gradient trên toàn bộ tập dữ liệu huấn luyện, các biến thể như Hạ gradient ngẫu nhiên (SGD) sử dụng các tập con nhỏ hơn hoặc mẫu đơn lẻ để tăng tốc tính toán và thoát khỏi các điểm cực tiểu cục bộ. Khả năng thích ứng này giúp thuật toán phù hợp để huấn luyện các model quy mô lớn trên Ultralytics Platform, nơi hiệu quả và tốc độ là ưu tiên hàng đầu.

Ứng dụng thực tế#

Hạ gradient âm thầm hoạt động phía sau hầu hết mọi giải pháp AI thành công, chuyển đổi dữ liệu thô thành thông tin hữu ích để hành động trong nhiều ngành nghề.

• Lái xe tự hành: Trong quá trình phát triển xe tự hành, model phải xử lý dữ liệu hình ảnh để nhận diện người đi bộ, biển báo giao thông và các xe khác. Khi sử dụng các kiến trúc phát hiện đối tượng như YOLO26 tiên tiến nhất, hạ gradient giảm chênh lệch giữa vị trí dự đoán và vị trí thực tế của vật thể. Điều này đảm bảo các hệ thống AI trong ngành ô tô có thể đưa ra quyết định cứu mạng chỉ trong tích tắc bằng cách liên tục tinh chỉnh bản đồ nội bộ về đường đi.
• Chẩn đoán y tế: Trong lĩnh vực chăm sóc sức khỏe, phân tích ảnh y tế dựa vào deep learning để phát hiện những bất thường như khối u trong ảnh chụp MRI. Bằng cách sử dụng hạ gradient để tối ưu hóa mạng nơ-ron tích chập (CNN), các hệ thống này học cách phân biệt mô ác tính và lành tính với độ chính xác cao. Điều này hỗ trợ đáng kể cho các chuyên gia AI trong y tế bằng cách giảm âm tính giả trong các chẩn đoán quan trọng, từ đó giúp xây dựng phác đồ điều trị sớm và chính xác hơn.

Phân biệt các khái niệm liên quan#

Điều quan trọng là phân biệt hạ gradient với các thuật ngữ liên quan trong bảng thuật ngữ deep learning (DL) để tránh nhầm lẫn khi phát triển model.

• So với lan truyền ngược: Dù thường được nhắc đến cùng nhau, hai phương pháp này đảm nhiệm những vai trò khác nhau trong vòng lặp huấn luyện. Lan truyền ngược là phương pháp dùng để tính gradient (xác định hướng của độ dốc), trong khi hạ gradient là thuật toán tối ưu hóa sử dụng các gradient đó để cập nhật weight (thực hiện bước đi). Lan truyền ngược là bản đồ; hạ gradient là người đi bộ.
• So với optimizer Adam: Optimizer Adam là phiên bản phát triển nâng cao của hạ gradient, sử dụng learning rate thích ứng cho từng tham số. Nhờ đó, thuật toán thường hội tụ nhanh hơn SGD tiêu chuẩn. Phương pháp này được sử dụng rộng rãi trong các framework hiện đại và là lựa chọn mặc định để huấn luyện các model như YOLO11 và YOLO26 nhờ tính ổn định.
• So với hàm loss: Hàm loss (như Sai số bình phương trung bình hoặc Cross-Entropy) đo lường mức độ model hoạt động kém như thế nào. Hạ gradient là quá trình cải thiện hiệu suất đó. Hàm loss cung cấp điểm số, còn hạ gradient đưa ra chiến lược để cải thiện điểm số.

Ví dụ code Python#

Trong khi các thư viện cấp cao như ultralytics trừu tượng hóa quy trình này trong lúc huấn luyện, bạn có thể trực tiếp quan sát cơ chế bằng PyTorch. Ví dụ sau minh họa một bước tối ưu hóa đơn giản, trong đó chúng ta cập nhật thủ công một tensor để giảm thiểu một giá trị.

import torch

# Create a tensor representing a weight, tracking gradients
w = torch.tensor([5.0], requires_grad=True)

# Define a simple loss function: (w - 2)^2. Minimum is at w=2.
loss = (w - 2) ** 2

# Backward pass: Calculate the gradient (slope) of the loss with respect to w
loss.backward()

# Perform a single Gradient Descent step
learning_rate = 0.1
with torch.no_grad():
    w -= learning_rate * w.grad  # Update weight: w_new = w_old - (lr * gradient)

print(f"Gradient: {w.grad.item()}")
print(f"Updated Weight: {w.item()}")  # Weight moves closer to 2.0

Nắm vững những kiến thức cơ bản này giúp nhà phát triển khắc phục sự cố hội tụ, tinh chỉnh hyperparameter hiệu quả và tận dụng các công cụ mạnh mẽ như Ultralytics Explorer để trực quan hóa cách tập dữ liệu tương tác với động lực học huấn luyện model. Nếu muốn triển khai các model đã tối ưu hóa này một cách hiệu quả, việc tìm hiểu huấn luyện nhận biết lượng tử hóa (QAT) có thể tiếp tục cải thiện hiệu suất trên thiết bị biên.