Gradient Descent

Gradient Descent là một thuật toán tối ưu hóa lặp lại cơ bản được sử dụng để huấn luyện các model machine learning và mạng thần kinh. Chức năng chính của nó là giảm thiểu loss function bằng cách điều chỉnh hệ thống các tham số nội tại của model, cụ thể là model weights và các bias. Bạn có thể hình dung quy trình này như một người leo núi đang cố gắng xuống núi trong làn sương mù dày đặc; không thể nhìn thấy chân núi, người đó cảm nhận độ dốc của mặt đất và bước một bước theo hướng dốc xuống lớn nhất. Trong bối cảnh machine learning (ML), "ngọn núi" đại diện cho không gian lỗi, và "đáy núi" đại diện cho trạng thái mà dự đoán của model là chính xác nhất. Kỹ thuật tối ưu hóa này là bộ máy đằng sau những đột phá về artificial intelligence (AI) hiện đại, thúc đẩy mọi thứ từ hồi quy tuyến tính đơn giản đến các kiến trúc deep learning phức tạp như Ultralytics YOLO26.

Link to this sectionCách thức Gradient Descent hoạt động#

Hiệu quả của Gradient Descent dựa trên việc tính toán gradient—một vector chỉ hướng tăng mạnh nhất của loss function. Phép tính này thường được thực hiện bằng thuật toán backpropagation. Sau khi xác định được hướng, thuật toán sẽ cập nhật các trọng số theo hướng ngược lại để giảm lỗi. Kích thước bước đi được xác định bởi một siêu tham số được gọi là learning rate. Việc tìm ra learning rate tối ưu là rất quan trọng; một bước quá lớn có thể khiến model vượt quá điểm tối thiểu, trong khi một bước quá nhỏ có thể làm cho quá trình huấn luyện trở nên chậm chạp một cách đau đớn, đòi hỏi quá nhiều epochs để hội tụ. Để hiểu sâu hơn về mặt toán học, Khan Academy cung cấp một bài học về giải tích đa biến về chủ đề này.

Quá trình này lặp lại liên tục cho đến khi model đạt đến điểm mà lỗi được giảm thiểu, thường được gọi là sự hội tụ. Trong khi thuật toán tiêu chuẩn tính toán gradient trên toàn bộ tập training data, các biến thể như Stochastic Gradient Descent (SGD) sử dụng các tập con nhỏ hơn hoặc từng ví dụ đơn lẻ để tăng tốc độ tính toán và thoát khỏi các cực tiểu địa phương. Khả năng thích ứng này làm cho nó phù hợp để huấn luyện các model quy mô lớn trên Ultralytics Platform, nơi hiệu suất và tốc độ là tối quan trọng.

Link to this sectionCác ứng dụng trong thực tế#

Gradient Descent vận hành âm thầm đằng sau hầu hết các giải pháp AI thành công, chuyển đổi dữ liệu thô thành trí tuệ có thể hành động trên nhiều ngành công nghiệp khác nhau.

• Xe tự lái: Trong quá trình phát triển autonomous vehicles, các model phải xử lý dữ liệu hình ảnh để nhận diện người đi bộ, biển báo giao thông và các phương tiện khác. Sử dụng các kiến trúc object detection hiện đại như YOLO26, Gradient Descent giảm thiểu sự khác biệt giữa vị trí dự đoán của vật thể và vị trí thực tế của nó. Điều này đảm bảo rằng các hệ thống AI in automotive có thể đưa ra các quyết định quan trọng cứu người trong tích tắc bằng cách liên tục tinh chỉnh bản đồ đường đi nội tại của chúng.
• Chẩn đoán y tế: Trong chăm sóc sức khỏe, medical image analysis dựa vào deep learning để phát hiện các bất thường như khối u trong ảnh quét MRI. Bằng cách sử dụng Gradient Descent để tối ưu hóa convolutional neural networks (CNNs), các hệ thống này học cách phân biệt giữa các mô ác tính và lành tính với độ chính xác cao. Điều này hỗ trợ đáng kể cho các chuyên gia AI in healthcare bằng cách giảm tỷ lệ âm tính giả trong các chẩn đoán quan trọng, dẫn đến các kế hoạch điều trị sớm và chính xác hơn.

Link to this sectionPhân biệt các khái niệm liên quan#

Việc phân biệt Gradient Descent với các thuật ngữ liên quan chặt chẽ trong từ điển deep learning (DL) là rất quan trọng để tránh nhầm lẫn trong quá trình phát triển model.

• So với Backpropagation: Mặc dù thường được nhắc đến cùng nhau, chúng thực hiện các vai trò khác nhau trong vòng lặp huấn luyện. Backpropagation là phương pháp được sử dụng để tính toán các gradient (xác định hướng của độ dốc), trong khi Gradient Descent là optimization algorithm sử dụng các gradient đó để cập nhật các trọng số (thực hiện bước đi). Backpropagation là bản đồ; Gradient Descent là người leo núi.
• So với Adam Optimizer: Adam optimizer là một sự phát triển nâng cao của Gradient Descent, sử dụng learning rate thích ứng cho từng tham số. Điều này thường dẫn đến sự hội tụ nhanh hơn so với SGD tiêu chuẩn. Nó được sử dụng rộng rãi trong các framework hiện đại và là lựa chọn mặc định để huấn luyện các model như YOLO11 và YOLO26 nhờ tính mạnh mẽ của nó.
• So với Loss Function: Một loss function (như Mean Squared Error hoặc Cross-Entropy) đo lường model đang thực hiện tệ như thế nào. Gradient Descent là quá trình cải thiện hiệu suất đó. Loss function cung cấp điểm số, trong khi Gradient Descent cung cấp chiến lược để cải thiện điểm số đó.

Link to this sectionVí dụ mã Python#

Trong khi các thư viện cấp cao như ultralytics trừu tượng hóa quá trình này trong khi huấn luyện, bạn có thể thấy cơ chế này trực tiếp bằng cách sử dụng PyTorch. Ví dụ sau đây minh họa một bước tối ưu hóa đơn giản, nơi chúng ta cập nhật thủ công một tensor để giảm thiểu một giá trị.

import torch

# Create a tensor representing a weight, tracking gradients
w = torch.tensor([5.0], requires_grad=True)

# Define a simple loss function: (w - 2)^2. Minimum is at w=2.
loss = (w - 2) ** 2

# Backward pass: Calculate the gradient (slope) of the loss with respect to w
loss.backward()

# Perform a single Gradient Descent step
learning_rate = 0.1
with torch.no_grad():
    w -= learning_rate * w.grad  # Update weight: w_new = w_old - (lr * gradient)

print(f"Gradient: {w.grad.item()}")
print(f"Updated Weight: {w.item()}")  # Weight moves closer to 2.0

Hiểu những nguyên tắc cơ bản này cho phép các nhà phát triển khắc phục các sự cố hội tụ, điều chỉnh siêu tham số một cách hiệu quả và tận dụng các công cụ mạnh mẽ như Ultralytics Explorer để hình dung cách tập dữ liệu của họ tương tác với động lực huấn luyện model. Đối với những người đang tìm cách triển khai các model được tối ưu hóa này một cách hiệu quả, việc khám phá quantization-aware training (QAT) có thể cải thiện hơn nữa hiệu suất cho các thiết bị biên.