Gradient Descent

Gradient Descent là một thuật toán tối ưu hóa lặp cơ bản được sử dụng để huấn luyện các model machine learning và mạng nơ-ron. Chức năng chính của nó là giảm thiểu loss function bằng cách điều chỉnh có hệ thống các tham số nội bộ của model, cụ thể là các model weights và bias. Bạn có thể hình dung quá trình này giống như một người leo núi đang cố gắng xuống núi trong một lớp sương mù dày đặc; không thể nhìn thấy chân núi, người đó cảm nhận độ dốc của mặt đất và bước một bước theo hướng dốc xuống dốc nhất. Trong bối cảnh của machine learning (ML), "ngọn núi" đại diện cho không gian lỗi, và "chân núi" đại diện cho trạng thái mà các dự đoán của model là chính xác nhất. Kỹ thuật tối ưu hóa này là động cơ đằng sau những đột phá hiện đại của artificial intelligence (AI), thúc đẩy mọi thứ từ hồi quy tuyến tính đơn giản đến các kiến trúc deep learning phức tạp như Ultralytics YOLO26.

Cách thức Gradient Descent hoạt động#

Hiệu quả của Gradient Descent phụ thuộc vào việc tính toán gradient—một vector chỉ theo hướng tăng mạnh nhất của loss function. Phép tính này thường được thực hiện bằng thuật toán backpropagation. Khi đã xác định được hướng, thuật toán sẽ cập nhật các trọng số theo hướng ngược lại để giảm lỗi. Kích thước của bước đi được xác định bởi một siêu tham số được gọi là learning rate. Việc tìm kiếm learning rate tối ưu là rất quan trọng; một bước quá lớn có thể khiến model vượt qua điểm tối thiểu, trong khi một bước quá nhỏ có thể khiến quá trình huấn luyện diễn ra chậm chạp đến mức đau đớn, đòi hỏi quá nhiều epochs để hội tụ. Để hiểu sâu hơn về mặt toán học, Khan Academy cung cấp một bài học về giải tích đa biến về chủ đề này.

Quá trình này lặp đi lặp lại cho đến khi model đạt đến điểm mà lỗi được giảm thiểu, thường được gọi là sự hội tụ. Mặc dù thuật toán tiêu chuẩn tính toán gradient trên toàn bộ tập training data, các biến thể như Stochastic Gradient Descent (SGD) sử dụng các tập con nhỏ hơn hoặc các mẫu đơn lẻ để tăng tốc độ tính toán và thoát khỏi các điểm cực tiểu cục bộ. Khả năng thích ứng này làm cho nó phù hợp để huấn luyện các model quy mô lớn trên Ultralytics Platform, nơi hiệu quả và tốc độ là vô cùng quan trọng.

Các ứng dụng trong thực tế#

Gradient Descent vận hành âm thầm đằng sau hầu hết các giải pháp AI thành công, chuyển đổi dữ liệu thô thành trí tuệ có thể hành động trên nhiều ngành công nghiệp khác nhau.

• Autonomous Driving: Trong việc phát triển autonomous vehicles, các model phải xử lý dữ liệu trực quan để nhận diện người đi bộ, biển báo giao thông và các xe khác. Sử dụng các kiến trúc object detection tiên tiến như YOLO26, Gradient Descent giảm thiểu sự khác biệt giữa vị trí dự đoán của một đối tượng và vị trí thực tế của nó. Điều này đảm bảo rằng các hệ thống AI in automotive có thể đưa ra các quyết định cứu sống trong chớp mắt bằng cách liên tục tinh chỉnh bản đồ nội bộ của chúng về con đường.
• Medical Diagnostics: Trong lĩnh vực chăm sóc sức khỏe, medical image analysis dựa vào deep learning để phát hiện các bất thường như khối u trong ảnh quét MRI. Bằng cách sử dụng Gradient Descent để tối ưu hóa convolutional neural networks (CNNs), các hệ thống này học cách phân biệt giữa các mô ác tính và lành tính với độ chính xác cao. Điều này hỗ trợ đáng kể cho các chuyên gia AI in healthcare bằng cách giảm tỷ lệ âm tính giả trong các chẩn đoán quan trọng, dẫn đến các kế hoạch điều trị sớm hơn và chính xác hơn.

Phân biệt các khái niệm liên quan#

Điều quan trọng là phải phân biệt Gradient Descent với các thuật ngữ có liên quan chặt chẽ trong bảng thuật ngữ deep learning (DL) để tránh nhầm lẫn trong quá trình phát triển model.

• Vs. Backpropagation: Mặc dù thường được nhắc đến cùng nhau, chúng thực hiện các vai trò khác nhau trong vòng lặp huấn luyện. Backpropagation là phương pháp được sử dụng để tính toán các gradient (xác định hướng của độ dốc), trong khi Gradient Descent là optimization algorithm sử dụng các gradient đó để cập nhật các trọng số (thực hiện bước đi). Backpropagation là bản đồ; Gradient Descent là người leo núi.
• Vs. Adam Optimizer: Adam optimizer là một sự tiến hóa nâng cao của Gradient Descent sử dụng learning rate thích ứng cho từng tham số. Điều này thường dẫn đến tốc độ hội tụ nhanh hơn so với SGD tiêu chuẩn. Nó được sử dụng rộng rãi trong các framework hiện đại và là lựa chọn mặc định để huấn luyện các model như YOLO11 và YOLO26 nhờ tính mạnh mẽ của nó.
• Vs. Loss Function: Một loss function (như Mean Squared Error hoặc Cross-Entropy) đo lường model đang hoạt động tệ đến mức nào. Gradient Descent là quá trình cải thiện hiệu suất đó. Loss function cung cấp điểm số, trong khi Gradient Descent cung cấp chiến lược để cải thiện điểm số đó.

Ví dụ mã Python#

Mặc dù các thư viện cấp cao như ultralytics trừu tượng hóa quá trình này trong quá trình huấn luyện, bạn có thể thấy trực tiếp cơ chế này bằng cách sử dụng PyTorch. Ví dụ sau đây minh họa một bước tối ưu hóa đơn giản, trong đó chúng ta cập nhật thủ công một tensor để giảm thiểu một giá trị.

import torch

# Create a tensor representing a weight, tracking gradients
w = torch.tensor([5.0], requires_grad=True)

# Define a simple loss function: (w - 2)^2. Minimum is at w=2.
loss = (w - 2) ** 2

# Backward pass: Calculate the gradient (slope) of the loss with respect to w
loss.backward()

# Perform a single Gradient Descent step
learning_rate = 0.1
with torch.no_grad():
    w -= learning_rate * w.grad  # Update weight: w_new = w_old - (lr * gradient)

print(f"Gradient: {w.grad.item()}")
print(f"Updated Weight: {w.item()}")  # Weight moves closer to 2.0

Hiểu các nguyên tắc cơ bản này cho phép các lập trình viên khắc phục sự cố hội tụ, điều chỉnh siêu tham số hiệu quả và tận dụng các công cụ mạnh mẽ như Ultralytics Explorer để hình dung cách các dataset của họ tương tác với động lực huấn luyện model. Đối với những ai muốn triển khai các model được tối ưu hóa này một cách hiệu quả, việc khám phá quantization-aware training (QAT) có thể tinh hỉnh thêm hiệu suất cho các edge device.