Gradient Descent

Gradient Descent là một thuật toán tối ưu hóa cơ bản, cốt lõi của hầu hết các mô hình học máy (ML) và học sâu. Mục tiêu chính của nó là giảm thiểu sai số của mô hình bằng cách điều chỉnh lặp đi lặp lại các tham số bên trong của nó. Hãy tưởng tượng bạn đang đứng trên một ngọn núi mù sương và cố gắng tìm điểm thấp nhất. Bạn sẽ nhìn xung quanh để xem hướng nào dốc xuống nhất và thực hiện một bước theo hướng đó. Bằng cách lặp lại quá trình này, cuối cùng bạn sẽ đến được một thung lũng. Trong học máy, "ngọn núi" là hàm mất mát, "hướng" là gradient âm của hàm mất mát và "kích thước bước" là tốc độ học.

Cách Gradient Descent hoạt động

Quá trình huấn luyện cho một mạng nơ-ron bao gồm việc tìm ra tập hợp tối ưu các trọng số mô hình (model weights) để đạt được sai số hoặc mất mát (loss) thấp nhất có thể. Gradient Descent tự động hóa việc tìm kiếm này. Quá trình bắt đầu bằng cách tính toán gradient—một thước đo mức độ thay đổi của loss so với mỗi trọng số. Phép tính này thường được thực hiện bằng thuật toán lan truyền ngược (backpropagation). Sau đó, các trọng số được cập nhật bằng cách thực hiện một bước nhỏ theo hướng ngược lại của gradient, di chuyển "xuống dốc" trên bề mặt loss. Quá trình lặp đi lặp lại này tiếp tục trong nhiều epochs (vòng lặp) cho đến khi hiệu suất của mô hình hội tụ và loss được giảm thiểu. Kích thước của mỗi bước là một yếu tố quan trọng được xác định bởi tốc độ học (learning rate), một cài đặt quan trọng trong điều chỉnh siêu tham số (hyperparameter tuning). Tổng quan chi tiết về quy trình này có thể được tìm thấy trong các tài liệu như ghi chú khóa học Stanford CS231n.

Các loại Gradient Descent

Có ba biến thể chính của Gradient Descent, mỗi biến thể khác nhau về lượng dữ liệu được sử dụng để tính toán gradient cho mỗi lần cập nhật trọng số:

• Batch Gradient Descent (BGD): Tính toán gradient bằng cách sử dụng toàn bộ tập dữ liệu huấn luyện. Phương pháp này cung cấp một gradient ổn định và chính xác, nhưng nó tốn kém về mặt tính toán và tốn nhiều bộ nhớ, khiến nó không thực tế đối với các tập dữ liệu lớn như ImageNet.
• Stochastic Gradient Descent (SGD): Cập nhật trọng số sau khi xử lý chỉ một mẫu dữ liệu được chọn ngẫu nhiên. Nó nhanh hơn và ít tốn bộ nhớ hơn nhiều so với BGD, nhưng các bản cập nhật bị nhiễu, dẫn đến đường dẫn hội tụ thất thường hơn. Sự ngẫu nhiên này đôi khi có thể giúp mô hình thoát khỏi các cực tiểu cục bộ kém.
• Mini-Batch Gradient Descent: Cân bằng bằng cách tính toán gradient trên một tập hợp con nhỏ, ngẫu nhiên (một "mini-batch") của dữ liệu, thường là từ 32 đến 256 mẫu. Đây là phương pháp phổ biến nhất được sử dụng trong deep learning hiện đại vì nó kết hợp hiệu quả của SGD với tính ổn định của BGD. Các framework như PyTorch và TensorFlow sử dụng phương pháp này theo mặc định trong các trình tối ưu hóa của chúng. Để so sánh chuyên sâu, hãy xem tổng quan về các thuật toán gradient descent này.

Gradient Descent so với các khái niệm liên quan

Điều quan trọng là phải phân biệt Gradient Descent với một số thuật ngữ liên quan:

• Các thuật toán tối ưu hóa: Gradient Descent là khái niệm nền tảng cho một họ các thuật toán tối ưu hóa. Các bộ tối ưu hóa nâng cao hơn, chẳng hạn như bộ tối ưu hóa Adam hoặc RMSprop, là các biến thể thích ứng điều chỉnh tốc độ học cho từng tham số riêng lẻ, thường dẫn đến sự hội tụ nhanh hơn. Bạn có thể tìm thấy bài báo gốc về Adam trên arXiv.
• lan truyền ngược (Backpropagation): Lan truyền ngược và Gradient Descent là hai quá trình riêng biệt nhưng có liên kết với nhau. Lan truyền ngược là thuật toán tính toán hiệu quả độ dốc (gradients) của hàm mất mát (loss function) đối với các trọng số (weights) của mạng. Gradient Descent là thuật toán sau đó sử dụng các độ dốc này để cập nhật các trọng số.
• Hàm Loss: Hàm loss xác định mục tiêu mà Gradient Descent hướng tới để giảm thiểu. Việc lựa chọn hàm loss (ví dụ: Cross-Entropy cho phân loại ảnh) tạo ra landscape lỗi cụ thể mà bộ tối ưu hóa điều hướng.

Các Ứng dụng Thực tế

Gradient Descent là động cơ cung cấp năng lượng cho việc huấn luyện vô số mô hình AI.

1. Huấn luyện các mô hình phát hiện đối tượng: Khi một mô hình Ultralytics YOLO được huấn luyện để phát hiện đối tượng trên một tập dữ liệu quy mô lớn như COCO, mini-batch gradient descent được sử dụng trong mỗi lần lặp. Mô hình dự đoán bounding box (khung giới hạn), một độ lỗi (loss) được tính toán dựa trên sai số và Gradient Descent điều chỉnh hàng triệu trọng số trong toàn bộ backbone (mạng nền) và head của mô hình để cải thiện độ chính xác. Toàn bộ quy trình làm việc này có thể được quản lý và mở rộng quy mô bằng cách sử dụng các nền tảng như Ultralytics HUB.
2. Huấn luyện các mô hình ngôn ngữ: Trong Xử lý ngôn ngữ tự nhiên (NLP), các mô hình như BERT được huấn luyện cho các tác vụ như phân tích cảm xúc. Gradient Descent giảm thiểu một hàm mất mát đo lường sự khác biệt giữa cảm xúc dự đoán của mô hình và nhãn đúng, cho phép mô hình học các sắc thái của ngôn ngữ con người từ các kho văn bản lớn. Stanford NLP Group cung cấp nghiên cứu sâu rộng trong lĩnh vực này.

Những thách thức và cân nhắc

Mặc dù mạnh mẽ, Gradient Descent không phải là không có những thách thức. Thuật toán có thể bị mắc kẹt trong cực tiểu cục bộ (local minima) — các điểm trũng không phải là điểm thấp nhất tuyệt đối trên bề mặt loss. Trong các mạng rất sâu, nó cũng có thể gặp phải các vấn đề vanishing gradient (gradient biến mất) hoặc exploding gradient (gradient bùng nổ), trong đó gradient trở nên quá nhỏ hoặc quá lớn để cập nhật trọng số một cách hiệu quả. Việc lựa chọn cẩn thận tốc độ học (learning rate), lựa chọn một trình tối ưu hóa (optimizer) mạnh mẽ và các kỹ thuật như batch normalization là rất quan trọng để huấn luyện thành công, như được trình bày chi tiết trong hướng dẫn các mẹo huấn luyện mô hình của chúng tôi.