Giảm độ dốc

Gradient Descent là một thuật toán tối ưu hóa cơ bản, cốt lõi của hầu hết các mô hình học máy (ML) và học sâu . Mục tiêu chính của nó là giảm thiểu lỗi của mô hình bằng cách điều chỉnh lặp lại các tham số nội tại. Hãy tưởng tượng bạn đang đứng trên một ngọn núi sương mù và cố gắng tìm điểm thấp nhất. Bạn sẽ nhìn xung quanh chân mình để xem hướng nào dốc xuống dốc nhất và bước một bước theo hướng đó. Bằng cách lặp lại quá trình này, cuối cùng bạn sẽ đến một thung lũng. Trong học máy, "ngọn núi" là hàm mất mát , "hướng" là gradient âm của hàm mất mát, và "kích thước bước" là tốc độ học .

Cách thức hoạt động của Gradient Descent

Quá trình huấn luyện mạng nơ-ron bao gồm việc tìm kiếm tập hợp trọng số mô hình tối ưu, mang lại sai số hoặc tổn thất thấp nhất có thể. Gradient Descent tự động hóa quá trình tìm kiếm này. Quá trình bắt đầu bằng cách tính toán gradient—một thước đo mức độ thay đổi của tổn thất theo từng trọng số. Phép tính này thường được thực hiện bằng thuật toán lan truyền ngược . Các trọng số sau đó được cập nhật bằng cách thực hiện một bước nhỏ ngược hướng với gradient, về cơ bản là di chuyển "xuống dốc" trên bề mặt tổn thất. Quá trình lặp lại này tiếp tục trong nhiều kỷ nguyên cho đến khi hiệu suất của mô hình hội tụ và tổn thất được giảm thiểu. Kích thước của mỗi bước là một yếu tố quan trọng được xác định bởi tốc độ học, một thiết lập quan trọng trong việc điều chỉnh siêu tham số . Tổng quan chi tiết về quá trình này có thể được tìm thấy trong các tài liệu như Stanford CS231n course notes .

Các loại Gradient Descent

Có ba biến thể chính của Gradient Descent, mỗi biến thể khác nhau về lượng dữ liệu được sử dụng để tính toán gradient cho mỗi lần cập nhật trọng số:

• Batch Gradient Descent (BGD): Tính toán gradient bằng cách sử dụng toàn bộ tập dữ liệu huấn luyện . Phương pháp này cung cấp một gradient ổn định và chính xác, nhưng tốn rất nhiều tài nguyên tính toán và bộ nhớ, khiến nó không thực tế đối với các tập dữ liệu lớn như ImageNet .
• Giảm Gradient Ngẫu Nhiên (SGD) : Cập nhật trọng số sau khi chỉ xử lý một mẫu dữ liệu được chọn ngẫu nhiên. Phương pháp này nhanh hơn nhiều và ít tốn bộ nhớ hơn BGD, nhưng các bản cập nhật lại bị nhiễu, dẫn đến đường hội tụ thất thường hơn. Tính ngẫu nhiên này đôi khi có thể giúp mô hình thoát khỏi các điểm cực tiểu cục bộ kém.
• Giảm Gradient Hàng Loạt Nhỏ: Đạt được sự cân bằng bằng cách tính toán gradient trên một tập hợp con nhỏ, ngẫu nhiên (một "mini-batch") dữ liệu, thường từ 32 đến 256 mẫu. Đây là phương pháp phổ biến nhất được sử dụng trong học sâu hiện đại vì nó kết hợp hiệu quả của SGD với tính ổn định của BGD. Các framework như PyTorch và TensorFlow mặc định sử dụng phương pháp này trong các trình tối ưu hóa của chúng. Để so sánh chi tiết hơn, hãy xem tổng quan về các thuật toán giảm gradient này.

Gradient Descent so với các khái niệm liên quan

Điều quan trọng là phải phân biệt Gradient Descent với một số thuật ngữ liên quan:

• Thuật toán tối ưu hóa: Gradient Descent là khái niệm nền tảng cho một họ các thuật toán tối ưu hóa. Các thuật toán tối ưu hóa tiên tiến hơn, chẳng hạn như thuật toán tối ưu hóa Adam hoặc RMSprop, là các biến thể thích ứng điều chỉnh tốc độ học cho từng tham số riêng lẻ, thường dẫn đến hội tụ nhanh hơn. Bạn có thể tìm thấy bài báo gốc của Adam trên arXiv .
• Truyền ngược: Truyền ngược và Giảm dần Gradient là hai quá trình riêng biệt nhưng có liên quan. Truyền ngược là thuật toán tính toán hiệu quả các gradient của hàm mất mát theo trọng số của mạng. Giảm dần Gradient là thuật toán sau đó sử dụng các gradient này để cập nhật trọng số.
• Hàm mất mát: Hàm mất mát xác định mục tiêu mà Gradient Descent hướng đến để tối thiểu hóa. Việc lựa chọn hàm mất mát (ví dụ: Cross-Entropy cho phân loại hình ảnh ) sẽ tạo ra bối cảnh lỗi cụ thể mà trình tối ưu hóa sẽ xử lý.

Ứng dụng trong thế giới thực

Gradient Descent là công cụ hỗ trợ đào tạo vô số mô hình AI.

1. Huấn luyện Mô hình Phát hiện Đối tượng: Khi một mô hình Ultralytics YOLO được huấn luyện để phát hiện đối tượng trên một tập dữ liệu quy mô lớn như COCO , phương pháp giảm dần gradient theo lô nhỏ được sử dụng trong mỗi lần lặp. Mô hình dự đoán các hộp giới hạn , tính toán độ mất mát dựa trên lỗi, và Gradient Descent điều chỉnh hàng triệu trọng số trên toàn bộ xương sống và đầu của mô hình để cải thiện độ chính xác. Toàn bộ quy trình làm việc này có thể được quản lý và mở rộng bằng các nền tảng như Ultralytics HUB .
2. Huấn luyện Mô hình Ngôn ngữ: Trong Xử lý Ngôn ngữ Tự nhiên (NLP) , các mô hình như BERT được huấn luyện cho các tác vụ như phân tích cảm xúc . Gradient Descent giảm thiểu hàm mất mát đo lường sự khác biệt giữa cảm xúc dự đoán của mô hình và nhãn thực, cho phép mô hình học các sắc thái của ngôn ngữ con người từ các tập văn bản khổng lồ. Nhóm NLP Stanford cung cấp nhiều nghiên cứu chuyên sâu trong lĩnh vực này.

Thách thức và cân nhắc

Tuy mạnh mẽ, Gradient Descent cũng có những thách thức riêng. Thuật toán có thể bị kẹt ở các cực tiểu cục bộ - những thung lũng không phải là điểm thấp nhất tuyệt đối trên bề mặt mất mát. Trong các mạng rất sâu, nó cũng có thể gặp phải vấn đề gradient biến mất hoặc gradient bùng nổ , khi gradient trở nên quá nhỏ hoặc quá lớn để cập nhật trọng số một cách hiệu quả. Việc lựa chọn cẩn thận tốc độ học, lựa chọn một bộ tối ưu hóa mạnh mẽ và các kỹ thuật như chuẩn hóa theo lô là rất quan trọng cho việc huấn luyện thành công, như được trình bày chi tiết trong hướng dẫn mẹo huấn luyện mô hình của chúng tôi.