Thuật toán tối ưu hóa

Một thuật toán tối ưu hóa là động cơ thúc đẩy quá trình học trong học máy (ML) và học sâu. Vai trò chính của nó là điều chỉnh lặp đi lặp lại các tham số bên trong của một mô hình, chẳng hạn như trọng số và độ lệch, để giảm thiểu một hàm mất mát. Hãy coi nó như một phương pháp có hệ thống để tìm ra tập hợp các tham số tốt nhất có thể giúp cho các dự đoán của mô hình chính xác nhất. Quá trình này là nền tảng để huấn luyện một mô hình, vì nó biến một mô hình chung chung thành một công cụ chuyên dụng có khả năng giải quyết một nhiệm vụ cụ thể, như phát hiện đối tượng hoặc phân đoạn ảnh.

Cách thức hoạt động của các thuật toán tối ưu hóa (Optimization Algorithms)

Về cốt lõi, một thuật toán tối ưu hóa điều hướng một "loss landscape"—một không gian nhiều chiều, nơi mỗi điểm đại diện cho một tập hợp các tham số mô hình và chiều cao của điểm tương ứng với lỗi của mô hình. Mục tiêu là tìm điểm thấp nhất, hoặc "tối thiểu", trong loss landscape này. Thuật toán bắt đầu với một tập hợp các tham số ngẫu nhiên ban đầu và, trong mỗi bước (hoặc epoch), tính toán gradient của hàm mất mát. Gradient này chỉ theo hướng tăng dốc nhất, vì vậy thuật toán thực hiện một bước theo hướng ngược lại để đi xuống loss landscape.

Kích thước của bước này được kiểm soát bởi một siêu tham số quan trọng gọi là tốc độ học tập (learning rate). Một tốc độ học tập được lựa chọn tốt đảm bảo mô hình học hỏi hiệu quả mà không vượt quá mức tối thiểu hoặc bị mắc kẹt. Quá trình lặp đi lặp lại này để tính toán gradient và cập nhật các tham số được gọi là lan truyền ngược (backpropagation) và tiếp tục cho đến khi hiệu suất của mô hình trên một bộ dữ liệu xác thực (validation dataset) ngừng cải thiện, cho thấy sự hội tụ.

Các Loại Thuật Toán Tối Ưu Hóa Phổ Biến

Một số thuật toán tối ưu hóa đã được phát triển, mỗi thuật toán có các đặc điểm khác nhau. Một số thuật toán được sử dụng rộng rãi nhất trong học sâu bao gồm:

• Stochastic Gradient Descent (SGD): Một trình tối ưu hóa cổ điển và được sử dụng rộng rãi, cập nhật các tham số bằng cách sử dụng gradient từ một tập hợp con nhỏ (batch) của dữ liệu huấn luyện. Mặc dù hiệu quả, nhưng hiệu suất của nó có thể nhạy cảm với việc lựa chọn tốc độ học (learning rate). Các biến thể như SGD với động lượng (momentum) giúp tăng tốc độ hội tụ.
• Bộ tối ưu hóa Adam (Adam Optimizer): Bộ tối ưu hóa Ước tính Moment Thích ứng (Adam) cực kỳ phổ biến vì nó kết hợp những ưu điểm của hai phần mở rộng khác của SGD: AdaGrad và RMSProp. Nó tính toán tốc độ học thích ứng cho từng tham số, làm cho nó mạnh mẽ và thường là một lựa chọn mặc định tốt cho nhiều vấn đề. Một phần mở rộng, AdamW, thường được sử dụng trong các mô hình transformer hiện đại. Các framework như PyTorch và TensorFlow cung cấp các triển khai của các bộ tối ưu hóa phổ biến này.

Việc lựa chọn trình tối ưu hóa có thể ảnh hưởng đáng kể đến cả tốc độ huấn luyện và hiệu suất cuối cùng của mô hình. Trong hệ sinh thái Ultralytics, người dùng có thể dễ dàng định cấu hình trình tối ưu hóa trong quá trình thiết lập huấn luyện.

Các Ứng dụng Thực tế

Các thuật toán tối ưu hóa đang hoạt động đằng sau hậu trường trong vô số ứng dụng AI.

1. Phân tích ảnh y tế: Khi huấn luyện một mạng nơ-ron tích chập (CNN) để phát hiện khối u trong ảnh chụp não, một thuật toán tối ưu hóa như Adam sẽ điều chỉnh một cách có hệ thống các bộ lọc của mạng. Nó hoạt động để giảm thiểu sự khác biệt giữa vị trí khối u được mô hình dự đoán và các chú thích ground-truth do các bác sĩ радиолог cung cấp, cải thiện độ chính xác chẩn đoán của mô hình. Đây là một thành phần cốt lõi của việc xây dựng các giải pháp AI hiệu quả trong lĩnh vực chăm sóc sức khỏe.
2. Xe tự hành: Một mô hình phát hiện đối tượng trong xe tự lái, chẳng hạn như mô hình Ultralytics YOLO, phải xác định một cách đáng tin cậy người đi bộ, các xe khác và biển báo giao thông. Trong quá trình huấn luyện, một trình tối ưu hóa tinh chỉnh các tham số của mô hình trên hàng triệu hình ảnh để giảm lỗi phát hiện (ví dụ: bỏ sót đối tượng hoặc phân loại không chính xác), điều này rất quan trọng để đảm bảo an toàn trong các hệ thống AI trong ô tô.

Các thuật toán tối ưu hóa so với các khái niệm liên quan

Điều quan trọng là phải phân biệt các thuật toán tối ưu hóa với các khái niệm ML liên quan:

• Thuật toán tối ưu hóa so với Điều chỉnh siêu tham số (Hyperparameter Tuning): Các thuật toán tối ưu hóa điều chỉnh các tham số bên trong (trọng số và độ lệch) của mô hình trong huấn luyện. Ngược lại, điều chỉnh siêu tham số tập trung vào việc tìm ra cài đặt cấu hình bên ngoài (chẳng hạn như tốc độ học, kích thước lô hoặc thậm chí là lựa chọn trình tối ưu hóa) trước quá trình huấn luyện bắt đầu. Các Ultralytics Tuner class tự động hóa quy trình này bằng các phương pháp như thuật toán tiến hóa.
• Thuật toán tối ưu hóa so với Hàm mất mát: Hàm mất mát định lượng sai số của mô hình. Thuật toán tối ưu hóa là cơ chế được sử dụng để giảm thiểu sai số này. Hàm mất mát cung cấp mục tiêu và bộ tối ưu hóa cung cấp chiến lược để đạt được mục tiêu đó.
• Thuật toán tối ưu hóa so với Kiến trúc mô hình: Kiến trúc mô hình xác định cấu trúc của mạng nơ-ron (ví dụ: các lớp và kết nối của nó). Thuật toán tối ưu hóa hoạt động trong cấu trúc được xác định trước này để huấn luyện các tham số có thể học được của nó. Tìm kiếm kiến trúc nơ-ron (NAS) là một lĩnh vực liên quan, tự động hóa việc thiết kế chính kiến trúc.