Điều chỉnh siêu tham số

Điều chỉnh siêu tham số là quá trình tìm kiếm các thiết lập cấu hình tối ưu cho mô hình Học máy (ML) . Các thiết lập này, được gọi là siêu tham số, nằm ngoài mô hình và không thể được học trực tiếp từ dữ liệu trong quá trình huấn luyện . Thay vào đó, chúng được thiết lập trước khi bắt đầu huấn luyện và kiểm soát cách thức hoạt động của chính quá trình huấn luyện. Việc điều chỉnh hiệu quả các siêu tham số này là một bước quan trọng để tối đa hóa hiệu suất mô hình và đảm bảo nó có thể khái quát hóa tốt với dữ liệu mới, chưa được biết đến. Nếu không được điều chỉnh đúng cách, ngay cả kiến trúc mô hình tiên tiến nhất cũng có thể hoạt động kém hiệu quả.

Điều chỉnh siêu tham số so với các khái niệm liên quan

Điều quan trọng là phải phân biệt điều chỉnh siêu tham số với các khái niệm chính khác trong ML:

• Thuật toán tối ưu hóa : Một thuật toán tối ưu hóa, chẳng hạn như Adam hoặc Stochastic Gradient Descent (SGD) , là công cụ điều chỉnh các tham số nội bộ của mô hình (trọng số và độ lệch) trong quá trình huấn luyện để giảm thiểu hàm mất mát . Ngược lại, điều chỉnh siêu tham số liên quan đến việc lựa chọn các thiết lập bên ngoài tốt nhất, thậm chí có thể bao gồm cả việc lựa chọn chính thuật toán tối ưu hóa.
• Tìm kiếm Kiến trúc Nơ-ron (NAS) : Trong khi điều chỉnh siêu tham số tối ưu hóa các thiết lập cho một cấu trúc mô hình nhất định , NAS tự động hóa việc thiết kế chính kiến trúc mô hình, chẳng hạn như xác định số lượng và loại lớp. Cả hai đều là các hình thức của Học máy Tự động (AutoML) và thường được sử dụng cùng nhau để xây dựng mô hình tốt nhất có thể.
• Tham số Mô hình: Đây là các biến nội bộ của một mô hình, chẳng hạn như trọng số và độ lệch trong mạng nơ-ron , được học từ dữ liệu huấn luyện thông qua truyền ngược . Siêu tham số là các thiết lập cấp cao hơn chi phối cách các tham số này được học.

Các phương pháp điều chỉnh phổ biến và siêu tham số

Các chuyên gia sử dụng một số chiến lược để tìm ra các giá trị siêu tham số tốt nhất. Các phương pháp phổ biến bao gồm Tìm kiếm lưới (Grid Search), thử nghiệm triệt để mọi tổ hợp giá trị được chỉ định, Tìm kiếm ngẫu nhiên (Random Search), lấy mẫu các tổ hợp một cách ngẫu nhiên, và các phương pháp tiên tiến hơn như Tối ưu hóa Bayes và Thuật toán tiến hóa .

Một số siêu tham số được điều chỉnh thường xuyên nhất bao gồm:

• Tỷ lệ học : Kiểm soát mức độ trọng số của mô hình được điều chỉnh theo độ dốc mất mát.
• Kích thước lô : Số lượng ví dụ đào tạo được sử dụng trong một lần lặp.
• Số kỷ nguyên : Số lần toàn bộ tập dữ liệu đào tạo được truyền qua mô hình.
• Cường độ tăng cường dữ liệu : Mức độ biến đổi được áp dụng cho dữ liệu huấn luyện, chẳng hạn như xoay, thay đổi tỷ lệ hoặc dịch chuyển màu. Thư viện Albumentations là một công cụ phổ biến cho mục đích này.

Ứng dụng trong thế giới thực

Điều chỉnh siêu tham số được áp dụng trên nhiều miền khác nhau để đạt hiệu suất cao nhất:

• Phân tích hình ảnh y tế : Khi huấn luyện mô hình phát hiện khối u , việc điều chỉnh các siêu tham số như lịch trình tốc độ học, cài đặt tăng cường dữ liệu và trọng số hàm mất mát là rất quan trọng để đạt được độ chính xác phát hiện cao trên các tập dữ liệu y tế cụ thể. Điều này rất quan trọng đối với các giải pháp AI đáng tin cậy trong chăm sóc sức khỏe và là chủ đề của các nghiên cứu đang được tiến hành.
• Xe tự hành : Các mô hình phát hiện vật thể trong xe tự lái cần được tinh chỉnh cẩn thận. Việc tối ưu hóa các siêu tham số như độ phân giải hình ảnh đầu vào, ngưỡng NMS (Non-Maximum Suppression) và cấu hình hộp neo đảm bảo hệ thống có thể phát hiện người đi bộ và chướng ngại vật một cách đáng tin cậy với độ trễ thấp để điều hướng an toàn. Việc tinh chỉnh này rất quan trọng đối với các công ty như Waymo và góp phần tạo nên các giải pháp AI mạnh mẽ trong ngành ô tô .

Điều chỉnh siêu tham số với Ultralytics

Ultralytics cung cấp các công cụ để đơn giản hóa việc điều chỉnh siêu tham số cho Siêu phân tích YOLO các mô hình. Các Siêu phân tích Tuner lớp học, được ghi chép trong Hướng dẫn điều chỉnh siêu tham số, tự động hóa quy trình bằng các thuật toán tiến hóa. Tích hợp với các nền tảng như Ray Điều Chỉnh cung cấp thêm khả năng cho các chiến lược tìm kiếm phân tán và nâng cao, giúp người dùng tối ưu hóa các mô hình của họ một cách hiệu quả cho các tập dữ liệu cụ thể (như COCO) và các nhiệm vụ. Người dùng có thể tận dụng các nền tảng như Trung tâm phân tích siêu dữ liệu để theo dõi và quản lý thí nghiệm hợp lý, thường là một phần quan trọng trong việc thực hiện các phương pháp hay nhất cho đào tạo người mẫu. Các thư viện mã nguồn mở phổ biến như Optuna Và Hyperopt cũng được sử dụng rộng rãi trong cộng đồng ML cho mục đích này.