Điều chỉnh siêu tham số

Điều chỉnh siêu tham số là quá trình tìm kiếm các cài đặt cấu hình tối ưu cho một mô hình Học máy (ML). Các cài đặt này, được gọi là siêu tham số, nằm bên ngoài mô hình và không thể học trực tiếp từ dữ liệu trong quá trình huấn luyện. Thay vào đó, chúng được đặt trước khi quá trình huấn luyện bắt đầu và kiểm soát cách thức hoạt động của chính quá trình huấn luyện. Điều chỉnh hiệu quả các siêu tham số này là một bước quan trọng để tối đa hóa hiệu suất của mô hình và đảm bảo nó khái quát hóa tốt cho dữ liệu mới, chưa từng thấy. Nếu không có điều chỉnh thích hợp, ngay cả kiến trúc mô hình tiên tiến nhất cũng có thể hoạt động kém hiệu quả.

Điều Chỉnh Siêu Tham Số so với Các Khái Niệm Liên Quan

Điều quan trọng là phải phân biệt điều chỉnh siêu tham số với các khái niệm chính khác trong ML:

• Thuật toán tối ưu hóa: Một thuật toán tối ưu hóa, như Adam hoặc Stochastic Gradient Descent (SGD), là công cụ điều chỉnh các tham số bên trong của mô hình (trọng số và độ lệch) trong quá trình huấn luyện để giảm thiểu hàm mất mát. Ngược lại, điều chỉnh siêu tham số liên quan đến việc chọn các cài đặt bên ngoài tốt nhất, thậm chí có thể bao gồm cả việc lựa chọn thuật toán tối ưu hóa.
• Tìm kiếm kiến trúc nơ-ron (NAS): Trong khi điều chỉnh siêu tham số tối ưu hóa các cài đặt cho một cấu trúc mô hình đã cho, NAS tự động hóa việc thiết kế chính kiến trúc mô hình, chẳng hạn như xác định số lượng và loại lớp. Cả hai đều là các hình thức của Học máy tự động (AutoML) và thường được sử dụng cùng nhau để xây dựng mô hình tốt nhất có thể.
• Tham số mô hình (Model Parameters): Đây là các biến bên trong của một mô hình, chẳng hạn như các trọng số và độ lệch trong một mạng nơ-ron, được học từ dữ liệu huấn luyện thông qua lan truyền ngược (backpropagation). Siêu tham số (Hyperparameters) là các cài đặt cấp cao hơn chi phối cách các tham số này được học.

Các Phương Pháp Điều Chỉnh và Siêu Tham Số Phổ Biến

Các chuyên gia sử dụng một số chiến lược để tìm ra các giá trị siêu tham số tốt nhất. Các phương pháp phổ biến bao gồm Tìm kiếm theo Lưới (Grid Search), thử mọi kết hợp giá trị được chỉ định một cách triệt để, Tìm kiếm Ngẫu nhiên (Random Search), lấy mẫu các kết hợp ngẫu nhiên và các phương pháp nâng cao hơn như Tối ưu hóa Bayesian (Bayesian Optimization) và Thuật toán Tiến hóa (Evolutionary Algorithms).

Một số siêu tham số thường được điều chỉnh nhất bao gồm:

• Tốc độ học (Learning Rate): Kiểm soát mức độ điều chỉnh trọng số của mô hình so với gradient mất mát.
• Batch Size: Số lượng mẫu huấn luyện được sử dụng trong một lần lặp. (iteration).
• Số lượng Epoch: Số lần toàn bộ tập dữ liệu huấn luyện được truyền qua mô hình.
• Data Augmentation (Tăng cường dữ liệu) Intensity (Cường độ): Mức độ biến đổi được áp dụng cho dữ liệu huấn luyện, chẳng hạn như xoay, thu phóng hoặc thay đổi màu sắc. Thư viện Albumentations là một công cụ phổ biến cho việc này.

Các Ứng dụng Thực tế

Điều chỉnh siêu tham số được áp dụng trên nhiều lĩnh vực khác nhau để đạt được hiệu suất cao nhất:

• Phân tích hình ảnh y tế: Khi huấn luyện một mô hình để phát hiện khối u, việc điều chỉnh các siêu tham số như lịch trình tốc độ học, cài đặt tăng cường dữ liệu và trọng số hàm mất mát là rất quan trọng để đạt được độ chính xác phát hiện cao trên các tập dữ liệu y tế cụ thể. Điều này rất quan trọng đối với các giải pháp AI đáng tin cậy trong lĩnh vực chăm sóc sức khỏe và là một chủ đề nghiên cứu đang diễn ra.
• Xe tự hành: Các mô hình phát hiện đối tượng trong xe tự lái đòi hỏi sự điều chỉnh cẩn thận. Tối ưu hóa các siêu tham số như độ phân giải hình ảnh đầu vào, ngưỡng Triệt tiêu không tối đa (NMS) và cấu hình hộp neo đảm bảo hệ thống có thể phát hiện người đi bộ và chướng ngại vật một cách đáng tin cậy với độ trễ thấp để điều hướng an toàn. Việc điều chỉnh này rất quan trọng đối với các công ty như Waymo và đóng góp vào các giải pháp AI trong ngành ô tô mạnh mẽ.

Điều Chỉnh Siêu Tham Số với Ultralytics

Ultralytics cung cấp các công cụ để đơn giản hóa việc điều chỉnh siêu tham số cho Ultralytics YOLO các mô hình. Các Ultralytics Tuner class, được ghi lại trong Hướng dẫn Điều Chỉnh Siêu Tham Số, tự động hóa quy trình bằng cách sử dụng các thuật toán tiến hóa. Tích hợp với các nền tảng như Ray Tune cung cấp thêm các khả năng cho các chiến lược tìm kiếm phân tán và nâng cao, giúp người dùng tối ưu hóa mô hình của họ một cách hiệu quả cho các tập dữ liệu cụ thể (như COCO) và các tác vụ. Người dùng có thể tận dụng các nền tảng như Ultralytics HUB để theo dõi và quản lý thử nghiệm hợp lý, đây thường là một phần quan trọng của việc tuân theo các phương pháp hay nhất cho huấn luyện mô hình (model training). Các thư viện mã nguồn mở phổ biến như Optuna và Hyperopt cũng được sử dụng rộng rãi trong cộng đồng ML cho mục đích này.