Hyperparameter Tuning

Hiệu chỉnh siêu tham số (hyperparameter tuning) là quá trình lặp để tối ưu hóa các biến cấu hình bên ngoài chi phối quá trình huấn luyện của một machine learning (ML) model. Không giống như các tham số nội tại — chẳng hạn như weights và biases được học từ dữ liệu trong quá trình huấn luyện — siêu tham số được thiết lập bởi nhà khoa học dữ liệu hoặc kỹ sư trước khi quá trình học bắt đầu. Các cài đặt này kiểm soát cấu trúc của model và hành vi của thuật toán, đóng vai trò như các "núm và công tắc" để tinh chỉnh hiệu suất. Việc tìm ra sự kết hợp lý tưởng của các giá trị này là cực kỳ quan trọng để tối đa hóa các chỉ số như accuracy và hiệu suất, thường tạo ra sự khác biệt giữa một model tầm thường và một giải pháp tiên tiến nhất (state-of-the-art).

Các Khái niệm và Kỹ thuật Cốt lõi#

Tập hợp tất cả các tổ hợp siêu tham số có thể tạo ra một không gian tìm kiếm số chiều cao. Các kỹ sư sử dụng các chiến lược khác nhau để điều hướng không gian này nhằm tìm ra cấu hình tối ưu giúp giảm thiểu loss function.

• Grid Search: Phương pháp vét cạn này đánh giá model cho mọi tổ hợp tham số được chỉ định trong một lưới. Dù kỹ lưỡng, phương pháp này tốn kém về mặt tính toán và gặp phải curse of dimensionality khi xử lý nhiều biến.
• Random Search: Thay vì kiểm tra mọi tổ hợp, kỹ thuật này chọn các tổ hợp siêu tham số ngẫu nhiên. Nghiên cứu cho thấy phương pháp này thường hiệu quả hơn grid search, vì nó khám phá không gian tìm kiếm hiệu quả hơn đối với các tham số có tác động mạnh nhất.
• Bayesian Optimization: Tiếp cận xác suất này xây dựng một surrogate model để dự đoán siêu tham số nào sẽ mang lại kết quả tốt nhất dựa trên các đánh giá trước đó, tập trung tìm kiếm vào các khu vực có nhiều tiềm năng nhất.
• Evolutionary Algorithms: Lấy cảm hứng từ tiến hóa sinh học, phương pháp này sử dụng các cơ chế như đột biến (mutation) và lai giống (crossover) để tiến hóa một quần thể cấu hình qua các thế hệ. Đây là phương pháp chính được sử dụng bởi thư viện ultralytics để tối ưu hóa các kiến trúc hiện đại như YOLO26.

Điều chỉnh Hyperparameter so với Huấn luyện Model#

Việc phân biệt giữa hiệu chỉnh (tuning) và huấn luyện (training) là rất cần thiết, vì chúng đại diện cho các giai đoạn riêng biệt trong vòng đời MLOps:

• Model Training: Quá trình thuật toán lặp qua training data để học các tham số nội tại thông qua backpropagation. Mục tiêu là giảm thiểu sai số trên tập huấn luyện.
• Hyperparameter Tuning: Quá trình meta là chọn các cài đặt vận hành — chẳng hạn như learning rate, batch size, và momentum — trước khi quá trình huấn luyện bắt đầu. Mục tiêu là tối đa hóa hiệu suất trên validation data để ngăn chặn overfitting.

Các ứng dụng trong thực tế#

Các model được điều chỉnh hiệu quả là rất quan trọng để triển khai các giải pháp mạnh mẽ trong môi trường phức tạp.

Nông nghiệp chính xác#

Trong AI in Agriculture, các drone tự động sử dụng computer vision để nhận diện cỏ dại và bệnh cây trồng. Các model này thường chạy trên các edge device với thời lượng pin hạn chế. Các kỹ sư tận dụng việc hiệu chỉnh siêu tham số để tối ưu hóa pipeline data augmentation và độ phân giải đầu vào, đảm bảo model cân bằng giữa inference speeds cao và độ chính xác cần thiết để chỉ phun thuốc vào cỏ dại, qua đó giảm lượng hóa chất sử dụng.

Chẩn đoán y tế#

Đối với AI in Healthcare, cụ thể là trong medical image analysis, kết quả âm tính giả (false negative) có thể mang lại hậu quả nghiêm trọng. Khi huấn luyện model để phát hiện các điểm bất thường trong ảnh chụp MRI, các kỹ sư tích cực hiệu chỉnh các siêu tham số liên quan đến trọng số lớp (class weighting) và focal loss. Việc hiệu chỉnh này tối đa hóa recall, đảm bảo rằng ngay cả những dấu hiệu bệnh lý tinh vi nhất cũng được đánh dấu để con người xem xét, hỗ trợ đáng kể cho việc chẩn đoán sớm.

Điều chỉnh tự động với Ultralytics#

Thư viện ultralytics đơn giản hóa việc tối ưu hóa bằng cách tích hợp sẵn một tuner sử dụng các thuật toán di truyền. Điều này cho phép người dùng tự động tìm kiếm các siêu tham số tốt nhất cho các tập dữ liệu tùy chỉnh của họ mà không cần thử-và-sai thủ công. Đối với các hoạt động quy mô lớn, các nhóm có thể tận dụng Ultralytics Platform để quản lý các tập dữ liệu và trực quan hóa các thử nghiệm hiệu chỉnh này trên đám mây.

Ví dụ sau đây minh họa cách khởi động quá trình hiệu chỉnh siêu tham số cho model YOLO26. Tuner sẽ đột biến các siêu tham số qua nhiều vòng lặp để tối đa hóa Mean Average Precision (mAP).

from ultralytics import YOLO

# Initialize a YOLO26 model (using the 'nano' weight for speed)
model = YOLO("yolo26n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# The tuner runs for 30 epochs per iteration, evolving parameters like lr0 and momentum
model.tune(data="coco8.yaml", epochs=30, iterations=100, optimizer="AdamW", plots=False)

Bằng cách tự động hóa quá trình này, các nhà phát triển có thể tiến gần hơn đến khái niệm Automated Machine Learning (AutoML), nơi hệ thống tự tối ưu hóa để đạt được hiệu suất tốt nhất có thể cho một tác vụ cụ thể.