Hyperparameter Tuning

Tối ưu siêu tham số là quá trình tìm kiếm các thiết lập huấn luyện giúp model machine learning đạt hiệu suất tốt nhất trên dữ liệu giữ lại. Siêu tham số được cố định trước khi bắt đầu huấn luyện, khác với trọng số model mà quá trình huấn luyện học từ dữ liệu. Mỗi cấu hình ứng viên phải được chấm điểm bằng cách huấn luyện model và đánh giá trên dữ liệu validation, vì vậy tối ưu là một trong những bước tiêu tốn nhiều tài nguyên tính toán nhất khi xây dựng model, và việc chọn chiến lược tìm kiếm phù hợp cũng quan trọng như việc chọn các giá trị cần tìm.

Các siêu tham số phổ biến#

Trong deep learning cho thị giác, các thiết lập thường cần tối ưu nhất thuộc một vài nhóm:

• Tối ưu hóa: Learning rate và lịch trình của nó, momentum, weight decay và lựa chọn optimizer, chẳng hạn SGD hoặc optimizer Adam. Learning rate thường có ảnh hưởng lớn nhất và được tìm kiếm theo thang log.
• Thời lượng huấn luyện và batching: Số lượng epoch, thời lượng warmup và batch size.
• Tăng cường dữ liệu: Xác suất và cường độ của mỗi phép biến đổi, chẳng hạn lật, thay đổi tỷ lệ, dịch chuyển màu và mosaic.
• Trọng số loss: Các hệ số cân bằng những thành phần của một hàm loss tổng hợp, chẳng hạn loss box và loss phân loại trong model phát hiện.

Phương pháp tìm kiếm#

Các chuyên gia tìm kiếm trong không gian cấu hình khả thi bằng một số chiến lược:

• Tìm kiếm lưới: Huấn luyện mọi tổ hợp của một danh sách giá trị cố định. Phương pháp này đơn giản và toàn diện, nhưng chi phí tăng theo cấp số nhân với mỗi siêu tham số được thêm vào.
• Tìm kiếm ngẫu nhiên: Lấy mẫu ngẫu nhiên các cấu hình từ những khoảng giá trị cho phép. Bergstra và Bengio cho thấy phương pháp này tìm được model tốt ngang hoặc tốt hơn tìm kiếm lưới chỉ với một phần nhỏ tài nguyên tính toán, vì với mỗi bài toán chỉ có một vài siêu tham số thực sự quan trọng, còn lấy mẫu ngẫu nhiên thử được nhiều giá trị khác nhau hơn cho mỗi siêu tham số.
• Tối ưu hóa Bayes: Khớp một model thay thế để ước lượng điểm số phụ thuộc vào siêu tham số như thế nào, rồi chọn lần thử tiếp theo tại nơi có khả năng cải thiện cao nhất. Các thư viện như Optuna mặc định sử dụng phương pháp này.
• Phương pháp dừng sớm: Hyperband và successive halving khởi chạy nhiều cấu hình với ngân sách nhỏ, sau đó chỉ cấp thêm epoch cho những cấu hình triển vọng nhất.
• Thuật toán tiến hóa: Xem mỗi cấu hình như một bộ gene và cải thiện quần thể cấu hình thông qua chọn lọc và đột biến.

Tìm kiếm tiến hóa#

Tìm kiếm tiến hóa phù hợp với các lượt huấn luyện có nhiều siêu tham số tương tác, vì phương pháp này không cần mô hình hóa không gian tìm kiếm mà chỉ cần điểm số fitness cho mỗi lần thử. Mỗi vòng lấy một trong những cấu hình tốt nhất đã tìm được, đột biến một số giá trị, huấn luyện với cấu hình mới và giữ cấu hình đó trong tập ứng viên nếu đạt điểm tốt.

Bộ tối ưu siêu tham số của Ultralytics chạy quy trình này cho quá trình huấn luyện YOLO: mỗi vòng lặp chọn một cấu hình cha trong chín kết quả có fitness cao nhất, đột biến khoảng một nửa trong tối đa 26 siêu tham số liên quan đến learning rate, hệ số loss và tăng cường dữ liệu, rồi tính fitness bằng mAP_50-95 cho tác vụ phát hiện. Các siêu tham số ở giai đoạn COCO của những checkpoint YOLO26 chính thức được tìm bằng phương pháp tiến hóa này.

from ultralytics import YOLO

# Tải model YOLO26n đã tiền huấn luyện
model = YOLO("yolo26n.pt")

# Không gian tìm kiếm: giới hạn (min, max) cho mỗi siêu tham số cần tối ưu
search_space = {"lr0": (1e-5, 1e-2), "degrees": (0.0, 45.0)}

# Mỗi trong số 30 vòng lặp huấn luyện 10 epoch với các giá trị mới được đột biến
model.tune(data="coco8.yaml", epochs=10, iterations=30, space=search_space, plots=False, save=False, val=False)

Lượt chạy tạo best_hyperparameters.yaml, biểu đồ fitness theo từng vòng lặp và trọng số của vòng lặp tốt nhất trong thư mục tune. model.tune() huấn luyện bằng AdamW trừ khi chỉ định optimizer, vì optimizer="auto" mặc định sẽ ghi đè lr0 đã được tối ưu.

Tối ưu siêu tham số và các thuật ngữ liên quan#

• Huấn luyện model: Quá trình huấn luyện học trọng số cho một bộ siêu tham số cố định thông qua lan truyền ngược. Tối ưu là vòng lặp bên ngoài, chạy huấn luyện nhiều lần và so sánh kết quả.
• Fine-tune: Dù tên gọi tương tự, fine-tune tiếp tục huấn luyện trọng số của model đã được pretrained trên dữ liệu mới. Fine-tune có các siêu tham số riêng cần tối ưu, chẳng hạn learning rate thấp hơn và số lớp bị đóng băng.
• Tìm kiếm kiến trúc mạng nơ-ron (NAS): Tìm kiếm cấu trúc mạng, chẳng hạn loại và độ rộng của các lớp, thay vì các thiết lập huấn luyện.
• Machine learning tự động (AutoML): Tự động hóa quy trình rộng hơn, bao gồm lựa chọn model và tiền xử lý dữ liệu, trong đó tối ưu siêu tham số là một thành phần.
• Overfit với tập validation: Hàng trăm lần thử tối ưu được chấm điểm trên cùng một tập validation có thể tình cờ chọn ra các thiết lập phù hợp với riêng tập đó, vì vậy kết quả cuối cùng cần được đánh giá trên một tập test riêng mà quá trình tối ưu chưa từng sử dụng.