Hyperparameter Tuning

Tinh chỉnh siêu tham số là quá trình lặp đi lặp lại nhằm tối ưu hóa các biến cấu hình bên ngoài chi phối quy trình huấn luyện một model học máy (ML). Khác với các tham số bên trong—chẳng hạn như trọng số và độ lệch, được học từ dữ liệu trong quá trình huấn luyện—siêu tham số được nhà khoa học dữ liệu hoặc kỹ sư thiết lập trước khi quá trình học bắt đầu. Các thiết lập này kiểm soát cấu trúc của model và hành vi của thuật toán, đóng vai trò như những "núm vặn và cần gạt" để tinh chỉnh hiệu năng. Việc tìm ra tổ hợp lý tưởng của các giá trị này rất quan trọng để tối đa hóa các metric như độ chính xác và hiệu quả, thường tạo nên khác biệt giữa một model tầm thường và một giải pháp hiện đại nhất.

Các khái niệm và kỹ thuật cốt lõi#

Tập hợp tất cả các tổ hợp siêu tham số có thể tạo thành một không gian tìm kiếm nhiều chiều. Các chuyên gia sử dụng nhiều chiến lược khác nhau để khám phá không gian này và tìm ra cấu hình tối ưu nhằm giảm thiểu hàm mất mát.

• Tìm kiếm theo lưới: Phương pháp vét cạn này đánh giá model với mọi tổ hợp tham số được chỉ định trong một lưới. Mặc dù toàn diện, phương pháp này tốn nhiều tài nguyên tính toán và gặp phải lời nguyền số chiều khi xử lý nhiều biến.
• Tìm kiếm ngẫu nhiên: Thay vì kiểm tra mọi tổ hợp, kỹ thuật này chọn các tổ hợp siêu tham số một cách ngẫu nhiên. Nghiên cứu cho thấy phương pháp này thường hiệu quả hơn tìm kiếm theo lưới, vì khám phá không gian tìm kiếm hiệu quả hơn đối với các tham số có ảnh hưởng lớn nhất.
• Tối ưu hóa Bayes: Phương pháp xác suất này xây dựng một model thay thế để dự đoán siêu tham số nào sẽ mang lại kết quả tốt nhất dựa trên các lần đánh giá trước đó, tập trung tìm kiếm vào những khu vực có triển vọng nhất.
• Thuật toán tiến hóa: Lấy cảm hứng từ tiến hóa sinh học, phương pháp này sử dụng các cơ chế như đột biến và lai ghép để tiến hóa một quần thể cấu hình qua nhiều thế hệ. Đây là phương pháp chính được thư viện ultralytics sử dụng để tối ưu hóa các kiến trúc hiện đại như YOLO26.

Tinh chỉnh siêu tham số so với Huấn luyện model#

Điều cần thiết là phân biệt giữa tinh chỉnh và huấn luyện, vì đây là hai giai đoạn riêng biệt trong vòng đời MLOps:

• Huấn luyện model: Quy trình trong đó thuật toán lặp qua dữ liệu huấn luyện để học các tham số bên trong thông qua lan truyền ngược. Mục tiêu là giảm thiểu sai số trên tập huấn luyện.
• Tinh chỉnh siêu tham số: Quy trình meta lựa chọn các thiết lập vận hành—chẳng hạn như learning rate, batch size và momentum—trước khi bắt đầu huấn luyện. Mục tiêu là tối đa hóa hiệu năng trên dữ liệu validation để ngăn overfitting.

Các ứng dụng trong thực tế#

Các model được tinh chỉnh hiệu quả đóng vai trò then chốt trong việc triển khai những giải pháp mạnh mẽ ở các môi trường phức tạp.

Nông nghiệp chính xác#

Trong AI trong nông nghiệp, drone tự động sử dụng thị giác máy tính để nhận diện cỏ dại và bệnh cây trồng. Các model này thường chạy trên các thiết bị edge có thời lượng pin hạn chế. Kỹ sư sử dụng tinh chỉnh siêu tham số để tối ưu hóa pipeline tăng cường dữ liệu và độ phân giải đầu vào, đảm bảo model cân bằng giữa tốc độ suy luận cao và độ chính xác cần thiết để chỉ phun thuốc lên cỏ dại, từ đó giảm lượng hóa chất sử dụng.

Chẩn đoán y khoa#

Đối với AI trong chăm sóc sức khỏe, cụ thể là phân tích ảnh y khoa, một kết quả âm tính giả có thể gây ra hậu quả nghiêm trọng. Khi huấn luyện model để phát hiện bất thường trong ảnh chụp MRI, các chuyên gia tích cực tinh chỉnh những siêu tham số liên quan đến trọng số lớp và focal loss. Việc tinh chỉnh này tối đa hóa recall, đảm bảo ngay cả những dấu hiệu bệnh lý tinh vi cũng được đánh dấu để con người xem xét, hỗ trợ đáng kể cho chẩn đoán sớm.

Tinh chỉnh tự động với Ultralytics#

Thư viện ultralytics đơn giản hóa việc tối ưu hóa bằng cách tích hợp sẵn một tuner sử dụng các thuật toán di truyền. Điều này cho phép người dùng tự động tìm kiếm các siêu tham số tốt nhất cho dataset tùy chỉnh mà không cần thử và sai thủ công. Đối với các hoạt động quy mô lớn, các nhóm có thể tận dụng Ultralytics Platform để quản lý dataset và trực quan hóa các thử nghiệm tinh chỉnh này trên cloud.

Ví dụ sau đây minh họa cách bắt đầu tinh chỉnh siêu tham số cho một model YOLO26. Tuner sẽ đột biến các siêu tham số qua nhiều lần lặp để tối đa hóa Độ chính xác trung bình (mAP).

from ultralytics import YOLO

# Initialize a YOLO26 model (using the 'nano' weight for speed)
model = YOLO("yolo26n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# The tuner runs for 30 epochs per iteration, evolving parameters like lr0 and momentum
model.tune(data="coco8.yaml", epochs=30, iterations=100, optimizer="AdamW", plots=False)

Bằng cách tự động hóa quy trình này, các nhà phát triển có thể tiến gần hơn đến khái niệm Học máy tự động (AutoML), trong đó hệ thống tự tối ưu hóa để đạt hiệu năng tốt nhất có thể cho một tác vụ cụ thể.