Hyperparameter Tuning

Điều chỉnh hyperparameter là quá trình lặp đi lặp lại nhằm tối ưu hóa các biến cấu hình bên ngoài, vốn kiểm soát quy trình huấn luyện của một model machine learning (ML). Không giống như các tham số nội bộ—chẳng hạn như weights và biases, vốn được học từ dữ liệu trong quá trình huấn luyện—hyperparameter được thiết lập bởi các kỹ sư hoặc nhà khoa học dữ liệu trước khi quá trình học bắt đầu. Các cài đặt này kiểm soát cấu trúc của model và hành vi của thuật toán, đóng vai trò như những "núm vặn và nút xoay" để tinh chỉnh hiệu suất. Việc tìm ra sự kết hợp lý tưởng giữa các giá trị này là rất quan trọng để tối đa hóa các chỉ số như accuracy và hiệu quả, thường tạo ra sự khác biệt giữa một model trung bình và một giải pháp hiện đại.

Link to this sectionCác Khái niệm và Kỹ thuật Cốt lõi#

Tập hợp tất cả các tổ hợp hyperparameter có thể tạo ra một không gian tìm kiếm đa chiều. Các chuyên gia sử dụng nhiều chiến lược khác nhau để điều hướng không gian này nhằm tìm ra cấu hình tối ưu giúp giảm thiểu loss function.

• Grid Search: Phương pháp vét cạn này đánh giá model cho mọi tổ hợp tham số được chỉ định trong một lưới. Mặc dù rất kỹ lưỡng, phương pháp này tốn kém về mặt tính toán và gặp phải curse of dimensionality khi xử lý nhiều biến.
• Random Search: Thay vì kiểm tra mọi tổ hợp, kỹ thuật này chọn các tổ hợp hyperparameter ngẫu nhiên. Nghiên cứu cho thấy phương pháp này thường hiệu quả hơn grid search, vì nó khám phá không gian tìm kiếm hiệu quả hơn đối với các tham số có tác động lớn nhất.
• Bayesian Optimization: Cách tiếp cận xác suất này xây dựng một model thay thế để dự đoán hyperparameter nào sẽ mang lại kết quả tốt nhất dựa trên các đánh giá trước đó, tập trung việc tìm kiếm vào các khu vực hứa hẹn nhất.
• Evolutionary Algorithms: Lấy cảm hứng từ quá trình tiến hóa sinh học, phương pháp này sử dụng các cơ chế như đột biến và lai ghép để phát triển một quần thể các cấu hình qua nhiều thế hệ. Đây là phương pháp chính được thư viện ultralytics sử dụng để tối ưu hóa các kiến trúc hiện đại như YOLO26.

Link to this sectionĐiều chỉnh Hyperparameter so với Huấn luyện Model#

Việc phân biệt giữa điều chỉnh (tuning) và huấn luyện (training) là rất cần thiết, vì chúng đại diện cho các giai đoạn riêng biệt trong vòng đời MLOps:

• Model Training: Quá trình thuật toán lặp qua training data để tìm hiểu các tham số nội bộ thông qua backpropagation. Mục tiêu là giảm thiểu sai số trên tập huấn luyện.
• Điều chỉnh Hyperparameter: Quá trình meta nhằm lựa chọn các thiết lập vận hành—chẳng hạn như learning rate, batch size, và momentum—trước khi bắt đầu huấn luyện. Mục tiêu là tối đa hóa hiệu suất trên validation data để ngăn ngừa overfitting.

Link to this sectionCác ứng dụng trong thực tế#

Các model được điều chỉnh hiệu quả là rất quan trọng để triển khai các giải pháp mạnh mẽ trong môi trường phức tạp.

Link to this sectionNông nghiệp chính xác#

Trong AI in Agriculture, các drone tự hành sử dụng computer vision để nhận diện cỏ dại và bệnh trên cây trồng. Các model này thường chạy trên các thiết bị edge với thời lượng pin hạn chế. Các kỹ sư sử dụng việc điều chỉnh hyperparameter để tối ưu hóa đường ống data augmentation và độ phân giải đầu vào, đảm bảo model cân bằng giữa inference speeds cao với độ chính xác cần thiết để chỉ phun thuốc vào cỏ dại, từ đó giảm việc sử dụng hóa chất.

Link to this sectionChẩn đoán y tế#

Đối với AI in Healthcare, cụ thể là trong medical image analysis, một kết quả âm tính giả có thể dẫn đến những hậu quả nghiêm trọng. Khi huấn luyện các model để phát hiện điểm bất thường trong ảnh chụp MRI, các chuyên gia sẽ điều chỉnh mạnh mẽ các hyperparameter liên quan đến trọng số lớp (class weighting) và focal loss. Việc điều chỉnh này giúp tối đa hóa recall, đảm bảo rằng ngay cả những dấu hiệu bệnh lý tinh vi nhất cũng được gắn cờ để bác sĩ xem xét, hỗ trợ đáng kể cho việc chẩn đoán sớm.

Link to this sectionĐiều chỉnh tự động với Ultralytics#

Thư viện ultralytics đơn giản hóa việc tối ưu hóa bằng cách bao gồm một tuner tích hợp sử dụng các thuật toán di truyền. Điều này cho phép người dùng tự động tìm kiếm các hyperparameter tốt nhất cho các bộ dữ liệu tùy chỉnh của họ mà không cần thử sai thủ công. Đối với các hoạt động quy mô lớn, các nhóm có thể tận dụng Ultralytics Platform để quản lý bộ dữ liệu và trực quan hóa các thí nghiệm điều chỉnh này trên đám mây.

Ví dụ sau đây minh họa cách bắt đầu điều chỉnh hyperparameter cho model YOLO26. Tuner sẽ biến đổi các hyperparameter qua nhiều vòng lặp để tối đa hóa Mean Average Precision (mAP).

from ultralytics import YOLO

# Initialize a YOLO26 model (using the 'nano' weight for speed)
model = YOLO("yolo26n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# The tuner runs for 30 epochs per iteration, evolving parameters like lr0 and momentum
model.tune(data="coco8.yaml", epochs=30, iterations=100, optimizer="AdamW", plots=False)

Bằng cách tự động hóa quy trình này, các nhà phát triển có thể tiến gần hơn đến khái niệm Automated Machine Learning (AutoML), nơi hệ thống tự tối ưu hóa để đạt được hiệu suất tốt nhất có thể cho một tác vụ cụ thể.