Experiment Tracking

Theo dõi thử nghiệm là quá trình có hệ thống nhằm ghi nhật ký, sắp xếp và phân tích các biến số, chỉ số và thành phần được tạo ra trong quá trình thực thi các tác vụ học máy (ML). Tương tự như sổ tay phòng thí nghiệm của một nhà khoa học, phương pháp này tạo ra bản ghi kỹ thuật số đáng tin cậy về mọi giả thuyết được kiểm thử, đảm bảo rằng giai đoạn nghiên cứu và phát triển diễn ra nghiêm ngặt, minh bạch và có thể tái lập. Bằng cách thu thập các dữ liệu đầu vào như hyperparameters và phiên bản tập dữ liệu cùng với các kết quả đầu ra như biểu đồ hiệu suất và trọng số đã được huấn luyện, theo dõi thử nghiệm giúp chuyển đổi bản chất lặp đi lặp lại và hỗn loạn của quá trình model training thành một quy trình làm việc có cấu trúc và dựa trên dữ liệu. Việc sắp xếp này rất quan trọng đối với các đội ngũ đặt mục tiêu xây dựng các hệ thống artificial intelligence (AI) mạnh mẽ một cách hiệu quả, cho phép họ xác định chính xác những cấu hình nào mang lại kết quả tốt nhất.

Link to this sectionTại sao theo dõi thử nghiệm lại quan trọng#

Trong các dự án computer vision (CV) hiện đại, các nhà phát triển thường chạy hàng trăm vòng lặp huấn luyện để tìm ra kiến trúc và cài đặt mô hình tối ưu. Nếu không có hệ thống theo dõi chuyên dụng, các chi tiết quan trọng như learning rate cụ thể hoặc phiên bản chính xác của training data được sử dụng cho một lần chạy thành công có thể dễ dàng bị mất. Theo dõi thử nghiệm giải quyết vấn đề này bằng cách cung cấp một kho lưu trữ tập trung cho tất cả dữ liệu chạy, thúc đẩy sự cộng tác tốt hơn giữa các thành viên trong nhóm và đơn giản hóa quá trình gỡ lỗi các mô hình hoạt động kém hiệu quả.

Việc theo dõi hiệu quả thường liên quan đến việc ghi lại ba thành phần chính:

• Tham số: Các biến cấu hình như kích thước lô (batch size), loại trình tối ưu hóa (ví dụ: Adam optimizer) và các phiên bản kiến trúc mô hình như YOLO26.
• Chỉ số: Các thước đo định lượng về sự thành công được đánh giá trong quá trình huấn luyện, chẳng hạn như loss functions, accuracy và mean average precision (mAP).
• Thành phần: Các tệp đầu ra được tạo ra bởi quá trình chạy, bao gồm model weights đã huấn luyện, confusion matrices và nhật ký hệ thống.

Link to this sectionPhân biệt với MLOps và giám sát mô hình#

Mặc dù thường được sử dụng thay thế cho nhau, theo dõi thử nghiệm là một tập hợp con cụ thể của lĩnh vực rộng lớn hơn là Machine Learning Operations (MLOps). MLOps bao gồm toàn bộ vòng đời kỹ thuật ML, bao gồm triển khai, mở rộng quy mô và quản trị. Theo dõi thử nghiệm tập trung cụ thể vào giai đoạn phát triển—tối ưu hóa mô hình trước khi nó được đưa vào sản xuất. Tương tự, nó khác với model monitoring, vốn theo dõi hiệu suất và tình trạng của các mô hình sau khi chúng đã được triển khai để phát hiện các vấn đề như data drift trong môi trường thực tế.

Link to this sectionCác ứng dụng trong thực tế#

Việc áp dụng nghiêm ngặt theo dõi thử nghiệm là điều cần thiết trong các ngành công nghiệp nơi precision và sự an toàn là ưu tiên hàng đầu.

• Xe tự hành: Các kỹ sư phát triển autonomous vehicles phải theo dõi hàng ngàn thử nghiệm liên quan đến các thuật toán hợp nhất cảm biến và mô hình object detection khác nhau. Bằng cách ghi lại tỉ mỉ mọi lần huấn luyện, các nhóm có thể truy xuất chính xác phiên bản mô hình nào hoạt động tốt nhất trong các điều kiện thời tiết cụ thể, đảm bảo đáp ứng các tiêu chuẩn an toàn trước khi triển khai. Các công cụ như MLflow hoặc Weights & Biases thường được tích hợp để trực quan hóa các chỉ số phức tạp này.
• Chẩn đoán hình ảnh y tế: Trong các healthcare AI applications, chẳng hạn như phát hiện khối u trong ảnh X-quang, khả năng tái lập là một yêu cầu pháp lý. Theo dõi thử nghiệm đảm bảo rằng mô hình deep learning (DL) cụ thể được sử dụng để chẩn đoán có thể được kiểm toán và tái tạo một cách chính xác, xác minh rằng false positive rate đáp ứng các ngưỡng lâm sàng.

Link to this sectionTriển khai theo dõi với Ultralytics#

Hệ sinh thái Ultralytics ecosystem hỗ trợ tích hợp liền mạch với các công cụ theo dõi phổ biến. Khi huấn luyện các mô hình tiên tiến như YOLO26, người dùng có thể dễ dàng ghi lại các chỉ số vào các nền tảng như TensorBoard, Comet hoặc Ultralytics Platform. Nền tảng này đơn giản hóa quá trình này hơn nữa bằng cách cung cấp khả năng quản lý dựa trên đám mây cho các tập dữ liệu và các lần chạy huấn luyện, giúp dễ dàng trực quan hóa training curves và so sánh hiệu suất giữa các thử nghiệm khác nhau.

Dưới đây là một ví dụ ngắn gọn về cách bắt đầu một quá trình huấn luyện với Ultralytics YOLO để tự động ghi lại dữ liệu thử nghiệm.

from ultralytics import YOLO

# Load the YOLO26 model (recommended for superior speed and accuracy)
model = YOLO("yolo26n.pt")

# Train the model, specifying a project name to group experiment runs
# This organizes logs, weights, and metrics into a 'my_experiments' directory
results = model.train(data="coco8.yaml", epochs=5, project="my_experiments", name="run_lr_0.01")

Bằng cách sắp xếp các lần chạy vào các dự án cụ thể, các nhà phát triển có thể tận dụng các công cụ để thực hiện hyperparameter tuning, cải thiện một cách có hệ thống recall và độ mạnh mẽ tổng thể của mô hình. Cho dù sử dụng local training hay mở rộng quy mô thông qua cloud computing, theo dõi thử nghiệm vẫn là trụ cột cho một quy trình làm việc AI khoa học và thành công.