Theo dõi thí nghiệm

Theo dõi thí nghiệm là quy trình có hệ thống ghi chép, sắp xếp và phân tích các biến số, số liệu và kết quả được tạo ra trong quá trình huấn luyện mô hình máy học. Giống như sổ tay phòng thí nghiệm của nhà khoa học, phương pháp này tạo ra một bản ghi kỹ thuật số toàn diện về mọi giả thuyết được kiểm chứng, đảm bảo giai đoạn nghiên cứu và phát triển được thực hiện một cách nghiêm ngặt, minh bạch và có thể tái tạo. Bằng cách thu thập các đầu vào như siêu tham số và phiên bản tập dữ liệu cùng với các đầu ra như biểu đồ hiệu suất và trọng số đã được huấn luyện, theo dõi thí nghiệm biến đổi bản chất thường lặp đi lặp lại và hỗn loạn của quá trình huấn luyện mô hình thành một quy trình làm việc có cấu trúc, dựa trên dữ liệu. Việc tổ chức này rất quan trọng đối với các nhóm hướng đến việc xây dựng các hệ thống trí tuệ nhân tạo (AI) mạnh mẽ một cách hiệu quả, cho phép họ xác định chính xác cấu hình nào mang lại kết quả tốt nhất.

Các thành phần cốt lõi của theo dõi thử nghiệm

Để quản lý hiệu quả vòng đời của một dự án thị giác máy tính , một hệ thống theo dõi mạnh mẽ thường ghi lại ba loại thông tin khác nhau. Việc tổ chức các thành phần này cho phép các nhà phát triển so sánh các phiên bản khác nhau và xác định cấu hình tối ưu cho trường hợp sử dụng cụ thể của họ.

• Tham số và Cấu hình : Đây là các biến được thiết lập trước khi quá trình huấn luyện bắt đầu. Chúng bao gồm tốc độ học , lựa chọn thuật toán tối ưu hóa (ví dụ: thuật toán tối ưu hóa Adam ), kích thước batch và kiến trúc mô hình cụ thể, chẳng hạn như YOLO26 mới nhất. Việc theo dõi các tham số này đảm bảo rằng bất kỳ lần chạy thành công nào cũng có thể được tái tạo chính xác.
• Các chỉ số hiệu suất : Đây là các thước đo định lượng được ghi lại trong quá trình huấn luyện để đánh giá sự thành công. Các chỉ số phổ biến bao gồm hàm mất mát để đo lỗi, độ chính xác cho các nhiệm vụ phân loại và độ chính xác trung bình ( mAP ) cho việc phát hiện đối tượng.
• Các tạo phẩm và đầu ra : Tạo phẩm đề cập đến các tệp hữu hình được tạo ra bởi một lần chạy, chẳng hạn như trọng số của mô hình đã được huấn luyện, các biểu đồ trực quan như ma trận nhầm lẫn và nhật ký môi trường.

Sự liên quan trong các ứng dụng thực tế

Việc áp dụng nghiêm ngặt phương pháp theo dõi thử nghiệm là điều cần thiết trong các ngành công nghiệp đòi hỏi độ chính xác và an toàn cao. Nó cho phép các nhóm kỹ thuật xem lại dữ liệu lịch sử để hiểu lý do tại sao một mô hình lại hoạt động theo một cách nhất định.

Chẩn đoán và hình ảnh y tế

Trong lĩnh vực chăm sóc sức khỏe, các nhà nghiên cứu sử dụng phân tích hình ảnh y tế để hỗ trợ bác sĩ chẩn đoán bệnh. Ví dụ, khi huấn luyện mô hình phát hiện khối u não , các kỹ sư có thể thực hiện hàng trăm thí nghiệm với các kỹ thuật tăng cường dữ liệu khác nhau. Việc theo dõi thí nghiệm cho phép họ xác định sự kết hợp cụ thể nào của các bước tiền xử lý mang lại độ nhạy cao nhất, đảm bảo rằng tác nhân AI được triển khai giảm thiểu tối đa các trường hợp âm tính giả trong các tình huống chẩn đoán quan trọng.

An toàn xe tự hành

Việc phát triển xe tự hành đòi hỏi phải xử lý một lượng lớn dữ liệu cảm biến để detect Người đi bộ, biển báo và chướng ngại vật. Các nhóm nghiên cứu phát hiện vật thể cho xe tự lái phải tối ưu hóa cả độ chính xác và độ trễ suy luận . Bằng cách theo dõi các thử nghiệm, họ có thể phân tích sự đánh đổi giữa kích thước mô hình và tốc độ, đảm bảo hệ thống cuối cùng phản ứng theo thời gian thực mà không ảnh hưởng đến các tiêu chuẩn an toàn do các tổ chức như Cục Quản lý An toàn Giao thông Đường bộ Quốc gia (NHTSA) thiết lập.

Phân biệt các khái niệm liên quan

Mặc dù theo dõi thử nghiệm là một phần cơ bản của MLOps (Hoạt động Học máy) , nó thường bị nhầm lẫn với các thuật ngữ tương tự khác. Việc hiểu rõ sự khác biệt này rất quan trọng để triển khai quy trình làm việc chính xác.

• Theo dõi thử nghiệm so với giám sát mô hình : Theo dõi thử nghiệm diễn ra trong giai đoạn phát triển và huấn luyện ("ngoại tuyến"). Ngược lại, giám sát mô hình diễn ra sau khi mô hình được triển khai vào môi trường sản xuất ("trực tuyến"). Giám sát tập trung vào việc phát hiện các vấn đề như sự thay đổi dữ liệu hoặc suy giảm hiệu suất trên dữ liệu thực, trong khi theo dõi tập trung vào việc tối ưu hóa mô hình trước khi nó đến tay người dùng.
• Theo dõi thử nghiệm so với kiểm soát phiên bản : Các công cụ như Git cung cấp khả năng kiểm soát phiên bản cho mã nguồn, theo dõi các thay đổi đối với các tệp văn bản theo thời gian. Theo dõi thử nghiệm tiến thêm một bước bằng cách liên kết một phiên bản cụ thể của mã đó với dữ liệu, tham số và kết quả cụ thể của một lần chạy huấn luyện. Trong khi kiểm soát phiên bản trả lời câu hỏi "Mã đã thay đổi như thế nào?", thì theo dõi thử nghiệm trả lời câu hỏi "Tham số nào tạo ra mô hình tốt nhất?".

Thực hiện với Ultralytics YOLO

Các framework AI hiện đại đơn giản hóa việc theo dõi thử nghiệm bằng cách cho phép các nhà phát triển dễ dàng ghi nhật ký các lần chạy vào thư mục cục bộ hoặc máy chủ từ xa. Khi sử dụng Ultralytics Trong thư viện, việc theo dõi có thể được tổ chức hiệu quả bằng cách xác định tên dự án và tên lần chạy. Cấu trúc này tạo ra một hệ thống phân cấp thư mục, tách biệt các giả thuyết thử nghiệm khác nhau.

Ví dụ sau đây minh họa cách huấn luyện mô hình YOLO26 — tiêu chuẩn mới nhất về tốc độ và độ chính xác — đồng thời chỉ định rõ tên dự án và lần chạy thử nghiệm. Điều này đảm bảo rằng các số liệu, nhật ký và trọng số được lưu trữ một cách có tổ chức để so sánh trong tương lai.

from ultralytics import YOLO

# Load the latest YOLO26 nano model
model = YOLO("yolo26n.pt")

# Train the model, specifying 'project' and 'name' for organized tracking
# Results will be saved to 'runs/detect/experiment_tracking_demo'
results = model.train(data="coco8.yaml", epochs=5, project="runs/detect", name="experiment_tracking_demo")

Các công cụ và tích hợp phổ biến

Để trực quan hóa và quản lý dữ liệu đã ghi, các nhà phát triển dựa vào phần mềm chuyên dụng. Các công cụ này thường có bảng điều khiển cho phép so sánh song song các đường cong đào tạo và bảng số liệu.

• MLflow : Một nền tảng mã nguồn mở quản lý vòng đời học máy, bao gồm thử nghiệm, khả năng tái tạo và triển khai. Việc tích hợp MLflow Ultralytics cho phép ghi nhật ký số liệu một cách liền mạch trong quá trình thực hiện. YOLO đào tạo.
• TensorBoard : Ban đầu được phát triển cho TensorFlow , bộ công cụ trực quan hóa này được sử dụng rộng rãi trên nhiều framework, bao gồm cả PyTorch , để kiểm tra đường cong tổn thất và hình ảnh trực quan. Bạn có thể dễ dàng trực quan hóa các chỉ số huấn luyện với tính năng tích hợp TensorBoard .
• DVC (Kiểm soát phiên bản dữ liệu) : DVC mở rộng khái niệm theo dõi sang các tập dữ liệu và mô hình, xử lý các tệp lớn mà Git không thể. Việc tích hợp DVC giúp duy trì phiên bản nghiêm ngặt của dữ liệu được sử dụng trong mọi thí nghiệm.
• Weights & Biases : Một nền tảng ưu tiên nhà phát triển dành cho MLOps giúp các nhóm track thực hiện các thí nghiệm, xây dựng mô hình phiên bản và trực quan hóa kết quả. Việc tích hợp Weights & Biases cung cấp các biểu đồ tương tác phong phú để phân tích các quá trình huấn luyện phức tạp.