Theo dõi thí nghiệm

Theo dõi thử nghiệm là quy trình ghi lại một cách có hệ thống tất cả dữ liệu, siêu dữ liệu và kết quả liên quan đến các lần chạy huấn luyện mô hình học máy. Hoạt động như một sổ tay thí nghiệm kỹ thuật số cho các nhà khoa học dữ liệu và kỹ sư AI, quy trình này đảm bảo mọi bước của giai đoạn nghiên cứu và phát triển đều được ghi chép, tái tạo và phân tích. Bằng cách thu thập các dữ liệu đầu vào như siêu tham số và phiên bản tập dữ liệu, cùng với các dữ liệu đầu ra như số liệu hiệu suất và hiện vật mô hình, theo dõi thử nghiệm biến bản chất thử nghiệm và sai sót thường hỗn loạn của quá trình huấn luyện mô hình thành một quy trình làm việc có cấu trúc và khoa học. Việc tổ chức này rất quan trọng đối với các nhóm muốn xây dựng các hệ thống trí tuệ nhân tạo (AI) mạnh mẽ một cách hiệu quả.

Các thành phần cốt lõi của theo dõi thử nghiệm

Để quản lý hiệu quả vòng đời của một dự án thị giác máy tính , một hệ thống theo dõi thử nghiệm thường ghi lại ba loại thông tin riêng biệt. Việc sắp xếp các thành phần này cho phép các nhà phát triển so sánh các lần lặp khác nhau và xác định cấu hình tối ưu cho trường hợp sử dụng cụ thể của họ.

• Tham số và Cấu hình: Bao gồm các biến được thiết lập trước khi bắt đầu huấn luyện, được gọi là siêu tham số . Ví dụ bao gồm tốc độ học , kích thước lô , loại trình tối ưu hóa (ví dụ: trình tối ưu hóa Adam ) và kiến trúc mô hình cụ thể đang được sử dụng, chẳng hạn như YOLO11 .
• Chỉ số hiệu suất: Đây là các phép đo định lượng được ghi lại trong và sau khi đào tạo để đánh giá thành công. Các chỉ số phổ biến bao gồm hàm mất mát để đo lỗi, độ chính xác cho các tác vụ phân loại và độ chính xác trung bình ( mAP ) để phát hiện đối tượng.
• Hiện vật và Mã nguồn: Hiện vật đề cập đến các kết quả hữu hình của một lần chạy, chẳng hạn như trọng số mô hình đã được huấn luyện, biểu đồ trực quan hóa (như ma trận nhầm lẫn ) và nhật ký. Việc theo dõi phiên bản cụ thể của mã và tập dữ liệu được sử dụng cũng rất quan trọng để đảm bảo thí nghiệm có thể được tái tạo sau này.

Sự liên quan trong các ứng dụng thực tế

Việc áp dụng nghiêm ngặt phương pháp theo dõi thử nghiệm là điều cần thiết trong các ngành công nghiệp đòi hỏi độ chính xác và an toàn cao. Nó cho phép các nhóm kỹ thuật xem lại dữ liệu lịch sử để hiểu lý do tại sao một mô hình lại hoạt động theo một cách nhất định.

Chẩn đoán và hình ảnh y tế

Trong lĩnh vực chăm sóc sức khỏe, các nhà nghiên cứu sử dụng phân tích hình ảnh y tế để hỗ trợ bác sĩ chẩn đoán bệnh. Ví dụ, khi đào tạo một mô hình phát hiện khối u não , các kỹ sư có thể chạy hàng trăm thí nghiệm, thay đổi các kỹ thuật tăng cường dữ liệu và kiến trúc mô hình. Việc theo dõi thí nghiệm cho phép họ xác định tổ hợp các bước tiền xử lý cụ thể nào mang lại độ nhạy cao nhất, đảm bảo rằng AI được triển khai giảm thiểu kết quả âm tính giả trong các tình huống chẩn đoán quan trọng.

An toàn xe tự hành

Việc phát triển xe tự hành đòi hỏi phải xử lý một lượng lớn dữ liệu cảm biến để detect Người đi bộ, biển báo và chướng ngại vật. Các nhóm nghiên cứu phát hiện vật thể cho xe tự lái phải tối ưu hóa cả độ chính xác và độ trễ suy luận . Bằng cách theo dõi các thử nghiệm, họ có thể phân tích sự đánh đổi giữa kích thước mô hình và tốc độ, đảm bảo hệ thống cuối cùng phản ứng theo thời gian thực mà không ảnh hưởng đến các tiêu chuẩn an toàn do các tổ chức như Cục Quản lý An toàn Giao thông Đường bộ Quốc gia (NHTSA) thiết lập.

Phân biệt các khái niệm liên quan

Mặc dù theo dõi thử nghiệm là một phần cơ bản của MLOps (Hoạt động Học máy) , nó thường bị nhầm lẫn với các thuật ngữ tương tự khác. Việc hiểu rõ sự khác biệt này rất quan trọng để triển khai quy trình làm việc chính xác.

• Theo dõi Thử nghiệm so với Giám sát Mô hình: Theo dõi thử nghiệm diễn ra trong giai đoạn phát triển và đào tạo ("ngoại tuyến"). Ngược lại, giám sát mô hình diễn ra sau khi mô hình được triển khai trên môi trường sản xuất ("trực tuyến"). Giám sát tập trung vào việc phát hiện các vấn đề như dữ liệu bị trôi hoặc suy giảm hiệu suất trên dữ liệu trực tiếp, trong khi theo dõi tập trung vào việc tối ưu hóa mô hình trước khi nó đến tay người dùng.
• Theo dõi Thử nghiệm so với Kiểm soát Phiên bản: Các công cụ như Git cung cấp kiểm soát phiên bản cho mã, theo dõi các thay đổi đối với tệp nguồn theo thời gian. Theo dõi Thử nghiệm tiến xa hơn một bước bằng cách liên kết một phiên bản cụ thể của mã đó (một hàm băm cam kết) với dữ liệu, tham số và kết quả cụ thể của một lần chạy huấn luyện. Trong khi kiểm soát phiên bản trả lời câu hỏi "Mã đã thay đổi như thế nào?", thì theo dõi Thử nghiệm trả lời câu hỏi "Mã và tham số nào tạo ra mô hình tốt nhất?".

Thực hiện với Ultralytics YOLO

Các khuôn khổ AI hiện đại đơn giản hóa việc theo dõi thử nghiệm bằng cách tích hợp với các công cụ ghi nhật ký phổ biến. Khi sử dụng thư viện Ultralytics , việc theo dõi có thể được tổ chức hiệu quả bằng cách xác định tên dự án và tên lần chạy. Cấu trúc này tạo ra một hệ thống phân cấp thư mục phân tách các giả thuyết thử nghiệm khác nhau.

Ví dụ sau đây minh họa cách đào tạo mô hình YOLO11 trong khi đặt tên rõ ràng cho dự án và lần chạy thử nghiệm để đảm bảo các số liệu và trọng số được lưu theo cách có tổ chức.

from ultralytics import YOLO

# Load the latest YOLO11 nano model
model = YOLO("yolo11n.pt")

# Train the model, specifying 'project' and 'name' for organized tracking
# Results, logs, and weights will be saved to 'runs/detect/experiment_tracking_demo'
results = model.train(data="coco8.yaml", epochs=5, project="runs/detect", name="experiment_tracking_demo")

Các công cụ và tích hợp phổ biến

Để trực quan hóa và quản lý dữ liệu đã ghi, các nhà phát triển dựa vào phần mềm chuyên dụng. Các công cụ này thường có bảng điều khiển cho phép so sánh song song các đường cong đào tạo và bảng số liệu.

• MLflow: Nền tảng nguồn mở quản lý vòng đời ML, bao gồm thử nghiệm, khả năng tái tạo và triển khai. Tích hợp Ultralytics MLflow cho phép ghi nhật ký số liệu liền mạch trong suốt quá trình YOLO đào tạo.
• TensorBoard: Ban đầu được phát triển cho TensorFlow , bộ công cụ trực quan hóa này được sử dụng rộng rãi trên nhiều nền tảng, bao gồm PyTorch , để kiểm tra đường cong mất mát và hình ảnh trực quan. Bạn có thể dễ dàng trực quan hóa các số liệu đào tạo với tích hợp TensorBoard .
• Weights & Biases : Nền tảng dành cho nhà phát triển dành cho MLOps giúp các nhóm track thí nghiệm, mô hình phiên bản và trực quan hóa kết quả. Tích hợp Weights & Biases cung cấp các biểu đồ tương tác phong phú để phân tích các đợt huấn luyện phức tạp.
• DVC (Kiểm soát Phiên bản Dữ liệu): DVC mở rộng khái niệm theo dõi sang các tập dữ liệu và mô hình, xử lý các tệp lớn mà Git không thể xử lý. Việc tích hợp DVC giúp duy trì việc quản lý phiên bản dữ liệu chặt chẽ trong mọi thử nghiệm.
• ClearML : Nền tảng mã nguồn mở tự động hóa việc theo dõi các thí nghiệm và giúp điều phối khối lượng công việc. Tích hợp ClearML cung cấp một giao diện thống nhất để quản lý thí nghiệm.

Bằng cách tận dụng các công cụ và phương pháp luận này, các chuyên gia AI có thể vượt ra ngoài sự phát triển dựa trên trực giác, đảm bảo rằng mọi cải tiến đối với mạng nơ-ron của họ đều dựa trên dữ liệu, được ghi chép lại và có thể tái tạo.