Giám sát mô hình

Giám sát mô hình là quá trình liên tục theo dõi và đánh giá hiệu suất của các mô hình học máy (ML) sau khi chúng được triển khai vào sản xuất. Quá trình này bao gồm việc quan sát các số liệu chính liên quan đến độ chính xác của mô hình, tình trạng hoạt động và đặc điểm dữ liệu để đảm bảo mô hình hoạt động như mong đợi theo thời gian. Thực hành này là một phần quan trọng của vòng đời Hoạt động học máy (MLOps) , đảm bảo rằng các hệ thống Trí tuệ nhân tạo (AI) được triển khai vẫn đáng tin cậy, hiệu quả và đáng tin cậy trong môi trường thực tế. Nếu không có giám sát, hiệu suất của mô hình có thể giảm dần một cách âm thầm, dẫn đến dự đoán kém và kết quả kinh doanh tiêu cực.

Tại sao việc giám sát mô hình lại quan trọng?

Các mô hình ML được đào tạo trên dữ liệu lịch sử, nhưng thế giới thực là động. Những thay đổi trong các mẫu dữ liệu, hành vi của người dùng hoặc môi trường có thể khiến hiệu suất của mô hình giảm sau khi triển khai . Các lý do chính để giám sát bao gồm:

• Phát hiện sự suy giảm hiệu suất: Các mô hình có thể trở nên kém chính xác hơn theo thời gian. Giám sát giúp xác định sự sụt giảm trong các số liệu hiệu suất như độ chính xác , độ thu hồi hoặc điểm F1 . Bạn có thể tìm hiểu thêm về các số liệu hiệu suất YOLO trong hướng dẫn của chúng tôi .
• Xác định Độ trôi Dữ liệu: Các thuộc tính thống kê của dữ liệu đầu vào có thể thay đổi, một hiện tượng được gọi là độ trôi dữ liệu . Điều này có thể xảy ra khi dữ liệu mà mô hình nhìn thấy trong quá trình sản xuất khác biệt đáng kể so với dữ liệu huấn luyện .
• Phát hiện sự trôi dạt khái niệm: Mối quan hệ giữa các đặc điểm đầu vào và biến mục tiêu có thể thay đổi theo thời gian. Ví dụ, sở thích của khách hàng có thể thay đổi, khiến các mô hình dự đoán cũ trở nên lỗi thời. Điều này được gọi là sự trôi dạt khái niệm và thường đòi hỏi phải đào tạo lại mô hình.
• Đảm bảo hoạt động ổn định: Giám sát theo dõi các số liệu hoạt động như độ trễ suy luận , thông lượng và tỷ lệ lỗi để đảm bảo cơ sở hạ tầng phục vụ mô hình hoạt động trơn tru.
• Duy trì tính công bằng và đạo đức: Việc giám sát có thể giúp phát hiện và giảm thiểu sự thiên vị trong AI bằng cách theo dõi hiệu suất của các nhóm nhân khẩu học khác nhau, thúc đẩy đạo đức AI .

Những khía cạnh nào được giám sát?

Việc theo dõi mô hình hiệu quả thường liên quan đến việc theo dõi một số loại số liệu:

• Hiệu suất dự đoán: Các số liệu như độ chính xác, Độ chính xác trung bình (mAP) , AUC và tỷ lệ lỗi, thường được so sánh với các điểm chuẩn được thiết lập trong quá trình xác thực .
• Chất lượng và tính toàn vẹn của dữ liệu: Theo dõi các giá trị bị thiếu, kiểu dữ liệu không khớp và vi phạm phạm vi trong dữ liệu đầu vào.
• Độ trôi dữ liệu đầu vào: Các biện pháp thống kê (ví dụ: chỉ số ổn định dân số, kiểm định Kolmogorov-Smirnov ) để so sánh sự phân bố các tính năng đầu vào sản xuất với sự phân bố dữ liệu đào tạo.
• Dự đoán/Độ trôi đầu ra: Theo dõi sự phân bổ của các dự đoán mô hình để phát hiện những thay đổi đáng kể theo thời gian.
• Số liệu vận hành: Số liệu cấp hệ thống như sử dụng CPU / GPU , sử dụng bộ nhớ, độ trễ yêu cầu và thông lượng. Các nền tảng như Prometheus thường được sử dụng cho mục đích này.
• Chỉ số công bằng và thiên vị: Đánh giá sự chênh lệch hiệu suất của mô hình trên các thuộc tính nhạy cảm (ví dụ: độ tuổi, giới tính) bằng cách sử dụng các chỉ số như sự ngang bằng về mặt nhân khẩu học hoặc tỷ lệ cược cân bằng.

Giám sát mô hình so với các khái niệm liên quan

Điều quan trọng là phải phân biệt giám sát mô hình với các thuật ngữ tương tự:

• Khả năng quan sát : Trong khi giám sát tập trung vào việc theo dõi các số liệu được xác định trước để đánh giá các chế độ lỗi đã biết, khả năng quan sát cung cấp các công cụ (nhật ký, số liệu, dấu vết) để khám phá và hiểu các trạng thái hệ thống chưa biết . Khả năng quan sát cho phép điều tra sâu hơn khi giám sát phát hiện ra bất thường.
• MLOps : MLOps là một tập hợp các thực hành rộng hơn bao gồm toàn bộ vòng đời ML. Giám sát mô hình là một thành phần quan trọng trong khuôn khổ MLOps, tập trung cụ thể vào tình trạng mô hình sau khi triển khai.
• Đánh giá mô hình: Đánh giá thường được thực hiện trước khi triển khai bằng cách sử dụng dữ liệu xác thực tĩnh hoặc dữ liệu thử nghiệm để đánh giá chất lượng của mô hình. Giám sát là một quá trình liên tục được thực hiện trên dữ liệu sản xuất trực tiếp sau khi triển khai. Tìm hiểu thông tin chi tiết về đánh giá mô hình và tinh chỉnh tại đây .

Ứng dụng trong thế giới thực

1. Hệ thống Đề xuất Thương mại Điện tử: Nền tảng thương mại điện tử sử dụng mô hình ML cho hệ thống đề xuất của mình. Việc giám sát mô hình sẽ theo dõi tỷ lệ nhấp chuột (CTR) và tỷ lệ chuyển đổi. Nếu phát hiện CTR giảm đột ngột (suy giảm hiệu suất) hoặc thay đổi loại sản phẩm đang được mua (lệch khái niệm), cảnh báo có thể kích hoạt điều tra và có khả năng đào tạo lại mô hình. Các dịch vụ như Amazon Personalize bao gồm các tính năng giám sát hiệu quả đề xuất.
2. Nhận thức xe tự hành: Xe tự lái dựa vào các mô hình thị giác máy tính như Ultralytics YOLO để phát hiện vật thể . Hệ thống giám sát mô hình liên tục theo dõi độ chính xác và điểm tin cậy của việc phát hiện các vật thể như người đi bộ và các phương tiện khác. Hệ thống cũng giám sát độ lệch dữ liệu trong hình ảnh đầu vào (ví dụ: thay đổi độ sáng hoặc thời tiết). Nếu hiệu suất giảm trong các điều kiện cụ thể như mưa lớn, hệ thống có thể đánh dấu nhu cầu cập nhật mô hình được đào tạo trên dữ liệu đa dạng hơn, có thể được tạo bằng cách sử dụng công nghệ tăng cường dữ liệu . Các công ty như Waymo đầu tư rất nhiều vào việc giám sát hệ thống nhận thức của họ.

Công cụ và triển khai

Việc triển khai giám sát mô hình đòi hỏi phải sử dụng các công cụ và nền tảng chuyên dụng. Các lựa chọn bao gồm từ các thư viện nguồn mở như Evidently AI và NannyML đến các dịch vụ được quản lý từ các nhà cung cấp đám mây như AWS SageMaker Model Monitor , Google Vertex AI Model Monitoring và Azure Machine Learning . Các nền tảng MLOps chuyên dụng như Arize AI hoặc WhyLabs cũng cung cấp khả năng giám sát mở rộng. Các nền tảng như Ultralytics HUB hỗ trợ việc triển khai và quản lý mô hình, tích hợp với các giải pháp giám sát đó để hoàn thành chu trình MLOps. Các chiến lược bảo trì mô hình hiệu quả phụ thuộc rất nhiều vào việc giám sát mạnh mẽ.