Giám sát mô hình

Giám sát mô hình là quá trình liên tục theo dõi và đánh giá hiệu suất của các mô hình học máy (ML) sau khi chúng được triển khai vào sản xuất. Nó bao gồm việc quan sát các số liệu chính liên quan đến độ chính xác của mô hình, tình trạng hoạt động và đặc điểm dữ liệu để đảm bảo mô hình hoạt động như mong đợi theo thời gian. Thực hành này là một phần quan trọng của vòng đời Vận hành máy học (MLOps), đảm bảo rằng các hệ thống Trí tuệ nhân tạo (AI) được triển khai vẫn đáng tin cậy, hiệu quả và đáng tin cậy trong môi trường thực tế. Nếu không có giám sát, hiệu suất của mô hình có thể giảm sút một cách âm thầm, dẫn đến dự đoán kém và kết quả kinh doanh tiêu cực.

Tại sao Giám sát Mô hình lại Quan trọng?

Các mô hình ML được huấn luyện trên dữ liệu lịch sử, nhưng thế giới thực thì luôn thay đổi. Những thay đổi trong mô hình dữ liệu, hành vi người dùng hoặc môi trường có thể khiến hiệu suất của mô hình giảm sau khi triển khai. Các lý do chính để giám sát bao gồm:

• Phát hiện suy giảm hiệu suất: Các mô hình có thể trở nên kém chính xác hơn theo thời gian. Việc giám sát giúp xác định sự sụt giảm trong các chỉ số hiệu suất như độ chính xác (precision), độ phủ (recall) hoặc F1-score. Bạn có thể tìm hiểu thêm về các chỉ số hiệu suất YOLO trong hướng dẫn của chúng tôi.
• Xác định sự trôi dạt dữ liệu: Các thuộc tính thống kê của dữ liệu đầu vào có thể thay đổi, một hiện tượng được gọi là trôi dạt dữ liệu. Điều này có thể xảy ra khi dữ liệu mà mô hình nhìn thấy trong quá trình sản xuất khác biệt đáng kể so với dữ liệu huấn luyện.
• Phát hiện Trôi Dạt Khái Niệm (Concept Drift): Mối quan hệ giữa các đặc trưng đầu vào và biến mục tiêu có thể thay đổi theo thời gian. Ví dụ: sở thích của khách hàng có thể phát triển, làm cho các mô hình dự đoán cũ trở nên lỗi thời. Điều này được gọi là concept drift và thường yêu cầu huấn luyện lại mô hình.
• Đảm bảo trạng thái hoạt động: Giám sát theo dõi các số liệu hoạt động như độ trễ suy luận, thông lượng và tỷ lệ lỗi để đảm bảo cơ sở hạ tầng phục vụ mô hình đang chạy trơn tru.
• Duy trì Tính công bằng và Đạo đức: Giám sát có thể giúp phát hiện và giảm thiểu sự thiên vị trong AI bằng cách theo dõi hiệu suất trên các nhóm nhân khẩu học khác nhau, thúc đẩy đạo đức AI.

Những khía cạnh nào được theo dõi?

Giám sát mô hình hiệu quả thường liên quan đến việc theo dõi một số loại chỉ số:

• Hiệu suất dự đoán: Các số liệu như độ chính xác, Độ chính xác trung bình (mAP), AUC và tỷ lệ lỗi, thường được so sánh với các chuẩn được thiết lập trong quá trình xác thực.
• Chất lượng và tính toàn vẹn của dữ liệu: Theo dõi các giá trị bị thiếu, sự không khớp kiểu dữ liệu và các vi phạm phạm vi trong dữ liệu đầu vào.
• Trôi dữ liệu đầu vào: Các biện pháp thống kê (ví dụ: chỉ số ổn định quần thể, kiểm định Kolmogorov-Smirnov) để so sánh sự phân phối của các đặc trưng đầu vào sản xuất với sự phân phối dữ liệu huấn luyện.
• Trôi dự đoán/Đầu ra: Giám sát sự phân phối các dự đoán của mô hình để phát hiện những thay đổi đáng kể theo thời gian.
• Các chỉ số hoạt động: Các chỉ số cấp hệ thống như mức sử dụng CPU/GPU, mức sử dụng bộ nhớ, độ trễ yêu cầu và thông lượng. Các nền tảng như Prometheus thường được sử dụng cho việc này.
• Các chỉ số về tính công bằng và độ lệch: Đánh giá sự khác biệt về hiệu suất mô hình trên các thuộc tính nhạy cảm (ví dụ: tuổi, giới tính) bằng cách sử dụng các chỉ số như tính chẵn lẻ nhân khẩu học hoặc tỷ lệ cược được cân bằng.

Giám sát mô hình so với các khái niệm liên quan

Điều quan trọng là phải phân biệt giám sát mô hình (model monitoring) với các thuật ngữ tương tự:

• Khả năng quan sát: Trong khi giám sát tập trung vào việc theo dõi các số liệu được xác định trước để đánh giá các chế độ lỗi đã biết, thì khả năng quan sát cung cấp các công cụ (nhật ký, số liệu, dấu vết) để khám phá và hiểu các trạng thái hệ thống chưa biết. Khả năng quan sát cho phép điều tra sâu hơn khi giám sát phát hiện ra một sự bất thường.
• MLOps: MLOps là một tập hợp các thực hành rộng hơn bao gồm toàn bộ vòng đời ML. Giám sát mô hình là một thành phần quan trọng trong khuôn khổ MLOps, tập trung đặc biệt vào tình trạng của mô hình sau triển khai.
• Đánh giá Mô hình: Việc đánh giá thường được thực hiện trước khi triển khai bằng cách sử dụng dữ liệu kiểm định (validation data) tĩnh hoặc dữ liệu thử nghiệm (test data) để đánh giá chất lượng của mô hình. Giám sát là một quy trình liên tục được thực hiện trên dữ liệu sản xuất trực tiếp sau khi triển khai. Tìm hiểu thông tin chi tiết về đánh giá và tinh chỉnh mô hình tại đây.

Các Ứng dụng Thực tế

1. E-commerce Recommendation Systems (Hệ thống đề xuất thương mại điện tử): Một nền tảng thương mại điện tử sử dụng mô hình ML cho hệ thống đề xuất của mình. Giám sát mô hình theo dõi tỷ lệ nhấp (CTR) và tỷ lệ chuyển đổi. Nếu giám sát phát hiện thấy sự sụt giảm đột ngột về CTR (suy giảm hiệu suất) hoặc sự thay đổi trong các loại sản phẩm được mua (trôi lệch khái niệm), cảnh báo có thể kích hoạt điều tra và có khả năng huấn luyện lại mô hình. Các dịch vụ như Amazon Personalize bao gồm các tính năng để theo dõi hiệu quả của đề xuất.
2. Perception trên xe tự hành: Xe tự lái dựa vào các mô hình computer vision như Ultralytics YOLO để nhận diện đối tượng. Model monitoring liên tục theo dõi độ chính xác phát hiện và điểm tin cậy cho các đối tượng như người đi bộ và các phương tiện khác. Nó cũng theo dõi sự trôi dạt dữ liệu trong hình ảnh đầu vào (ví dụ: thay đổi độ sáng hoặc thời tiết). Nếu hiệu suất giảm trong các điều kiện cụ thể như mưa lớn, hệ thống có thể gắn cờ cho nhu cầu cập nhật mô hình được huấn luyện trên dữ liệu đa dạng hơn, có thể được tạo bằng cách sử dụng tăng cường dữ liệu. Các công ty như Waymo đầu tư rất nhiều vào việc giám sát hệ thống perception của họ.

Công Cụ và Triển khai

Việc triển khai giám sát mô hình liên quan đến việc sử dụng các công cụ và nền tảng chuyên dụng. Các tùy chọn bao gồm từ các thư viện mã nguồn mở như Evidently AI và NannyML đến các dịch vụ được quản lý từ các nhà cung cấp đám mây như AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring và Azure Machine Learning. Các nền tảng MLOps chuyên dụng như Arize AI hoặc WhyLabs cũng cung cấp các khả năng giám sát mở rộng. Các nền tảng như Ultralytics HUB hỗ trợ việc triển khai và quản lý các mô hình, tích hợp với các giải pháp giám sát như vậy để hoàn thành chu trình MLOps. Các chiến lược bảo trì mô hình hiệu quả phụ thuộc nhiều vào việc giám sát mạnh mẽ.