Model Monitoring

Giám sát model là quá trình liên tục đo lường đầu vào, đầu ra, hiệu năng và tình trạng dịch vụ của model machine learning đã triển khai, đồng thời phát cảnh báo khi bất kỳ yếu tố nào nằm ngoài phạm vi dự kiến. Lỗi model thường diễn ra âm thầm: bộ phát hiện tiếp tục trả về các bounding box có độ tin cậy hợp lý sau khi camera bị di chuyển, ống kính bám bẩn hoặc sản phẩm được thiết kế lại, và chỉ độ chính xác thay đổi. Giám sát so sánh hành vi trực tiếp với dữ liệu tham chiếu—thường là dữ liệu validation đã dùng để phê duyệt model—giúp các nhóm phát hiện trôi dạt dữ liệu và suy giảm độ chính xác qua dashboard thay vì từ người dùng. Quy trình này khép kín vòng lặp vận hành machine learning (MLOps) sau triển khai model và xác định thời điểm cần huấn luyện lại model.

Các chỉ số cần giám sát#

Giám sát trong môi trường production thường bao gồm bốn lớp:

• Độ trễ suy luận và tình trạng dịch vụ: Tốc độ yêu cầu, tỷ lệ lỗi, độ trễ p95 và p99, cùng mức sử dụng và dung lượng bộ nhớ GPU; thường được thu thập bằng Prometheus và biểu diễn trên Grafana.
• Dữ liệu đầu vào: Vi phạm schema, giá trị bị thiếu và thay đổi trong thống kê đặc trưng hoặc ảnh như độ sáng, độ phân giải hay kích thước đối tượng.
• Độ tin cậy dự đoán và cơ cấu đầu ra: Phân phối lớp, số lượng phát hiện mỗi ảnh và điểm độ tin cậy. Thay đổi tại đây, gọi là trôi dạt dự đoán, là cảnh báo sớm trước khi có nhãn.
• Hiệu năng model: Độ chính xác, precision, recall hoặc mAP được tính khi có ground truth. Nhãn gian lận có thể đến muộn vài tuần dưới dạng yêu cầu bồi hoàn; các nhóm thị giác gán nhãn thủ công một mẫu ảnh production.

Ultralytics Platform tích hợp lớp dự đoán vào các endpoint chuyên dụng: tab Monitoring biểu đồ phân phối confidence, confidence trung bình theo thời gian, các lớp hàng đầu và số dự đoán trên mỗi ảnh của model YOLO đã triển khai; ảnh gần đây có thể được lưu cùng dự đoán vào dataset để xem xét và huấn luyện lại. Hướng dẫn giám sát và bảo trì model cùng bài học Observability and Drift của Ultralytics Academy hướng dẫn kiểm tra drift trong các triển khai YOLO.

Hai dạng thay đổi gây ra phần lớn suy giảm. Trôi dạt dữ liệu, còn gọi là dịch chuyển hiệp biến, làm thay đổi đầu vào, chẳng hạn khi camera kiểm tra trên dây chuyền sản xuất bị di chuyển hoặc điều kiện chiếu sáng thay đổi. Trôi dạt khái niệm làm thay đổi mối quan hệ giữa đầu vào và đáp án đúng, chẳng hạn khi kẻ gian thay đổi thủ đoạn khiến giao dịch trước đây bình thường trở thành gian lận. Thống kê đầu vào cho thấy trực tiếp trôi dạt dữ liệu; trôi dạt khái niệm chỉ xuất hiện trong metric hiệu năng khi có nhãn. Cả hai đều nằm trong số những lý do phổ biến nhất khiến model thị giác máy tính thất bại trong production.

Phát hiện trôi dạt#

Một phép kiểm tra trôi dạt phổ biến so sánh phân phối của một thống kê trực tiếp với dữ liệu tham chiếu bằng kiểm định Kolmogorov-Smirnov hai mẫu, đo khoảng cách lớn nhất giữa hai phân phối tích lũy. Script này áp dụng phép kiểm định cho độ tin cậy phát hiện mô phỏng: một mẫu tham chiếu từ validation, một tuần production có phân phối tương tự và một tuần có phân phối dịch xuống thấp hơn:

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Detection confidences logged at validation time form the reference distribution
reference = rng.beta(8, 2, size=2000)

# Two simulated production windows: one like the reference, one shifted lower
windows = {"week 1": rng.beta(8, 2, size=500), "week 2": rng.beta(5, 3, size=500)}

for name, live in windows.items():
    # Two-sample Kolmogorov-Smirnov test: do both samples come from one distribution?
    result = ks_2samp(reference, live)
    drift = result.pvalue < 0.01
    print(f"{name}: mean {live.mean():.2f}, KS {result.statistic:.3f}, p {result.pvalue:.1e}, drift {drift}")

Tuần 1 đạt kiểm định với thống kê KS là 0.037 và p = 0.64. Trong tuần 2, độ tin cậy trung bình giảm còn 0.63 so với 0.80 của tuần 1; thống kê KS là 0.456 với p = 1.2e-75 cho thấy có trôi dạt. Với hàng nghìn mẫu, ngay cả những thay đổi vô hại cũng trở nên có ý nghĩa thống kê, vì vậy các bước kiểm tra production thường phát cảnh báo khi thống kê KS hoặc chỉ số ổn định quần thể (PSI) vượt ngưỡng cố định. Các thư viện mã nguồn mở như Evidently và NannyML tích hợp những phép kiểm tra này thành báo cáo trôi dạt; NannyML còn ước tính độ chính xác của bộ phân loại khi không có nhãn dựa trên điểm độ tin cậy đã hiệu chuẩn. Amazon SageMaker Model Monitor và Vertex AI Model Monitoring cung cấp các bước kiểm tra tương tự dưới dạng dịch vụ được quản lý. Sau đó, cảnh báo sẽ khởi động quá trình điều tra:

Giám sát, khả năng quan sát và đánh giá#

• Khả năng quan sát: Nhật ký, trace và đầu vào được lưu trữ giúp giải thích nguyên nhân kích hoạt cảnh báo. Giám sát chạy các bước kiểm tra được xác định trước; nhiều nhà cung cấp cung cấp cả hai dưới dạng khả năng quan sát ML.
• Đánh giá model: Chấm điểm model trên tập kiểm tra được giữ riêng trước khi phát hành. Giám sát lặp lại phép đo đó trên lưu lượng thực trong suốt thời gian model phục vụ.
• Theo dõi thí nghiệm: Ghi lại các lần chạy huấn luyện trong quá trình phát triển, trước khi có bất kỳ dữ liệu production nào.