Model Monitoring

Giám sát mô hình là quá trình liên tục theo dõi, phân tích và đánh giá hiệu suất của các mô hình Machine Learning (ML) sau khi chúng được triển khai vào môi trường production. Trong khi phần mềm truyền thống thường hoạt động một cách tất định—mong đợi cùng một đầu ra cho một đầu vào nhất định một cách vô hạn—các mô hình dự đoán lại dựa trên các mẫu thống kê có thể thay đổi theo thời gian. Khi môi trường thực tế thay đổi, dữ liệu cung cấp cho các mô hình này có thể bị lệch, gây suy giảm độ chính xác hoặc độ tin cậy. Việc giám sát đảm bảo rằng các hệ thống Artificial Intelligence (AI) tiếp tục mang lại giá trị bằng cách xác định các vấn đề như data drift hoặc concept drift trước khi chúng ảnh hưởng tiêu cực đến kết quả kinh doanh hoặc trải nghiệm người dùng.

Link to this sectionTầm quan trọng của việc giám sát sau triển khai#

Trong vòng đời Machine Learning Operations (MLOps), triển khai không phải là đích đến cuối cùng. Một mô hình được huấn luyện trên dữ liệu lịch sử chỉ đại diện cho một ảnh chụp nhanh của thế giới tại một thời điểm cụ thể. Theo thời gian, các yếu tố bên ngoài—chẳng hạn như thay đổi theo mùa, biến động kinh tế hoặc hành vi người dùng mới—có thể làm thay đổi phân phối dữ liệu cơ bản. Hiện tượng này, được gọi là data drift, có thể dẫn đến các "lỗi thầm lặng" (silent failures), nơi mô hình đưa ra các dự đoán mà không có thông báo lỗi, nhưng chất lượng của những dự đoán đó lại thấp hơn các tiêu chuẩn chấp nhận được.

Giám sát hiệu quả mang lại khả năng hiển thị các thay đổi tinh vi này. Bằng cách thiết lập các đường cơ sở sử dụng validation data và so sánh chúng với các luồng dữ liệu production thực tế, các nhóm kỹ thuật có thể phát hiện sớm các điểm bất thường. Cách tiếp cận chủ động này cho phép thực hiện kịp thời việc model retraining hoặc cập nhật, đảm bảo rằng các hệ thống như autonomous vehicles hoặc các thuật toán phát hiện gian lận vẫn an toàn và hiệu quả.

Link to this sectionCác chỉ số chính trong giám sát mô hình#

Để duy trì một hệ thống ML ổn định, các chuyên gia theo dõi nhiều chỉ số khác nhau, thường được chia thành ba danh mục:

• Các chỉ số độ tin cậy của dịch vụ: Các chỉ số này theo dõi tình trạng hoạt động của inference engine. Các chỉ báo chính bao gồm inference latency (thời gian thực hiện một dự đoán) và mức sử dụng tài nguyên hệ thống, chẳng hạn như dung lượng bộ nhớ GPU. Các công cụ như Prometheus thường được sử dụng để thu thập và lưu trữ các chỉ số ở cấp độ hệ thống này.
• Các chỉ số chất lượng dữ liệu: Các chỉ số này đảm bảo dữ liệu đầu vào khớp với lược đồ (schema) và phân phối thống kê dự kiến. Ví dụ, sự gia tăng đột ngột của các giá trị bị thiếu hoặc sự thay đổi trong giá trị trung bình của một feature có thể cho thấy đường ống dữ liệu (pipeline) thượng nguồn bị hỏng. Các kiểm định thống kê như Kolmogorov-Smirnov test giúp định lượng khoảng cách giữa phân phối dữ liệu huấn luyện và dữ liệu production.
• Các chỉ số hiệu suất: Theo lý tưởng, các nhóm sẽ giám sát các chỉ số ground-truth như accuracy, precision và recall. Tuy nhiên, trong môi trường production, các nhãn thực tế thường bị chậm trễ hoặc không có sẵn. Trong những trường hợp như vậy, các chỉ số thay thế như điểm confidence dự đoán hoặc độ ổn định của phân phối đầu ra được sử dụng để đánh giá tình trạng hệ thống.

Link to this sectionCác ứng dụng trong thực tế#

Giám sát mô hình là yếu tố then chốt trong nhiều ngành công nghiệp nơi các quyết định tự động ảnh hưởng đến hoạt động và sự an toàn:

• Computer Vision trong sản xuất: Trong smart manufacturing, các mô hình kiểm tra trực quan phát hiện các khiếm khuyết trên dây chuyền lắp ráp. Theo thời gian, ống kính máy ảnh có thể bị bám bụi hoặc ánh sáng nhà máy có thể thay đổi, khiến mô hình phân loại nhầm các bộ phận không lỗi thành có lỗi. Giám sát tỷ lệ phát hiện dương tính giúp xác định sự lệch lạc này, từ đó thúc đẩy việc bảo trì hoặc hiệu chuẩn lại bằng cách sử dụng Ultralytics Platform.
• Phát hiện gian lận tài chính: Các ngân hàng sử dụng ML để gắn cờ các giao dịch đáng ngờ. Tội phạm liên tục điều chỉnh chiến lược của chúng để tránh bị phát hiện, dẫn đến concept drift. Bằng cách giám sát tỷ lệ giao dịch bị gắn cờ và điều tra phản hồi từ người đánh giá, các nhà khoa học dữ liệu có thể nhanh chóng cập nhật các mô hình để nhận diện các mô hình gian lận mới.

Link to this sectionGiám sát so với Khả năng quan sát (Observability)#

Việc phân biệt giữa giám sát và observability là rất hữu ích, vì chúng đóng vai trò bổ sung cho nhau. Giám sát mô hình thường mang tính phản ứng và tập trung vào "những điều đã biết nhưng chưa rõ ràng" (known unknowns), sử dụng bảng điều khiển (dashboard) để cảnh báo các nhóm khi các chỉ số cụ thể vượt quá ngưỡng (ví dụ: độ chính xác giảm xuống dưới 90%). Khả năng quan sát đào sâu hơn vào "những điều chưa biết và chưa rõ ràng" (unknown unknowns), cung cấp các logs và dấu vết (traces) chi tiết, cho phép các kỹ sư gỡ lỗi tại sao một dự đoán cụ thể lại thất bại hoặc tại sao một mô hình lại thể hiện bias in AI đối với một nhóm nhân khẩu học nhất định.

Link to this sectionVí dụ: Theo dõi độ tin cậy dự đoán#

Một cách đơn giản để giám sát tình trạng của một mô hình computer vision là theo dõi độ tin cậy trung bình của các dự đoán. Sự sụt giảm đáng kể về độ tin cậy có thể cho thấy mô hình đang gặp phải dữ liệu mà nó không được huấn luyện để xử lý.

Dưới đây là ví dụ bằng Python sử dụng YOLO26 để trích xuất điểm confidence từ một batch ảnh cho mục đích giám sát:

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

Việc ghi nhật ký định kỳ các số liệu thống kê này cho phép các nhóm trực quan hóa các xu hướng theo thời gian bằng cách sử dụng các công cụ như Grafana hoặc các tính năng giám sát trong Ultralytics Platform, đảm bảo các mô hình luôn duy trì sự ổn định trong các môi trường năng động.