Data Drift

Data drift đề cập đến một hiện tượng trong machine learning (ML) nơi các thuộc tính thống kê của dữ liệu đầu vào được quan sát trong môi trường production thay đổi theo thời gian so với dữ liệu huấn luyện ban đầu được sử dụng để xây dựng model. Khi một model được triển khai, nó hoạt động dựa trên giả định ngầm rằng dữ liệu thực tế mà nó gặp phải sẽ về cơ bản giống với dữ liệu lịch sử mà nó đã học. Nếu giả định này bị vi phạm do các điều kiện môi trường hoặc hành vi người dùng thay đổi, độ chính xác và độ tin cậy của model có thể suy giảm đáng kể, ngay cả khi mã nguồn và các tham số của model vẫn không thay đổi. Việc phát hiện và quản lý data drift là một thành phần quan trọng của Machine Learning Operations (MLOps), đảm bảo rằng các hệ thống AI tiếp tục mang lại giá trị sau khi triển khai model.

Link to this sectionData Drift so với Concept Drift#

Để duy trì hiệu quả các hệ thống AI, việc phân biệt data drift với một thuật ngữ liên quan chặt chẽ là concept drift là rất cần thiết. Mặc dù cả hai đều dẫn đến sự suy giảm hiệu suất, chúng bắt nguồn từ những thay đổi khác nhau trong môi trường.

• Data Drift (Covariate Shift): Hiện tượng này xảy ra khi phân phối của các features đầu vào thay đổi, nhưng mối quan hệ giữa đầu vào và đầu ra mục tiêu vẫn ổn định. Ví dụ, trong computer vision (CV), một model có thể được huấn luyện trên các hình ảnh chụp vào ban ngày. Nếu camera bắt đầu chụp hình ảnh lúc hoàng hôn, phân phối đầu vào (ánh sáng, bóng đổ) đã bị drift, nhưng định nghĩa về "ô tô" hoặc "người đi bộ" vẫn không thay đổi.
• Concept Drift: Hiện tượng này xảy ra khi mối quan hệ thống kê giữa các features đầu vào và biến mục tiêu thay đổi. Nói cách khác, định nghĩa về ground truth tiến hóa. Ví dụ, trong phát hiện gian lận tài chính, các mẫu hình thành hành vi gian lận thường thay đổi khi những kẻ gian lận thích nghi với các chiến thuật của chúng, làm thay đổi ranh giới giữa các giao dịch an toàn và gian lận.

Link to this sectionCác ứng dụng và ví dụ thực tế#

Data drift là một thách thức phổ biến trong các ngành công nghiệp nơi Trí tuệ nhân tạo (AI) tương tác với các môi trường vật lý, năng động.

1. Hệ thống tự hành: Trong lĩnh vực xe tự hành, các perception model dựa vào phát hiện đối tượng để điều hướng an toàn. Một model được huấn luyện chủ yếu trên dữ liệu từ các con đường đầy nắng ở California có thể gặp phải data drift nghiêm trọng nếu được triển khai ở một khu vực có tuyết rơi dày. Các đầu vào hình ảnh (làn đường phủ tuyết, biển báo bị che khuất) khác biệt hoàn toàn so với tập dữ liệu huấn luyện, có khả năng làm tổn hại đến các tính năng an toàn như phát hiện làn đường.

2. Hình ảnh y tế: Các hệ thống phân tích hình ảnh y tế có thể bị ảnh hưởng bởi drift khi các bệnh viện nâng cấp phần cứng. Nếu một model được huấn luyện trên ảnh X-quang từ một nhà sản xuất máy quét cụ thể, việc đưa vào một máy mới với độ phân giải hoặc cài đặt độ tương phản khác biệt sẽ tạo ra một sự thay đổi trong phân phối dữ liệu. Nếu không có bảo trì model, hiệu suất chẩn đoán có thể giảm sút.

Link to this sectionCác chiến lược phát hiện và giảm thiểu#

Việc xác định drift sớm sẽ ngăn chặn "lỗi im lặng", nơi một model đưa ra các dự đoán tự tin nhưng không chính xác. Các nhóm sử dụng nhiều chiến lược khác nhau để phát hiện các bất thường này trước khi chúng gây ảnh hưởng đến kết quả kinh doanh.

Link to this sectionCác phương pháp phát hiện#

• Kiểm định thống kê: Các kỹ sư thường sử dụng các phương pháp như kiểm định Kolmogorov-Smirnov để so sánh về mặt toán học phân phối của dữ liệu production đầu vào với dữ liệu baseline huấn luyện.
• Performance Monitoring: Tracking metrics such as precision and recall in real-time can act as a proxy for drift detection. A sudden drop in the average confidence score of a YOLO26 model often indicates that the model is struggling with novel data patterns.
• Visualization: Tools like TensorBoard or specialized platforms like Grafana allow teams to visualize histograms of feature distributions, making it easier to spot shifts visually.

Link to this sectionCác kỹ thuật giảm thiểu#

• Retraining: The most robust solution is often to retrain the model. This involves collecting the new, drifted data, annotating it, and combining it with the original dataset. The Ultralytics Platform simplifies this process by providing tools for dataset management and cloud training.
• Tăng cường dữ liệu (Data Augmentation): Áp dụng data augmentation mở rộng trong quá trình huấn luyện ban đầu—chẳng hạn như thay đổi độ sáng, thêm nhiễu hoặc xoay hình ảnh—có thể giúp model trở nên linh hoạt hơn trước các thay đổi nhỏ về môi trường.
• Thích nghi miền (Domain Adaptation): Các kỹ thuật trong học chuyển đổi (transfer learning) cho phép các model điều chỉnh theo một miền mục tiêu mới bằng cách sử dụng một lượng nhỏ dữ liệu được gán nhãn, giúp thu hẹp khoảng cách giữa môi trường huấn luyện nguồn và thực tế production mới.

Bạn có thể triển khai giám sát drift cơ bản bằng cách kiểm tra độ tin cậy trong các dự đoán của model. Nếu độ tin cậy trung bình liên tục giảm xuống dưới một ngưỡng tin cậy, nó có thể kích hoạt cảnh báo để xem xét dữ liệu.

from ultralytics import YOLO

# Load the official YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a new image from the production stream
results = model("https://ultralytics.com/images/bus.jpg")

# Monitor confidence scores; consistently low scores may signal data drift
for result in results:
    for box in result.boxes:
        print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Quản lý data drift không phải là một giải pháp khắc phục một lần mà là một quá trình vòng đời liên tục. Các nhà cung cấp đám mây cung cấp các dịch vụ được quản lý như AWS SageMaker Model Monitor hoặc Google Cloud Vertex AI để tự động hóa việc này. Bằng cách chủ động giám sát các thay đổi này, các tổ chức đảm bảo model của họ vẫn mạnh mẽ, duy trì các tiêu chuẩn cao về an toàn AI và hiệu quả hoạt động.