Data Drift

Độ trôi dữ liệu đề cập đến một hiện tượng trong học máy (ML), trong đó các đặc tính thống kê của dữ liệu đầu vào được quan sát trong môi trường production thay đổi theo thời gian so với dữ liệu huấn luyện ban đầu được sử dụng để xây dựng model. Khi một model được triển khai, model vận hành dựa trên giả định ngầm rằng dữ liệu thực tế mà nó gặp phải về cơ bản sẽ tương đồng với dữ liệu lịch sử mà nó đã học. Nếu giả định này bị vi phạm do các điều kiện môi trường hoặc hành vi người dùng thay đổi, độ chính xác và độ tin cậy của model có thể suy giảm đáng kể, ngay cả khi code và các tham số của model không thay đổi. Phát hiện và quản lý độ trôi dữ liệu là một thành phần quan trọng của Vận hành học máy (MLOps), giúp đảm bảo các hệ thống AI tiếp tục tạo ra giá trị sau khi triển khai model.

Độ trôi dữ liệu so với độ trôi khái niệm#

Để duy trì hiệu quả các hệ thống AI, việc phân biệt độ trôi dữ liệu với một thuật ngữ liên quan chặt chẽ là độ trôi khái niệm là điều thiết yếu. Mặc dù cả hai đều dẫn đến suy giảm hiệu năng, chúng bắt nguồn từ những thay đổi khác nhau trong môi trường.

• Độ trôi dữ liệu (Covariate Shift): Hiện tượng này xảy ra khi phân phối của các đặc trưng đầu vào thay đổi, nhưng mối quan hệ giữa đầu vào và đầu ra mục tiêu vẫn ổn định. Ví dụ, trong thị giác máy tính (CV), một model có thể được huấn luyện trên các hình ảnh chụp vào ban ngày. Nếu camera bắt đầu chụp ảnh vào lúc chạng vạng, phân phối đầu vào (ánh sáng, bóng đổ) đã bị trôi, nhưng định nghĩa về một "ô tô" hoặc "người đi bộ" vẫn không thay đổi.
• Độ trôi khái niệm: Hiện tượng này xảy ra khi mối quan hệ thống kê giữa các đặc trưng đầu vào và biến mục tiêu thay đổi. Nói cách khác, định nghĩa của ground truth tiến hóa. Chẳng hạn, trong phát hiện gian lận tài chính, các mẫu tạo thành hoạt động gian lận thường thay đổi khi kẻ gian điều chỉnh chiến thuật, làm thay đổi ranh giới giữa các giao dịch an toàn và giao dịch gian lận.

Ứng dụng và ví dụ trong thực tế#

Độ trôi dữ liệu là một thách thức phổ biến trong các ngành mà Trí tuệ nhân tạo (AI) tương tác với các môi trường vật lý năng động.

1. Hệ thống tự hành: Trong lĩnh vực xe tự hành, các model perception dựa vào phát hiện đối tượng để điều hướng an toàn. Một model được huấn luyện chủ yếu trên dữ liệu từ các tuyến đường đầy nắng ở California có thể gặp độ trôi dữ liệu nghiêm trọng nếu được triển khai tại một khu vực có tuyết rơi dày. Các đầu vào hình ảnh (làn đường phủ tuyết, biển báo bị che khuất) khác biệt đáng kể so với tập huấn luyện, có khả năng làm ảnh hưởng đến các tính năng an toàn như phát hiện làn đường.

2. Chụp ảnh y tế: Các hệ thống phân tích hình ảnh y tế có thể bị trôi khi bệnh viện nâng cấp phần cứng. Nếu một model được huấn luyện trên ảnh X-quang từ một nhà sản xuất máy quét cụ thể, việc đưa vào sử dụng một máy mới với độ phân giải hoặc cài đặt độ tương phản khác nhau sẽ tạo ra sự thay đổi trong phân phối dữ liệu. Nếu không có bảo trì model, hiệu năng chẩn đoán có thể giảm.

Chiến lược phát hiện và giảm thiểu#

Việc xác định độ trôi sớm giúp ngăn chặn "lỗi thầm lặng", trong đó model đưa ra các dự đoán sai nhưng đầy tự tin. Các nhóm sử dụng nhiều chiến lược khác nhau để phát hiện những điểm bất thường này trước khi chúng ảnh hưởng đến kết quả kinh doanh.

Phương pháp phát hiện#

• Kiểm định thống kê: Các kỹ sư thường sử dụng những phương pháp như kiểm định Kolmogorov-Smirnov để so sánh bằng phương pháp toán học phân phối của dữ liệu production đầu vào với baseline huấn luyện.
• Giám sát hiệu năng: Theo dõi các metric như precision và recall theo thời gian thực có thể đóng vai trò chỉ báo thay thế cho việc phát hiện độ trôi. Sự sụt giảm đột ngột trong điểm confidence trung bình của model YOLO26 thường cho thấy model đang gặp khó khăn với các mẫu dữ liệu mới.
• Trực quan hóa: Các công cụ như TensorBoard hoặc các nền tảng chuyên dụng như Grafana cho phép các nhóm trực quan hóa histogram của các phân phối đặc trưng, giúp dễ dàng phát hiện những thay đổi bằng mắt.

Kỹ thuật giảm thiểu#

• Huấn luyện lại: Giải pháp mạnh mẽ nhất thường là huấn luyện lại model. Quy trình này bao gồm thu thập dữ liệu mới đã bị trôi, gắn nhãn cho dữ liệu và kết hợp dữ liệu đó với dataset ban đầu. Ultralytics Platform đơn giản hóa quy trình này bằng cách cung cấp các công cụ quản lý dataset và huấn luyện trên cloud.
• Tăng cường dữ liệu: Áp dụng tăng cường dữ liệu mở rộng trong quá trình huấn luyện ban đầu—chẳng hạn như thay đổi độ sáng, thêm nhiễu hoặc xoay hình ảnh—có thể giúp model bền vững hơn trước những thay đổi nhỏ của môi trường.
• Thích nghi miền: Các kỹ thuật trong transfer learning cho phép model thích nghi với một miền đích mới bằng cách sử dụng một lượng dữ liệu được gắn nhãn nhỏ hơn, thu hẹp khoảng cách giữa môi trường huấn luyện nguồn và thực tế production mới.

Bạn có thể triển khai tính năng giám sát độ trôi cơ bản bằng cách kiểm tra confidence của các dự đoán do model đưa ra. Nếu confidence trung bình liên tục giảm xuống dưới một ngưỡng đáng tin cậy, hệ thống có thể kích hoạt cảnh báo để xem xét dữ liệu.

from ultralytics import YOLO

# Load the official YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a new image from the production stream
results = model("https://ultralytics.com/images/bus.jpg")

# Monitor confidence scores; consistently low scores may signal data drift
for result in results:
    for box in result.boxes:
        print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Quản lý độ trôi dữ liệu không phải là một giải pháp chỉ thực hiện một lần mà là một quy trình liên tục trong vòng đời. Các nhà cung cấp cloud cung cấp những dịch vụ được quản lý như AWS SageMaker Model Monitor hoặc Google Cloud Vertex AI để tự động hóa quy trình này. Bằng cách chủ động giám sát những thay đổi này, các tổ chức đảm bảo model của họ vẫn bền vững, duy trì các tiêu chuẩn cao về an toàn AI và hiệu quả vận hành.