Data Cleaning

Làm sạch dữ liệu là quá trình quan trọng nhằm phát hiện và sửa chữa (hoặc loại bỏ) các bản ghi bị hỏng, không chính xác hoặc không liên quan khỏi tập bản ghi, bảng hoặc cơ sở dữ liệu. Trong lĩnh vực artificial intelligence (AI) và machine learning (ML), bước này thường được coi là phần tốn thời gian nhất nhưng lại thiết yếu nhất trong chu trình làm việc. Trước khi một model như YOLO26 có thể học cách nhận diện đối tượng một cách hiệu quả, training data phải được loại bỏ lỗi để ngăn chặn hiện tượng "Đầu vào rác, đầu ra rác" (Garbage In, Garbage Out), nơi dữ liệu đầu vào kém chất lượng dẫn đến kết quả đầu ra không đáng tin cậy.

Tầm quan trọng của tính toàn vẹn dữ liệu trong AI#

Các model computer vision hiệu suất cao phụ thuộc rất nhiều vào chất lượng của dataset mà chúng sử dụng. Nếu một dataset chứa hình ảnh bị gán nhãn sai, trùng lặp hoặc file bị hỏng, model sẽ gặp khó khăn trong việc khái quát hóa các mẫu, dẫn đến hiện tượng overfitting hoặc inference accuracy kém. Làm sạch dữ liệu hiệu quả giúp cải thiện reliability of predictive models và đảm bảo rằng thuật toán học từ các tín hiệu hợp lệ thay vì nhiễu.

Các kỹ thuật làm sạch dữ liệu phổ biến#

Các kỹ sư áp dụng nhiều chiến lược khác nhau để tinh chỉnh dataset của họ bằng cách sử dụng các công cụ như Pandas cho dữ liệu dạng bảng hoặc các công cụ vision chuyên dụng.

• Xử lý giá trị bị thiếu: Quá trình này bao gồm việc loại bỏ các bản ghi thiếu dữ liệu hoặc sử dụng imputation techniques để điền vào các khoảng trống dựa trên số liệu trung bình thống kê hoặc các lân cận gần nhất.
• Loại bỏ bản sao: Hình ảnh trùng lặp trong tập huấn luyện có thể vô tình làm lệch hướng model. Việc loại bỏ chúng đảm bảo model không ghi nhớ các ví dụ cụ thể, giúp giảm thiểu dataset bias.
• Phát hiện ngoại lai: Xác định và xử lý các anomalies hoặc outliers lệch đáng kể so với tiêu chuẩn là rất quan trọng, vì chúng có thể làm sai lệch phân tích thống kê và trọng số của model.
• Sửa chữa cấu trúc: Điều này bao gồm việc sửa các lỗi đánh máy trong nhãn lớp (ví dụ: sửa "Car" thành "car") để đảm bảo class consistency.

Các ứng dụng trong thực tế#

Làm sạch dữ liệu đóng vai trò then chốt trong nhiều ngành công nghiệp nơi AI được triển khai.

• Phân tích hình ảnh y tế: Trong các healthcare AI applications, các dataset thường chứa ảnh quét có nhiễu, siêu dữ liệu bệnh nhân không chính xác hoặc nhiễu nền không liên quan. Làm sạch dữ liệu này đảm bảo rằng các model medical image analysis chỉ tập trung vào các dấu hiệu sinh học liên quan đến chẩn đoán.
• Quản lý hàng tồn kho bán lẻ: Đối với AI in retail, các dataset sản phẩm có thể chứa các mặt hàng lỗi thời hoặc hình ảnh có tỷ lệ khung hình không chính xác. Làm sạch các dataset này đảm bảo rằng các model object detection có thể xác định chính xác mức tồn kho và giảm thiểu các kết quả dương tính giả trong môi trường thực tế.

Phân biệt giữa làm sạch dữ liệu và tiền xử lý#

Dù thường được sử dụng thay thế cho nhau, làm sạch dữ liệu khác biệt với data preprocessing. Làm sạch dữ liệu tập trung vào việc sửa lỗi và loại bỏ dữ liệu "xấu". Ngược lại, tiền xử lý bao gồm việc chuyển đổi dữ liệu sạch thành định dạng phù hợp cho model, chẳng hạn như image resizing, chuẩn hóa, hoặc áp dụng data augmentation để tăng sự đa dạng.

Tự động hóa các kiểm tra chất lượng#

Các chu trình làm việc hiện đại, chẳng hạn như những chu trình có sẵn trên Ultralytics Platform, tích hợp các quy kiểm tra tự động để xác định hình ảnh bị hỏng hoặc sự không nhất quán về nhãn trước khi quá trình huấn luyện bắt đầu. Dưới đây là một ví dụ đơn giản bằng Python minh họa cách kiểm tra và xác định các file hình ảnh bị hỏng bằng cách sử dụng thư viện tiêu chuẩn Pillow library, một bước phổ biến trước khi đưa dữ liệu vào một model như YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")