Data Cleaning

Làm sạch dữ liệu là quy trình quan trọng để phát hiện và sửa chữa (hoặc xóa) các bản ghi bị hỏng, không chính xác hoặc không liên quan khỏi một tập bản ghi, bảng hoặc cơ sở dữ liệu. Trong lĩnh vực trí tuệ nhân tạo (AI) và học máy (ML), bước này thường được xem là phần tốn nhiều thời gian nhất nhưng thiết yếu nhất của quy trình làm việc. Trước khi một model như YOLO26 có thể học hiệu quả cách nhận diện các đối tượng, dữ liệu huấn luyện phải được loại bỏ lỗi để ngăn chặn hiện tượng "Garbage In, Garbage Out", trong đó đầu vào kém chất lượng dẫn đến đầu ra không đáng tin cậy.

Tầm quan trọng của tính toàn vẹn dữ liệu trong AI#

Các model thị giác máy tính có hiệu năng cao phụ thuộc rất nhiều vào chất lượng của các dataset mà chúng sử dụng. Nếu một dataset chứa hình ảnh gán nhãn sai, bản trùng lặp hoặc tệp bị hỏng, model sẽ gặp khó khăn trong việc khái quát hóa các pattern, dẫn đến overfitting hoặc độ chính xác suy luận kém. Làm sạch dữ liệu hiệu quả sẽ cải thiện độ tin cậy của các model dự đoán và đảm bảo thuật toán học từ các tín hiệu hợp lệ thay vì nhiễu.

Các kỹ thuật làm sạch dữ liệu phổ biến#

Các chuyên gia sử dụng nhiều chiến lược khác nhau để tinh chỉnh dataset bằng các công cụ như Pandas cho dữ liệu dạng bảng hoặc các công cụ thị giác chuyên dụng.

• Xử lý giá trị thiếu: Việc này bao gồm xóa các bản ghi có dữ liệu thiếu hoặc sử dụng các kỹ thuật nội suy để điền vào khoảng trống dựa trên các giá trị trung bình thống kê hoặc các điểm lân cận gần nhất.
• Xóa bản trùng lặp: Hình ảnh trùng lặp trong tập huấn luyện có thể vô tình tạo ra bias cho model. Việc xóa chúng đảm bảo model không ghi nhớ các ví dụ cụ thể, qua đó giúp giảm bias của dataset.
• Phát hiện ngoại lệ: Việc xác định và xử lý các điểm bất thường hoặc các giá trị ngoại lệ lệch đáng kể so với chuẩn là rất quan trọng, vì chúng có thể làm sai lệch phân tích thống kê và trọng số của model.
• Sửa chữa cấu trúc: Việc này bao gồm sửa lỗi chính tả trong nhãn class (ví dụ: sửa "Car" thành "car") để đảm bảo tính nhất quán của class.

Các ứng dụng trong thực tế#

Làm sạch dữ liệu đóng vai trò then chốt trong nhiều ngành công nghiệp triển khai AI.

• Phân tích hình ảnh y tế: Trong các ứng dụng AI trong lĩnh vực chăm sóc sức khỏe, dataset thường chứa ảnh quét có nhiễu, metadata bệnh nhân không chính xác hoặc nhiễu nền không liên quan. Làm sạch dữ liệu này đảm bảo các model phân tích hình ảnh y tế chỉ tập trung vào các dấu hiệu sinh học liên quan đến chẩn đoán.
• Quản lý hàng tồn kho bán lẻ: Đối với AI trong bán lẻ, dataset sản phẩm có thể chứa các mặt hàng đã lỗi thời hoặc hình ảnh có tỷ lệ khung hình không chính xác. Làm sạch các dataset này đảm bảo các model phát hiện đối tượng có thể xác định chính xác mức tồn kho và giảm các positive giả trong môi trường thực tế.

Phân biệt làm sạch dữ liệu với tiền xử lý#

Mặc dù thường được sử dụng thay thế cho nhau, làm sạch dữ liệu khác với tiền xử lý dữ liệu. Làm sạch dữ liệu tập trung vào việc sửa lỗi và loại bỏ dữ liệu "xấu". Ngược lại, tiền xử lý bao gồm việc chuyển đổi dữ liệu sạch sang định dạng phù hợp với model, chẳng hạn như thay đổi kích thước hình ảnh, chuẩn hóa hoặc áp dụng tăng cường dữ liệu để tăng tính đa dạng.

Tự động hóa việc kiểm tra chất lượng#

Các quy trình làm việc hiện đại, chẳng hạn như những quy trình có trên Ultralytics Platform, tích hợp các bước kiểm tra tự động để xác định hình ảnh bị hỏng hoặc sự không nhất quán của nhãn trước khi bắt đầu huấn luyện. Dưới đây là một ví dụ Python đơn giản minh họa cách kiểm tra và xác định các tệp hình ảnh bị hỏng bằng thư viện Pillow tiêu chuẩn, một bước phổ biến trước khi đưa dữ liệu vào model như YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")