Data Cleaning

Làm sạch dữ liệu là quy trình thiết yếu để phát hiện và sửa chữa (hoặc loại bỏ) các bản ghi bị lỗi, không chính xác hoặc không liên quan khỏi một tập bản ghi, bảng hoặc database. Trong lĩnh vực trí tuệ nhân tạo (AI) và học máy (ML), bước này thường được xem là phần tốn thời gian nhất nhưng cũng thiết yếu nhất của quy trình làm việc. Trước khi model như YOLO26 có thể học hiệu quả cách nhận diện đối tượng, dữ liệu huấn luyện phải được lọc bỏ lỗi để tránh hiện tượng "Đầu vào rác, đầu ra rác", trong đó đầu vào kém chất lượng dẫn đến đầu ra không đáng tin cậy.

Tầm quan trọng của tính toàn vẹn dữ liệu trong AI#

Các model thị giác máy tính có hiệu năng cao phụ thuộc nhiều vào chất lượng dataset mà chúng sử dụng. Nếu dataset chứa ảnh gán nhãn sai, ảnh trùng lặp hoặc tệp bị hỏng, model sẽ khó tổng quát hóa các mẫu, dẫn đến overfitting hoặc độ chính xác suy luận kém. Làm sạch dữ liệu hiệu quả giúp cải thiện độ tin cậy của model dự đoán và đảm bảo thuật toán học từ các tín hiệu hợp lệ thay vì nhiễu.

Các kỹ thuật làm sạch dữ liệu phổ biến#

Các chuyên gia áp dụng nhiều chiến lược để tinh chỉnh dataset bằng những công cụ như Pandas cho dữ liệu dạng bảng hoặc các công cụ chuyên dụng cho thị giác.

• Xử lý giá trị bị thiếu: Bao gồm việc loại bỏ các bản ghi thiếu dữ liệu hoặc sử dụng kỹ thuật nội suy để điền vào chỗ trống dựa trên giá trị trung bình thống kê hoặc các điểm lân cận gần nhất.
• Loại bỏ dữ liệu trùng lặp: Ảnh trùng lặp trong tập huấn luyện có thể vô tình làm lệch model. Loại bỏ chúng đảm bảo model không ghi nhớ các ví dụ cụ thể, qua đó giúp giảm thiểu độ lệch dataset.
• Phát hiện ngoại lệ: Việc xác định và xử lý điểm bất thường hoặc ngoại lệ lệch đáng kể so với mức thông thường là rất quan trọng, vì chúng có thể làm sai lệch phân tích thống kê và trọng số model.
• Sửa lỗi cấu trúc: Bao gồm sửa lỗi chính tả trong nhãn lớp (ví dụ: sửa "Car" thành "car") để đảm bảo tính nhất quán của lớp.

Ứng dụng thực tế#

Làm sạch dữ liệu đóng vai trò then chốt trong nhiều ngành triển khai AI.

• Phân tích ảnh y khoa: Trong các ứng dụng AI trong chăm sóc sức khỏe, dataset thường chứa ảnh quét có nhiễu giả ảnh, siêu dữ liệu bệnh nhân không chính xác hoặc nhiễu nền không liên quan. Làm sạch dữ liệu đảm bảo các model phân tích ảnh y khoa chỉ tập trung vào những dấu hiệu sinh học liên quan đến chẩn đoán.
• Quản lý hàng tồn kho bán lẻ: Đối với AI trong ngành bán lẻ, dataset sản phẩm có thể chứa mặt hàng lỗi thời hoặc hình ảnh có tỷ lệ khung hình không chính xác. Làm sạch các dataset này đảm bảo model phát hiện đối tượng có thể xác định chính xác mức tồn kho và giảm cảnh báo dương tính giả trong môi trường thực tế.

Phân biệt làm sạch dữ liệu với tiền xử lý#

Dù thường được dùng thay thế cho nhau, làm sạch dữ liệu khác với tiền xử lý dữ liệu. Làm sạch dữ liệu tập trung sửa lỗi và loại bỏ dữ liệu “xấu”. Ngược lại, tiền xử lý biến đổi dữ liệu sạch sang định dạng phù hợp với model, chẳng hạn như thay đổi kích thước ảnh, chuẩn hóa hoặc áp dụng tăng cường dữ liệu để tăng tính đa dạng.

Tự động hóa kiểm tra chất lượng#

Các quy trình làm việc hiện đại, chẳng hạn như những quy trình có trên Ultralytics Platform, tích hợp các bước kiểm tra tự động để phát hiện ảnh bị hỏng hoặc nhãn không nhất quán trước khi bắt đầu huấn luyện. Dưới đây là ví dụ Python đơn giản minh họa cách kiểm tra và xác định tệp ảnh bị hỏng bằng thư viện tiêu chuẩn Pillow, một bước phổ biến trước khi đưa dữ liệu vào model như YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")