Data Preprocessing

Tiền xử lý dữ liệu (data preprocessing) là bước đầu tiên cực kỳ quan trọng trong quy trình máy học, nơi dữ liệu thô được chuyển đổi thành định dạng sạch sẽ và dễ hiểu cho các thuật toán. Trong thế giới thực, dữ liệu thường không đầy đủ, thiếu nhất quán và thiếu các hành vi hoặc xu hướng cụ thể, khiến máy tính nhìn nhận là "bẩn" hoặc có "nhiễu". Tiền xử lý giúp thu hẹp khoảng cách giữa thông tin thô và các đầu vào có cấu trúc mà neural networks yêu cầu, ảnh hưởng đáng kể đến accuracy và hiệu suất của mô hình cuối cùng. Bằng cách chuẩn hóa và làm sạch các tập dữ liệu, các kỹ sư đảm bảo rằng các kiến trúc phức tạp như YOLO26 có thể học được các mẫu có ý nghĩa thay vì nhiễu.

Tại sao Tiền xử lý dữ liệu lại quan trọng?#

Các mô hình máy học, đặc biệt là những mô hình được sử dụng trong computer vision, rất nhạy cảm với chất lượng và tỷ lệ của dữ liệu đầu vào. Nếu không có tiền xử lý thích hợp, mô hình có thể gặp khó khăn trong việc hội tụ trong quá trình huấn luyện hoặc đưa ra các dự đoán không đáng tin cậy. Ví dụ, nếu các hình ảnh trong tập dữ liệu có độ phân giải hoặc thang màu khác nhau, mô hình sẽ phải tiêu tốn thêm dung lượng để học cách xử lý các điểm bất nhất này thay vì tập trung vào tác vụ object detection thực tế.

Các kỹ thuật tiền xử lý thường nhằm mục đích:

• Cải thiện chất lượng dữ liệu: Loại bỏ lỗi, giá trị ngoại lai và các bản sao để đảm bảo tập dữ liệu đại diện chính xác cho không gian vấn đề.
• Chuẩn hóa đầu vào: Điều chỉnh tỷ lệ các đặc trưng (như giá trị điểm ảnh) về một phạm vi đồng nhất, thường là từ 0 đến 1, để giúp các optimization algorithms như thuật toán giảm độ dốc (gradient descent) hoạt động mượt mà hơn.
• Giảm độ phức tạp: Đơn giản hóa các biểu diễn dữ liệu thông qua các kỹ thuật như dimensionality reduction, giúp quá trình học diễn ra nhanh hơn.

Các kỹ thuật chính trong tiền xử lý#

Một số phương pháp chuẩn được sử dụng để chuẩn bị dữ liệu cho quá trình huấn luyện, mỗi phương pháp phục vụ một mục đích cụ thể trong data pipeline.

• Data Cleaning: Quá trình này bao gồm việc xử lý các giá trị bị thiếu (imputation), sửa chữa các nhãn không nhất quán và lọc bỏ các tệp bị hỏng. Trong bối cảnh AI thị giác, điều này có thể có nghĩa là xóa các hình ảnh bị mờ hoặc sửa các tọa độ bounding box không chính xác.
• Chuẩn hóa và Tỷ lệ (Normalization and Scaling): Vì cường độ điểm ảnh có thể thay đổi rất nhiều, việc chuẩn hóa hình ảnh đảm bảo rằng các điểm ảnh giá trị cao không chi phối quá trình học. Các phương pháp phổ biến bao gồm tỷ lệ Min-Max và Z-score normalization.
• Mã hóa (Encoding): Dữ liệu phân loại (categorical data), chẳng hạn như nhãn lớp (ví dụ: "cat", "dog"), phải được chuyển đổi thành định dạng số. Các kỹ thuật như one-hot encoding hoặc mã hóa nhãn là thực tiễn tiêu chuẩn.
• Thay đổi kích thước và Định dạng (Resizing and Formatting): Các mô hình học sâu thường mong đợi đầu vào có kích thước cố định. Các pipeline tiền xử lý sẽ tự động thay đổi kích thước của các hình ảnh khác nhau về một kích thước chuẩn, chẳng hạn như 640x640 pixel, điều này rất phổ biến đối với real-time inference.

Các ứng dụng trong thực tế#

Tiền xử lý dữ liệu rất phổ biến trong các ngành công nghiệp, đảm bảo rằng các đầu vào thô được chuyển đổi thành những hiểu biết có thể hành động được.

Chẩn đoán hình ảnh y tế#

Trong healthcare AI, tiền xử lý đóng vai trò cực kỳ quan trọng đối với việc phân tích ảnh X-quang hoặc chụp cộng hưởng từ (MRI). Hình ảnh y tế thô thường chứa nhiễu từ các cảm biến hoặc sự biến đổi về ánh sáng và độ tương phản tùy thuộc vào máy móc được sử dụng. Các bước tiền xử lý như histogram equalization cải thiện độ tương phản để làm cho các khối u hoặc vết gãy hiển thị rõ hơn, trong khi các bộ lọc giảm nhiễu làm rõ cấu trúc hình ảnh. Việc chuẩn bị này cho phép các mô hình thực hiện tumor detection với độ chính xác cao hơn, có khả năng cứu sống bệnh nhân bằng cách giảm số lượng kết quả âm tính giả.

Xe tự hành#

Xe tự lái dựa vào đầu vào từ nhiều cảm biến, bao gồm LiDAR, radar và camera. Các cảm biến này tạo ra dữ liệu ở các tốc độ và tỷ lệ khác nhau. Tiền xử lý đồng bộ hóa các luồng này và lọc bỏ nhiễu môi trường, chẳng hạn như mưa hoặc lóa sáng, trước khi hợp nhất dữ liệu. Đối với autonomous vehicles, điều này đảm bảo rằng hệ thống nhận thức nhận được một cái nhìn mạch lạc về con đường, cho phép điều hướng an toàn và pedestrian detection đáng tin cậy trong môi trường thời gian thực.

Các khái niệm liên quan#

Điều quan trọng là phải phân biệt tiền xử lý dữ liệu với các thuật ngữ khác xuất hiện trong quy trình machine learning.

• so với Data Augmentation: Trong khi tiền xử lý chuẩn bị dữ liệu để mô hình có thể sử dụng được về mặt kỹ thuật (ví dụ: thay đổi kích thước), việc tăng cường dữ liệu tạo ra các biến thể mới của dữ liệu hiện có (ví dụ: xoay hoặc lật hình ảnh) để tăng tính đa dạng của tập dữ liệu. Xem hướng dẫn của chúng tôi về YOLO data augmentation để biết thêm chi tiết.
• so với Feature Engineering: Tiền xử lý là về làm sạch và định dạng. Kỹ thuật đặc trưng liên quan đến việc tạo ra các biến mới, có ý nghĩa từ dữ liệu để cải thiện model performance, chẳng hạn như tính toán "chỉ số khối cơ thể" từ các cột chiều cao và cân nặng.
• so với Data Labeling: Gắn nhãn là quá trình xác định ground truth, chẳng hạn như vẽ bounding boxes xung quanh các đối tượng. Tiền xử lý diễn ra sau khi thu thập và gắn nhãn dữ liệu nhưng trước khi dữ liệu được đưa vào neural network.

Ví dụ thực tế#

Trong hệ sinh thái Ultralytics, việc tiền xử lý thường được xử lý tự động trong quá trình huấn luyện. Tuy nhiên, bạn cũng có thể tự tiền xử lý hình ảnh bằng các thư viện như OpenCV. Đoạn mã sau minh họa cách tải một hình ảnh, thay đổi kích thước về kích thước đầu vào chuẩn cho một mô hình như YOLO26 và chuẩn hóa các giá trị điểm ảnh.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Đối với các dự án quy mô lớn, việc tận dụng các công cụ như Ultralytics Platform có thể hợp lý hóa các quy trình này. Nền tảng này đơn giản hóa việc dataset management, tự động hóa nhiều tác vụ tiền xử lý và chú thích để đẩy nhanh quá trình chuyển đổi từ dữ liệu thô sang mô hình đã được triển khai.