Data Preprocessing

Tiền xử lý dữ liệu là bước đầu tiên quan trọng trong pipeline machine learning, trong đó dữ liệu thô được chuyển đổi thành định dạng sạch và dễ hiểu đối với các thuật toán. Trong thực tế, dữ liệu thường không đầy đủ, không nhất quán và thiếu các hành vi hoặc xu hướng cụ thể, khiến máy tính xem dữ liệu là "bẩn" hoặc "nhiễu". Tiền xử lý thu hẹp khoảng cách giữa thông tin thô và các đầu vào có cấu trúc cần thiết cho neural networks, đồng thời ảnh hưởng đáng kể đến độ chính xác và hiệu suất của model cuối cùng. Bằng cách chuẩn hóa và làm sạch dataset, các kỹ sư đảm bảo rằng những kiến trúc tiên tiến như YOLO26 có thể học các mẫu có ý nghĩa thay vì học nhiễu.

Tại sao tiền xử lý dữ liệu lại quan trọng?#

Các model machine learning, đặc biệt là những model được sử dụng trong computer vision, rất nhạy cảm với chất lượng và quy mô của dữ liệu đầu vào. Nếu không được tiền xử lý đúng cách, model có thể gặp khó khăn trong việc hội tụ khi training hoặc tạo ra các dự đoán không đáng tin cậy. Chẳng hạn, nếu các ảnh trong dataset có độ phân giải hoặc thang màu khác nhau, model phải tiêu tốn thêm capacity để học cách xử lý những điểm không nhất quán này thay vì tập trung vào tác vụ phát hiện đối tượng thực tế.

Các kỹ thuật tiền xử lý thường hướng đến những mục tiêu sau:

• Cải thiện chất lượng dữ liệu: Loại bỏ lỗi, outlier và bản sao để đảm bảo dataset phản ánh chính xác không gian bài toán.
• Chuẩn hóa đầu vào: Rescale các feature (chẳng hạn như giá trị pixel) về một khoảng đồng nhất, thường từ 0 đến 1, để giúp các thuật toán tối ưu hóa như gradient descent hoạt động ổn định hơn.
• Giảm độ phức tạp: Đơn giản hóa cách biểu diễn dữ liệu thông qua các kỹ thuật như giảm số chiều, giúp quá trình học nhanh hơn.

Các kỹ thuật tiền xử lý chính#

Một số phương pháp tiêu chuẩn được sử dụng để chuẩn bị dữ liệu cho training, mỗi phương pháp phục vụ một mục đích cụ thể trong data pipeline.

• Làm sạch dữ liệu: Công việc này bao gồm xử lý các giá trị thiếu (imputation), sửa nhãn không nhất quán và lọc các file bị hỏng. Trong bối cảnh vision AI, việc này có thể bao gồm loại bỏ ảnh bị mờ hoặc sửa các tọa độ bounding box không chính xác.
• Chuẩn hóa và scaling: Vì cường độ pixel có thể biến thiên trong phạm vi rộng, việc chuẩn hóa ảnh đảm bảo các pixel có giá trị cao không chi phối quá trình học. Các phương pháp phổ biến gồm scaling Min-Max và chuẩn hóa Z-score.
• Encoding: Dữ liệu phân loại, chẳng hạn như nhãn class (ví dụ: "cat", "dog"), phải được chuyển đổi sang các định dạng số. Những kỹ thuật như one-hot encoding hoặc label encoding là các phương pháp tiêu chuẩn.
• Thay đổi kích thước và định dạng: Các model deep learning thường yêu cầu đầu vào có kích thước cố định. Các pipeline tiền xử lý tự động thay đổi kích thước những ảnh khác nhau về một kích thước tiêu chuẩn, chẳng hạn 640x640 pixel, thường được sử dụng cho suy luận thời gian thực.

Các ứng dụng trong thực tế#

Tiền xử lý dữ liệu được sử dụng rộng rãi trong nhiều ngành, đảm bảo các đầu vào thô được chuyển thành những insight có thể hành động.

Chẩn đoán hình ảnh y khoa#

Trong AI y tế, tiền xử lý đóng vai trò thiết yếu khi phân tích ảnh X-quang hoặc ảnh chụp MRI. Ảnh y khoa thô thường chứa nhiễu từ cảm biến hoặc có sự khác biệt về ánh sáng và độ tương phản tùy theo máy được sử dụng. Các bước tiền xử lý như cân bằng histogram làm tăng độ tương phản để khối u hoặc chỗ gãy dễ nhìn thấy hơn, trong khi các bộ lọc giảm nhiễu làm rõ cấu trúc ảnh. Việc chuẩn bị này cho phép các model thực hiện phát hiện khối u với độ chính xác cao hơn, qua đó có khả năng cứu sống người bệnh bằng cách giảm số ca âm tính giả.

Lái xe tự hành#

Xe tự lái dựa vào đầu vào từ nhiều cảm biến, bao gồm LiDAR, radar và camera. Các cảm biến này tạo ra dữ liệu ở những tốc độ và quy mô khác nhau. Tiền xử lý đồng bộ hóa các luồng dữ liệu này và lọc nhiễu môi trường, chẳng hạn như mưa hoặc ánh sáng chói, trước khi hợp nhất dữ liệu. Đối với xe tự hành, điều này đảm bảo hệ thống perception nhận được một khung nhìn nhất quán về con đường, cho phép điều hướng an toàn và phát hiện người đi bộ đáng tin cậy trong môi trường thời gian thực.

Các khái niệm liên quan#

Điều quan trọng là phân biệt tiền xử lý dữ liệu với các thuật ngữ khác xuất hiện trong workflow machine learning.

• so với Tăng cường dữ liệu: Trong khi tiền xử lý chuẩn bị dữ liệu để model có thể sử dụng về mặt kỹ thuật (ví dụ: thay đổi kích thước), augmentation tạo ra các biến thể mới từ dữ liệu hiện có (ví dụ: xoay hoặc lật ảnh) để tăng tính đa dạng của dataset. Xem hướng dẫn của chúng tôi về tăng cường dữ liệu YOLO để biết thêm chi tiết.
• so với Feature Engineering: Tiền xử lý tập trung vào việc làm sạch và định dạng dữ liệu. Feature engineering bao gồm việc tạo các biến mới, có ý nghĩa từ dữ liệu để cải thiện hiệu suất model, chẳng hạn như tính "chỉ số khối cơ thể" từ các cột chiều cao và cân nặng.
• so với Gán nhãn dữ liệu: Gán nhãn là quá trình xác định ground truth, chẳng hạn như vẽ bounding box xung quanh các đối tượng. Tiền xử lý diễn ra sau khi thu thập và gán nhãn dữ liệu, nhưng trước khi dữ liệu được đưa vào neural network.

Ví dụ thực tế#

Trong hệ sinh thái Ultralytics, tiền xử lý thường được tự động thực hiện trong pipeline training. Tuy nhiên, bạn cũng có thể tiền xử lý ảnh thủ công bằng các thư viện như OpenCV. Đoạn code sau minh họa cách tải một ảnh, thay đổi kích thước ảnh về kích thước đầu vào tiêu chuẩn cho một model như YOLO26 và chuẩn hóa các giá trị pixel.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Đối với các dự án quy mô lớn, việc sử dụng các công cụ như Ultralytics Platform có thể hợp lý hóa những workflow này. Nền tảng này đơn giản hóa việc quản lý dataset, tự động hóa nhiều tác vụ tiền xử lý và annotation để đẩy nhanh quá trình chuyển đổi từ dữ liệu thô sang model được triển khai.