Data Preprocessing

Tiền xử lý dữ liệu là bước đầu tiên quan trọng trong quy trình machine learning, nơi dữ liệu thô được chuyển đổi sang định dạng sạch và dễ hiểu cho các thuật toán. Trong thế giới thực, dữ liệu thường không đầy đủ, không nhất quán và thiếu các hành vi hoặc xu hướng cụ thể, khiến nó có vẻ "nhiễu" hoặc "bẩn" đối với máy tính. Tiền xử lý giúp thu hẹp khoảng cách giữa thông tin thô và các đầu vào có cấu trúc cần thiết cho mạng thần kinh, tác động đáng kể đến độ chính xác và hiệu quả của mô hình cuối cùng. Bằng cách chuẩn hóa và làm sạch các bộ dữ liệu, các kỹ sư đảm bảo rằng các kiến trúc phức tạp như YOLO26 có thể học được các mẫu có ý nghĩa thay vì nhiễu.

Link to this sectionTại sao Tiền xử lý dữ liệu lại quan trọng?#

Các mô hình machine learning, đặc biệt là những mô hình được sử dụng trong thị giác máy tính, rất nhạy cảm với chất lượng và quy mô của dữ liệu đầu vào. Nếu không có tiền xử lý thích hợp, mô hình có thể gặp khó khăn trong việc hội tụ trong quá trình huấn luyện hoặc đưa ra các dự đoán không đáng tin cậy. Ví dụ, nếu hình ảnh trong tập dữ liệu có độ phân giải hoặc thang màu khác nhau, mô hình phải tiêu tốn thêm năng lực để học cách xử lý những điểm không nhất quán này thay vì tập trung vào tác vụ phát hiện đối tượng thực tế.

Các kỹ thuật tiền xử lý thường nhằm mục đích:

• Cải thiện chất lượng dữ liệu: Loại bỏ lỗi, giá trị ngoại lai và các bản sao để đảm bảo tập dữ liệu đại diện chính xác cho không gian vấn đề.
• Chuẩn hóa đầu vào: Thay đổi tỷ lệ các đặc trưng (như giá trị pixel) về một phạm vi đồng nhất, thường là từ 0 đến 1, để giúp các thuật toán tối ưu hóa như gradient descent hoạt động mượt mà hơn.
• Giảm độ phức tạp: Đơn giản hóa các biểu diễn dữ liệu thông qua các kỹ thuật như giảm chiều dữ liệu, giúp quá trình học tập nhanh hơn.

Link to this sectionCác kỹ thuật chính trong tiền xử lý#

Một vài phương pháp tiêu chuẩn được sử dụng để chuẩn bị dữ liệu cho việc huấn luyện, mỗi phương pháp phục vụ một mục đích cụ thể trong đường ống dữ liệu.

• Làm sạch dữ liệu: Điều này bao gồm xử lý các giá trị bị thiếu (imputation), hiệu chỉnh nhãn không nhất quán và lọc bỏ các tệp bị hỏng. Trong bối cảnh AI thị giác, điều này có thể có nghĩa là loại bỏ các hình ảnh bị mờ hoặc sửa tọa độ bbox không chính xác.
• Chuẩn hóa và Thay đổi tỷ lệ: Vì cường độ pixel có thể thay đổi đáng kể, việc chuẩn hóa hình ảnh đảm bảo rằng các pixel có giá trị cao không lấn át quá trình học. Các phương pháp phổ biến bao gồm Min-Max scaling và Z-score normalization.
• Mã hóa: Dữ liệu phân loại, như nhãn lớp (ví dụ: "mèo", "chó"), phải được chuyển đổi sang định dạng số. Các kỹ thuật như one-hot encoding hoặc mã hóa nhãn là thực tiễn tiêu chuẩn.
• Thay đổi kích thước và Định dạng: Các mô hình deep learning thường yêu cầu đầu vào có kích thước cố định. Các đường ống tiền xử lý tự động thay đổi kích thước các hình ảnh khác biệt về một kích thước chuẩn, chẳng hạn như 640x640 pixel, điều này phổ biến cho suy luận thời gian thực.

Link to this sectionCác ứng dụng trong thực tế#

Tiền xử lý dữ liệu rất phổ biến trong các ngành công nghiệp, đảm bảo rằng các đầu vào thô được chuyển đổi thành những hiểu biết có thể hành động được.

Link to this sectionChẩn đoán hình ảnh y tế#

Trong AI chăm sóc sức khỏe, tiền xử lý rất quan trọng để phân tích tia X hoặc quét MRI. Hình ảnh y tế thô thường chứa nhiễu từ cảm biến hoặc sự thay đổi về ánh sáng và độ tương phản tùy thuộc vào máy móc được sử dụng. Các bước tiền xử lý như histogram equalization tăng cường độ tương phản để làm cho các khối u hoặc vết gãy hiển thị rõ hơn, trong khi các bộ lọc giảm nhiễu làm rõ cấu trúc hình ảnh. Việc chuẩn bị này cho phép các mô hình thực hiện phát hiện khối u với độ chính xác cao hơn, có khả năng cứu sống bệnh nhân bằng cách giảm thiểu âm tính giả.

Link to this sectionXe tự hành#

Xe tự lái dựa vào đầu vào từ nhiều cảm biến, bao gồm LiDAR, radar và camera. Các cảm biến này tạo ra dữ liệu ở các tốc độ và tỷ lệ khác nhau. Tiền xử lý đồng bộ hóa các luồng này và lọc bỏ nhiễu môi trường, như mưa hoặc lóa sáng, trước khi hợp nhất dữ liệu. Đối với xe tự hành, điều này đảm bảo rằng hệ thống nhận thức nhận được một cái nhìn mạch lạc về đường đi, cho phép điều hướng an toàn và phát hiện người đi bộ đáng tin cậy trong môi trường thời gian thực.

Link to this sectionCác khái niệm liên quan#

Điều quan trọng là phải phân biệt tiền xử lý dữ liệu với các thuật ngữ khác xuất hiện trong quy trình machine learning.

• vs. Tăng cường dữ liệu: Trong khi tiền xử lý chuẩn bị dữ liệu để có thể sử dụng về mặt kỹ thuật bởi mô hình (ví dụ: thay đổi kích thước), tăng cường tạo ra các biến thể mới của dữ liệu hiện có (ví dụ: xoay hoặc lật hình ảnh) để tăng tính đa dạng của tập dữ liệu. Xem hướng dẫn của chúng tôi về tăng cường dữ liệu YOLO để biết thêm chi tiết.
• vs. Kỹ thuật đặc trưng: Tiền xử lý là về làm sạch và định dạng. Kỹ thuật đặc trưng liên quan đến việc tạo ra các biến mới, có ý nghĩa từ dữ liệu để cải thiện hiệu suất mô hình, chẳng hạn như tính toán "chỉ số khối cơ thể" từ các cột chiều cao và cân nặng.
• vs. Gán nhãn dữ liệu: Gán nhãn là quá trình xác định sự thật nền (ground truth), chẳng hạn như vẽ bbox xung quanh các đối tượng. Tiền xử lý diễn ra sau khi thu thập và gán nhãn dữ liệu nhưng trước khi dữ liệu được đưa vào mạng thần kinh.

Link to this sectionVí dụ thực tế#

In the Ultralytics ecosystem, preprocessing is often handled automatically during the training pipeline. However, you can also manually preprocess images using libraries like OpenCV. The following snippet demonstrates loading an image, resizing it to a standard input size for a model like YOLO26, and normalizing pixel values.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Đối với các dự án quy mô lớn, việc sử dụng các công cụ như Ultralytics Platform có thể hợp lý hóa các quy trình này. Nền tảng này đơn giản hóa quản lý tập dữ liệu, tự động hóa nhiều tác vụ tiền xử lý và chú thích để đẩy nhanh quá trình chuyển đổi từ dữ liệu thô sang mô hình được triển khai.