Principal Component Analysis (PCA)

Principal Component Analysis (PCA) là một kỹ thuật thống kê được sử dụng rộng rãi trong machine learning (ML) giúp đơn giản hóa độ phức tạp của dữ liệu có chiều cao trong khi vẫn giữ lại thông tin cốt lõi nhất của dữ liệu đó. Nó hoạt động như một phương pháp dimensionality reduction, biến đổi các tập dữ liệu lớn với nhiều biến thành một tập hợp nhỏ hơn và dễ quản lý hơn gọi là "các thành phần chính". Bằng cách xác định các hướng mà dữ liệu biến thiên nhiều nhất, PCA cho phép các nhà khoa học dữ liệu giảm chi phí tính toán và loại bỏ nhiễu mà không làm mất đi các mẫu quan trọng. Quá trình này là một bước quan trọng trong data preprocessing hiệu quả và thường được sử dụng để trực quan hóa các tập dữ liệu phức tạp trong không gian hai hoặc ba chiều.

Cách thức hoạt động của PCA#

Về bản chất, PCA là một kỹ thuật biến đổi tuyến tính sắp xếp lại dữ liệu dựa trên phương sai. Trong một tập dữ liệu có nhiều đặc trưng—chẳng hạn như giá trị pixel trong một hình ảnh hoặc các chỉ số cảm biến trong một mạng Internet of Things (IoT)—các biến thường chồng chéo lên nhau về thông tin mà chúng truyền tải. PCA xác định các biến mới không có tương quan (các thành phần chính) nhằm tối đa hóa phương sai một cách tuần tự. Thành phần đầu tiên nắm bắt lượng biến động lớn nhất có thể trong dữ liệu, thành phần thứ hai nắm bắt lượng lớn tiếp theo (đồng thời vuông góc với thành phần đầu tiên), cứ tiếp tục như vậy.

Bằng cách chỉ giữ lại một vài thành phần hàng đầu và loại bỏ phần còn lại, các kỹ sư có thể đạt được khả năng nén đáng kể. Điều này giúp giảm thiểu curse of dimensionality, hiện tượng mà hiệu suất predictive modeling giảm đi khi số lượng đặc trưng tăng lên so với các mẫu huấn luyện có sẵn.

Các ứng dụng trong thực tế#

PCA có tính linh hoạt cao và hỗ trợ các giai đoạn khác nhau trong AI development lifecycle, từ làm sạch dữ liệu đến trực quan hóa nội bộ của model.

• Trực quan hóa các Image Embedding: Trong các tác vụ computer vision (CV) nâng cao, các model như YOLO26 tạo ra các embeddings có số chiều cao để đại diện cho hình ảnh. Các vector này có thể chứa 512 hoặc 1024 giá trị riêng biệt, khiến con người không thể nhìn thấy trực tiếp bằng mắt thường. Các kỹ sư sử dụng PCA để chiếu các embedding này lên một biểu đồ 2D, cho phép họ kiểm tra trực quan mức độ model phân tách các lớp khác nhau, chẳng hạn như phân biệt "người đi bộ" với "người đi xe đạp" trong hệ thống autonomous vehicle.
• Tiền xử lý để Phát hiện Bất thường: Các tổ chức tài chính và công ty an ninh mạng sử dụng PCA cho anomaly detection. Bằng cách lập mô hình hành vi bình thường của một hệ thống sử dụng các thành phần chính, bất kỳ giao dịch hoặc gói mạng nào không được tái tạo tốt bởi các thành phần này sẽ bị gắn cờ là giá trị ngoại lai. Phương pháp này rất hiệu quả để phát hiện gian lận hoặc adversarial attacks trong các luồng thời gian thực.

PCA so với t-SNE và Autoencoders#

Mặc dù PCA là một công cụ tiêu chuẩn cho feature extraction, nhưng việc phân biệt nó với các kỹ thuật giảm chiều khác là rất hữu ích:

• t-SNE (t-Distributed Stochastic Neighbor Embedding): PCA là một phương pháp tuyến tính bảo toàn cấu trúc tổng thể và phương sai. Ngược lại, t-SNE là một kỹ thuật xác suất phi tuyến tính nổi trội trong việc bảo toàn các cấu trúc vùng lân cận cục bộ, làm cho nó phù hợp hơn để trực quan hóa các cụm riêng biệt nhưng đòi hỏi nhiều tài nguyên tính toán hơn.
• Autoencoders: Đây là các neural networks được huấn luyện để nén và tái tạo dữ liệu. Khác với PCA, autoencoders có thể học các ánh xạ phi tuyến tính phức tạp. Tuy nhiên, chúng đòi hỏi nhiều training data và tài nguyên tính toán hơn đáng kể để huấn luyện hiệu quả.

Ví dụ với Python: Nén các đặc trưng#

Ví dụ sau minh họa cách sử dụng scikit-learn để giảm các vector đặc trưng có số chiều cao. Quy trình này mô phỏng việc nén đầu ra của một model thị giác trước khi lưu trữ nó vào vector database hoặc sử dụng nó để phân cụm.

import numpy as np
from sklearn.decomposition import PCA

# Simulate 100 image embeddings, each with 512 dimensions (features)
embeddings = np.random.rand(100, 512)

# Initialize PCA to reduce the data to 3 principal components
pca = PCA(n_components=3)

# Fit and transform the embeddings to the lower dimension
reduced_data = pca.fit_transform(embeddings)

print(f"Original shape: {embeddings.shape}")  # Output: (100, 512)
print(f"Reduced shape: {reduced_data.shape}")  # Output: (100, 3)

Tích hợp PCA vào các pipeline trên Ultralytics Platform có thể giúp hợp lý hóa quá trình model training bằng cách giảm độ phức tạp của đầu vào, dẫn đến các thử nghiệm nhanh hơn và các giải pháp AI mạnh mẽ hơn.