Principal Component Analysis (PCA)

Phân tích thành phần chính (PCA) là kỹ thuật giảm chiều tuyến tính, biểu diễn lại dữ liệu bằng các biến mới không tương quan gọi là thành phần chính, được sắp xếp theo lượng phương sai dữ liệu mà mỗi thành phần nắm bắt. Chỉ giữ lại một vài thành phần đầu tiên sẽ nén nhiều đặc trưng tương quan thành một số ít thành phần mà vẫn bảo toàn phần lớn thông tin. Karl Pearson giới thiệu phương pháp này năm 1901; Harold Hotelling phát triển thêm và đặt tên cho phương pháp vào năm 1933. PCA là kỹ thuật không giám sát, không sử dụng nhãn; đây cũng là bước tiền xử lý dữ liệu tiêu chuẩn, cách nhanh để trực quan hóa dữ liệu nhiều chiều trong hai hoặc ba chiều, cũng như baseline cho nén dữ liệu và loại bỏ nhiễu trong machine learning.

Cách PCA hoạt động#

Trước tiên, PCA căn giữa từng đặc trưng bằng cách trừ đi giá trị trung bình. Thành phần chính thứ nhất là hướng mà dữ liệu đã căn giữa biến thiên nhiều nhất; mỗi thành phần tiếp theo là hướng có phương sai còn lại lớn nhất và vuông góc với tất cả thành phần trước đó. Các thành phần là vector riêng của ma trận hiệp phương sai dữ liệu, còn các giá trị riêng tương ứng là phương sai dọc theo những hướng đó; thư viện tính cả hai bằng phân rã giá trị kỳ dị (SVD) của dữ liệu đã căn giữa, ổn định về mặt số học hơn so với việc tạo ma trận hiệp phương sai. Chiếu dữ liệu lên k thành phần đầu tiên tạo ra biểu diễn đã giảm chiều; ánh xạ ngược dữ liệu sẽ tái tạo một xấp xỉ của dữ liệu gốc. Trong tất cả các phép chiếu tuyến tính xuống k chiều, phép chiếu của PCA có sai số tái tạo bình phương nhỏ nhất.

Phương sai phụ thuộc vào đơn vị đo, vì vậy trước tiên cần chuẩn hóa các đặc trưng được đo trên những thang khác nhau, chẳng hạn thu nhập tính bằng đô la và tuổi tính bằng năm; nếu không, đặc trưng có phạm vi giá trị số lớn nhất sẽ chi phối thành phần đầu tiên. Số thành phần k thường được chọn dựa trên tỷ lệ phương sai giải thích, giữ lại các thành phần cho đến khi tổng tỷ lệ phương sai đạt mục tiêu như 95%, hoặc dựa trên điểm khuỷu trong biểu đồ scree về phương sai của từng thành phần.

PCA trong Scikit-learn chấp nhận trực tiếp mục tiêu phương sai. Ví dụ này nén ảnh chữ số viết tay 8×8:

from sklearn.datasets import load_digits
from sklearn.decomposition import PCA

# 1,797 handwritten digits, each an 8x8 image flattened to 64 pixel values
X, _ = load_digits(return_X_y=True)

# Keep the fewest components that explain 95% of the variance
pca = PCA(n_components=0.95)
X_reduced = pca.fit_transform(X)

print(f"{X.shape[1]} features -> {pca.n_components_} components")
print(f"First two components: {pca.explained_variance_ratio_[:2].sum():.1%} of the variance")

Hai mươi chín thành phần giữ lại 95% phương sai trong 64 pixel, giảm kích thước đầu vào hơn một nửa; riêng hai thành phần đầu tiên chứa 28,5%. Phương sai tập trung như vậy vì các pixel lân cận có tương quan mạnh, còn pixel dọc theo mép trái và mép phải của ảnh hầu như không thay đổi.

Hạn chế#

PCA chỉ tìm được cấu trúc tuyến tính, vì vậy dữ liệu nằm trên một bề mặt cong cần nhiều thành phần hơn số chiều thực tế. Mỗi thành phần kết hợp mọi đặc trưng ban đầu, khiến các thành phần khó diễn giải, còn khoảng cách bình phương khiến một vài điểm ngoại lệ có thể làm lệch chúng. Phương sai cao cũng không đồng nghĩa với tính hữu ích: một hướng có phương sai thấp vẫn có thể mang tín hiệu phân tách hai lớp, vì vậy loại bỏ hướng đó có thể ảnh hưởng xấu đến bộ phân loại dù chỉ làm mất một lượng phương sai nhỏ. Việc giảm nhiều đặc trưng xuống còn một vài đặc trưng vẫn giúp giải quyết lời nguyền số chiều, trong đó model cần nhiều mẫu hơn đáng kể để tổng quát hóa khi số đặc trưng tăng, đồng thời hạn chế overfitting khi có nhiều đặc trưng nhưng ít mẫu.

PCA cho Embedding trong Thị giác Máy tính#

Các model thị giác biểu diễn mỗi ảnh hoặc đối tượng bằng một embedding, một vector gồm hàng trăm con số, và PCA là bước đầu phổ biến để trực quan hóa, phân cụm hoặc nén các vector đó. Model YOLO26 trả về một embedding cho mỗi ảnh thông qua model.embed(), và chiếu các vector đó lên hai thành phần chính đầu tiên sẽ tạo ra bản đồ tuyến tính nhanh chóng về cách một model được huấn luyện tùy chỉnh phân tách các lớp. Giảm số chiều của embedding được lưu trữ cũng giúp thu nhỏ chỉ mục của cơ sở dữ liệu vector và tăng tốc tìm kiếm vector.

Ứng dụng#

• Nhận diện khuôn mặt: Phương pháp eigenfaces của Turk và Pentland (1991) biểu diễn mỗi khuôn mặt bằng tọa độ trên các thành phần chính của một tập ảnh khuôn mặt, rồi nhận diện mọi người bằng cách so sánh các tọa độ đó.
• Phát hiện bất thường: Giám sát quy trình công nghiệp áp dụng PCA lên dữ liệu cảm biến trong điều kiện vận hành bình thường và phát cảnh báo khi một giá trị đọc mới được tái tạo kém hoặc nằm xa theo các thành phần được giữ lại.
• Di truyền học quần thể: PCA trên dữ liệu kiểu gen tóm tắt nguồn gốc tổ tiên; trong một nghiên cứu năm 2008 trên 1.387 người châu Âu, hai thành phần đầu tiên tái hiện một bản đồ châu Âu dễ nhận biết.
• Rủi ro lãi suất: Biến động của đường cong lợi suất trái phiếu chủ yếu được chi phối bởi ba thành phần mà các nhà phân tích gọi là mức, độ dốc và độ cong, vì vậy các model rủi ro theo dõi ba con số thay vì mọi kỳ hạn.

PCA và các kỹ thuật liên quan#

• t-SNE và UMAP: Các phương pháp phi tuyến được thiết kế để trực quan hóa và bảo toàn các lân cận cục bộ, nhờ đó các cụm tách biệt rõ hơn, trong khi khoảng cách giữa các cụm ở xa nhau mất đi ý nghĩa. t-SNE của Scikit-learn không có phép biến đổi cho các điểm mới, còn PCA đã khớp có thể chiếu dữ liệu mới bằng một phép nhân ma trận.
• Autoencoder: Mạng nơ-ron nén và tái tạo dữ liệu, đồng thời có thể học cấu trúc phi tuyến. Autoencoder tuyến tính được huấn luyện bằng sai số bình phương sẽ học cùng không gian con với PCA.
• Lựa chọn và trích xuất đặc trưng: Lựa chọn đặc trưng giữ lại một tập con các cột ban đầu, vốn vẫn có thể diễn giải, còn PCA, một phương pháp trích xuất đặc trưng kinh điển, tạo các đặc trưng mới kết hợp tất cả các cột đó.
• Phân tích phân biệt tuyến tính (LDA): Một phương pháp có giám sát liên quan, chọn các hướng tối đa hóa mức độ phân tách giữa các lớp thay vì tổng phương sai, và tạo ra nhiều nhất số thành phần ít hơn số lớp một đơn vị.