Giảm số chiều

Giảm chiều là một kỹ thuật quan trọng trong học máy (ML) được sử dụng để chuyển đổi dữ liệu đa chiều thành biểu diễn đa chiều. Quá trình này giữ lại các thuộc tính có ý nghĩa nhất của dữ liệu gốc đồng thời loại bỏ nhiễu và các biến dư thừa. Bằng cách giảm số lượng đặc trưng đầu vào - thường được gọi là chiều - các nhà phát triển có thể giảm thiểu hiện tượng đa chiều , một hiện tượng mà hiệu suất mô hình giảm dần khi độ phức tạp của không gian đầu vào tăng lên. Quản lý hiệu quả đa chiều dữ liệu là một bước quan trọng trong quá trình tiền xử lý dữ liệu để xây dựng các hệ thống AI mạnh mẽ và hiệu quả.

Tầm quan trọng của việc giảm kích thước

Việc xử lý các tập dữ liệu với số lượng lớn các tính năng đặt ra những thách thức đáng kể về mặt tính toán và thống kê. Giảm số chiều giải quyết những vấn đề này, mang lại một số lợi ích chính cho vòng đời phát triển AI :

• Giảm thiểu hiện tượng quá khớp : Các mô hình được đào tạo trên dữ liệu có nhiều chiều nhưng không đủ mẫu dễ bị quá khớp , tức là chúng ghi nhớ nhiễu thay vì học các mẫu có thể tổng quát hóa. Việc giảm chiều giúp đơn giản hóa cấu trúc mô hình.
• Hiệu quả tính toán : Ít tính năng hơn đồng nghĩa với việc xử lý ít dữ liệu hơn. Điều này giúp tăng tốc đáng kể quá trình đào tạo mô hình và giảm dung lượng bộ nhớ cần thiết cho suy luận thời gian thực .
• Hình ảnh hóa nâng cao : Trực giác của con người gặp khó khăn trong việc hiểu dữ liệu vượt ra ngoài ba chiều. Các kỹ thuật nén dữ liệu thành không gian 2D hoặc 3D cho phép hình ảnh hóa dữ liệu một cách sâu sắc, làm rõ các cụm dữ liệu và mối quan hệ.
• Giảm nhiễu : Bằng cách tập trung vào các tín hiệu mạnh nhất trong dữ liệu, việc giảm chiều có thể cải thiện độ chính xác tổng thể bằng cách lọc bỏ thông tin nền không liên quan.

Các kỹ thuật giảm chiều phổ biến

Các phương pháp giảm chiều thường được chia thành hai loại: tuyến tính và phi tuyến tính.

Phân tích thành phần chính (PCA)

Phân tích Thành phần Chính (PCA) là kỹ thuật tuyến tính được sử dụng rộng rãi nhất. Nó hoạt động bằng cách xác định "các thành phần chính" - các hướng có phương sai lớn nhất trong dữ liệu - và chiếu dữ liệu lên chúng. Phương pháp này bảo toàn cấu trúc toàn cục của tập dữ liệu đồng thời loại bỏ các chiều ít thông tin hơn. Đây là một yếu tố chủ chốt trong quy trình học không giám sát .

Nhúng hàng xóm ngẫu nhiên phân tán t (t-SNE)

Để trực quan hóa các cấu trúc phức tạp, t-SNE là một kỹ thuật phi tuyến tính phổ biến. Không giống như PCA, t-SNE vượt trội trong việc bảo toàn các vùng lân cận cục bộ, khiến nó trở nên lý tưởng để phân tách các cụm riêng biệt trong không gian đa chiều. Để tìm hiểu sâu hơn, bài viết trên Distill về cách sử dụng t-SNE hiệu quả cung cấp các hướng dẫn trực quan tuyệt vời.

Bộ mã hóa tự động

Bộ mã hóa tự động là một loại mạng nơ-ron được đào tạo để nén dữ liệu đầu vào thành dạng biểu diễn không gian tiềm ẩn và sau đó tái tạo lại. Phương pháp này học các phép biến đổi phi tuyến tính và là nền tảng cho học sâu (DL) hiện đại.

Ứng dụng thực tế trong AI

Giảm kích thước không chỉ mang tính lý thuyết; nó còn hỗ trợ nhiều ứng dụng thực tế trong nhiều ngành công nghiệp khác nhau.

• Thị giác Máy tính : Trong phân loại hình ảnh , ảnh thô chứa hàng nghìn pixel (chiều). Mạng Nơ-ron Tích chập (CNN) , chẳng hạn như nền tảng của YOLO11 , về cơ bản thực hiện việc giảm chiều. Chúng sử dụng tích chập có bước nhảy và các lớp gộp để nén các chiều không gian thành các bản đồ đặc trưng phong phú, cho phép mô hình detect các đối tượng một cách hiệu quả.
• Di truyền học và Tin sinh học : Các tập dữ liệu sinh học thường chứa các mức độ biểu hiện của hàng ngàn gen. Các nhà nghiên cứu tại các viện như Viện Nghiên cứu Bộ gen Người Quốc gia sử dụng phương pháp giảm chiều để xác định các dấu hiệu gen liên quan đến bệnh tật, đơn giản hóa dữ liệu sinh học phức tạp thành những thông tin chi tiết hữu ích.
• Xử lý ngôn ngữ tự nhiên : Dữ liệu văn bản có tính đa chiều cực cao. Các kỹ thuật như nhúng từ sẽ giảm vốn từ vựng hàng nghìn từ thành các vectơ dày đặc (ví dụ: 300 chiều), nắm bắt ý nghĩa ngữ nghĩa cho các tác vụ như phân tích cảm xúc .

Giảm chiều so với lựa chọn tính năng

Điều quan trọng là phải phân biệt giữa việc giảm chiều và lựa chọn tính năng .

• Việc lựa chọn tính năng bao gồm việc chọn một tập hợp con các tính năng gốc và loại bỏ phần còn lại (ví dụ: chỉ giữ lại "Tuổi" và "Thu nhập" từ tập dữ liệu nhân khẩu học).
• Giảm chiều (cụ thể là trích xuất đặc trưng ) tạo ra các đặc trưng mới là sự kết hợp của các đặc trưng gốc. Ví dụ: PCA có thể kết hợp "Chiều cao" và "Cân nặng" thành một thành phần chính duy nhất đại diện cho "Kích thước".

Ví dụ mã

Sau đây là Python Đoạn mã này sử dụng thư viện Scikit-learn phổ biến để áp dụng PCA cho một tập dữ liệu. Đoạn mã này minh họa cách nén một tập dữ liệu có 5 đặc trưng xuống còn 2 chiều có ý nghĩa.

import numpy as np
from sklearn.decomposition import PCA

# 1. Create dummy data: 3 samples, 5 features each
X = np.array([[10, 20, 30, 40, 50], [15, 25, 35, 45, 55], [12, 22, 32, 42, 52]])

# 2. Initialize PCA to reduce dimensionality to 2 components
pca = PCA(n_components=2)

# 3. Fit and transform the data to lower dimensions
X_reduced = pca.fit_transform(X)

print(f"Original shape: {X.shape}")  # Output: (3, 5)
print(f"Reduced shape: {X_reduced.shape}")  # Output: (3, 2)