t-distributed Stochastic Neighbor Embedding (t-SNE)

t-distributed Stochastic Neighbor Embedding (t-SNE) là một kỹ thuật giảm chiều dữ liệu phi tuyến tính mạnh mẽ, chủ yếu được sử dụng để trực quan hóa dữ liệu. Nó cho phép các nhà nghiên cứu và người thực hành trong Machine Learning (ML) trực quan hóa các tập dữ liệu nhiều chiều trong một không gian chiều thấp, thường là biểu đồ 2D hoặc 3D. Được phát triển bởi Laurens van der Maaten và Geoffrey Hinton, điểm mạnh chính của nó là khả năng đáng chú ý trong việc tiết lộ cấu trúc cục bộ cơ bản của dữ liệu, chẳng hạn như các cụm và đa tạp, mà các kỹ thuật khác có thể bỏ lỡ. Các triển khai có sẵn rộng rãi trong các thư viện như Scikit-learn và các framework như PyTorch.

Ý tưởng cốt lõi của t-SNE là đặt các điểm dữ liệu tương tự gần nhau và các điểm không tương tự ở xa nhau trong một bản đồ chiều thấp. Nó thực hiện điều này bằng cách chuyển đổi khoảng cách Euclidean chiều cao giữa các điểm dữ liệu thành xác suất có điều kiện, biểu thị sự tương đồng. Sau đó, nó sử dụng một phân phối xác suất tương tự trong bản đồ chiều thấp và giảm thiểu sự phân kỳ giữa hai phân phối này.

Các ứng dụng trong AI và ML

t-SNE được sử dụng rộng rãi để khám phá trực quan trong nhiều lĩnh vực khác nhau của Trí tuệ nhân tạo (AI).

• Trực quan hóa các đặc trưng của Mạng nơ-ron: Trong Thị giác máy tính (CV), t-SNE vô cùng có giá trị để hiểu những gì một mô hình học sâu đã học được. Ví dụ: bạn có thể lấy các embeddings đặc trưng từ một lớp trung gian của một Mạng nơ-ron tích chập (CNN) được huấn luyện để phân loại ảnh và sử dụng t-SNE để vẽ chúng. Nếu mô hình, chẳng hạn như mô hình Ultralytics YOLO, được huấn luyện tốt trên một bộ dữ liệu như CIFAR-10, thì biểu đồ kết quả sẽ hiển thị các cụm riêng biệt tương ứng với các danh mục hình ảnh khác nhau (ví dụ: "mèo", "chó", "ô tô"). Điều này cung cấp một xác nhận trực quan về khả năng phân biệt của mô hình.
• Khám phá dữ liệu văn bản: Trong Xử lý ngôn ngữ tự nhiên (NLP), t-SNE có thể trực quan hóa word embeddings chiều cao như Word2Vec hoặc GloVe. Điều này giúp hiểu các mối quan hệ ngữ nghĩa giữa các từ; ví dụ: các từ như "king", "queen", "prince" và "princess" sẽ nhóm lại với nhau. Các hình ảnh trực quan như vậy rất hữu ích để khám phá các văn bản và gỡ lỗi các mô hình ngôn ngữ được sử dụng trong các tác vụ như phân loại tài liệu.
• Tin sinh học và Chẩn đoán hình ảnh y tế (Bioinformatics and Medical Imaging): Các nhà nghiên cứu sử dụng t-SNE để trực quan hóa dữ liệu sinh học phức tạp, chẳng hạn như các mẫu biểu hiện gen từ microarray, để xác định quần thể tế bào hoặc các loại bệnh. Nó cũng được sử dụng trong phân tích hình ảnh y tế để phân cụm các loại mô hoặc khối u khác nhau, như trong tập dữ liệu U não (Brain Tumor dataset).

So sánh T-SNE với các kỹ thuật khác

Điều quan trọng là phải phân biệt t-SNE với các phương pháp giảm chiều dữ liệu (dimensionality reduction) khác.

• Phân tích thành phần chính (Principal Component Analysis - PCA): PCA là một kỹ thuật tuyến tính tập trung vào việc bảo toàn phương sai tối đa trong dữ liệu, tương ứng với việc bảo toàn cấu trúc toàn cục, quy mô lớn. Ngược lại, t-SNE là một phương pháp phi tuyến tính vượt trội trong việc tiết lộ cấu trúc cục bộ (tức là cách các điểm dữ liệu riêng lẻ nhóm lại với nhau). Trong khi PCA nhanh hơn và mang tính xác định, thì bản chất tuyến tính của nó có thể không nắm bắt được các mối quan hệ phức tạp mà t-SNE có thể. Thông thường, người ta sử dụng PCA trước để giảm một tập dữ liệu xuống một số chiều trung gian (ví dụ: 30-50) trước khi áp dụng t-SNE để giảm tải tính toán và nhiễu.
• Autoencoder: Autoencoder là một loại mạng nơ-ron có thể học các biểu diễn dữ liệu phi tuyến tính mạnh mẽ. Mặc dù linh hoạt hơn PCA và t-SNE, nhưng chúng thường ít có khả năng diễn giải và tốn kém hơn về mặt tính toán để huấn luyện. Chúng chủ yếu được sử dụng để trích xuất đặc trưng thay vì trực quan hóa trực tiếp.

Cân nhắc và Hạn chế

Mặc dù mạnh mẽ, t-SNE có một số hạn chế mà người dùng phải xem xét.

• Chi phí tính toán: Thuật toán có độ phức tạp bậc hai về thời gian và không gian theo số lượng điểm dữ liệu, làm cho nó chậm đối với các tập dữ liệu có hàng trăm nghìn mẫu. Các kỹ thuật như Barnes-Hut t-SNE mang lại những cải tiến đáng kể về hiệu suất.
• Độ nhạy của siêu tham số: Kết quả có thể bị ảnh hưởng đáng kể bởi siêu tham số của nó, đặc biệt là "perplexity", là một phỏng đoán về số lượng hàng xóm gần mà mỗi điểm có. Không có một giá trị perplexity tốt nhất duy nhất, phổ quát. Một nguồn tài nguyên tuyệt vời để hiểu những ảnh hưởng này là bài viết Distill "How to Use t-SNE Effectively."
• Diễn giải cấu trúc toàn cục: Nên thận trọng khi diễn giải trực quan hóa t-SNE. Kích thước tương đối của các cụm và khoảng cách giữa chúng trong biểu đồ cuối cùng không nhất thiết phản ánh sự phân tách thực tế trong không gian nhiều chiều ban đầu. Trọng tâm của thuật toán là bảo toàn các vùng lân cận cục bộ, không phải hình học toàn cục. Các công cụ như TensorFlow Projector cho phép khám phá tương tác, có thể giúp xây dựng trực giác. Việc quản lý và trực quan hóa các phân tích như vậy có thể được hợp lý hóa bằng cách sử dụng các nền tảng như Ultralytics HUB.