t-dağıtılmış Stokastik Komşu Gömme (t-SNE)

t-dağıtılmış Stokastik Komşu Gömme (t-SNE) gelişmiş, doğrusal olmayan bir boyutsallık azaltma tekniği öncelikle yüksek boyutlu verileri keşfetmek ve görselleştirmek için kullanılır. Laurens van der Maaten ve Geoffrey tarafından geliştirilmiştir. Hinton, bu istatistiksel yöntemin araştırmacılara ve Makine Öğrenimi (ML) uygulayıcıları projeye yüzlerce veya binlerce boyuta sahip karmaşık veri kümelerini iki boyutlu veya üç boyutlu bir uzaya dönüştürür. Aksine doğrusal yöntemler, t-SNE verilerin yerel yapısını korumada üstündür, bu da onu aşağıdakiler için son derece kullanışlı hale getirir tanımlandığı veri görselleştirme görevleri kümeler ve veri noktaları arasındaki ilişkiler çok önemlidir.

t-SNE Nasıl Çalışır?

Algoritma, veri noktaları arasındaki benzerlikleri ortak olasılıklara dönüştürerek çalışır. Orijinalinde t-SNE, yüksek boyutlu uzayda benzer noktaların Gauss dağılımını kullanarak noktalar arasındaki benzerliği ölçer. nesnelerin komşu olarak seçilme olasılığı yüksektir. Daha sonra bu noktaları bir olasılık dağılımı arasındaki ıraksamayı en aza indirerek daha düşük boyutlu uzay ("gömme") ve gömülü verinin orijinal verilerinin karşılaştırılması. Bu süreç büyük ölçüde aşağıdakilere dayanır bulduğu gibi, denetimsiz öğrenme ilkeleri etiketli çıktılar gerektirmeden kalıplar.

t-SNE'nin kritik bir yönü, görselleştirmede "kalabalıklaşma sorununu" ele alma yeteneğidir. Kullanarak Düşük boyutlu haritada ağır kuyruklu Student t-dağılımı, noktaların çok yoğun bir şekilde üst üste binmesini önler, farklı kümelerin görsel olarak kalmasını sağlamak ayrılabilir.

Yapay Zeka ve MO'daki Uygulamalar

Yüksek boyutlu verilerin görselleştirilmesi Yapay zeka geliştirme yaşam döngüsü. t-SNE bir modelin çeşitli alanlardaki verileri nasıl gördüğü hakkında sezgi sağlar.

• Bilgisayarla Görme Özellik Analizi: İçinde Bilgisayarlı Görme (CV), mühendisler genellikle t-SNE'nin ne olduğunu yorumlamak için Derin Öğrenme (DL) modeli öğrenmiştir. İçin Örneğin, özellik vektörlerini (katıştırmalar) eğitimli bir backbone çıkararak YOLO11 son algılama kafasından hemen önce model, t-SNE bu vektörleri 2 boyutlu bir düzleme yansıtabilir. Model iyi performans gösteriyorsa, benzer nesnelerin görüntüleri (örn, yayalar, bisikletliler) farklı kümeler halinde bir araya gelecek ve bu da özellik çıkarma işlemi.
• Doğal Dil İşleme (NLP): t-SNE, kelimeleri görselleştirmek için yaygın olarak kullanılır tarafından üretilenler gibi katıştırmalar GloVe veya Transformer modelleri. Bu görselleştirmelerde kelimeler "kral" ve "kraliçe" gibi benzer anlamlara sahip sözcükler yakın komşular olarak görünür. Bu yardımcı olur araştırmacılar tarafından yakalanan anlamsal ilişkileri anlamak Doğal Dil İşleme (NLP) modelleri ve eğitim verilerindeki potansiyel önyargıları teşhis etmek.

t-SNE ve İlgili Teknikler

t-SNE'yi diğer boyutsallık azaltma yöntemlerinden ayırmak önemlidir, çünkü farklı amaçlara hizmet ederler bir makine öğrenimi boru hattı.

• Temel Bileşen Analizi (PCA): PCA doğrusal bir tekniktir verilerin global varyansını korumaya odaklanır. PCA hesaplama açısından daha hızlı ve deterministik olsa da genellikle karmaşık, doğrusal olmayan ilişkileri yakalamakta başarısız olur. Yaygın bir iş akışı, ham verileri aşağıdakilere indirgemek için PCA kullanmayı içerir tipik olarak 30-50 boyut, ardından son görselleştirme için t-SNE. Bu hibrit yaklaşım gürültüyü azaltır ve hesaplama yükü.
• Otomatik kodlayıcılar: Otomatik kodlayıcı bir sıkıştırmak ve sıkıştırmak için eğitilmiş sinir ağı türü verileri yeniden yapılandırır. Oto kodlayıcılar doğrusal olmayan temsilleri öğrenebilirken, t-SNE özellikle aşağıdakiler için optimize edilmiştir depolama veya iletim için veri sıkıştırma yerine çizim ve görsel inceleme.

Python Uygulama Örneği

Aşağıdaki örnekte popüler Scikit-learn kütüphanesi yüksek boyutlu verileri görselleştirir. Bu kod parçacığı sentetik kümeler oluşturur ve bunları t-SNE.

import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.manifold import TSNE

# Generate synthetic high-dimensional data (100 samples, 50 features)
X, y = make_blobs(n_samples=100, n_features=50, centers=3, random_state=42)

# Apply t-SNE to reduce features from 50 to 2 dimensions
# Perplexity relates to the number of nearest neighbors to consider
tsne = TSNE(n_components=2, perplexity=30, random_state=42)
X_embedded = tsne.fit_transform(X)

# Visualize the projected 2D data
plt.scatter(X_embedded[:, 0], X_embedded[:, 1], c=y)
plt.title("t-SNE Visualization of Features")
plt.show()

Sınırlamalar ve En İyi Uygulamalar

Güçlü olsa da, t-SNE dikkatli olmayı gerektirir hiperparametre ayarı. Bu Verilerin yerel ve küresel yönleri arasındaki dikkati dengeleyen "çapraşıklık" parametresi ortaya çıkan grafiği büyük ölçüde değiştirir. Ayrıca, algoritma hesaplama açısından pahalıdır (O(N²) karmaşıklığı), Bu da basit projeksiyon yöntemlerine kıyasla çok büyük veri kümeleri için yavaş kalmasına neden olur.

Bir t-SNE grafiğindeki ayrılmış kümeler arasındaki mesafeler, kümeler arasındaki doğru fiziksel mesafeleri temsil etmek zorunda değildir. orijinal uzay; öncelikle kümelerin farklı olduğunu gösterirler. Gömülmelerin etkileşimli keşfi için, TensorFlow Embedding Projector gibi araçlar genellikle aşağıdakilerle birlikte kullanılır model eğitimi. Yapay zeka araştırmaları YOLO26 ve diğer uçtan uca mimarilerde, bu yüksek boyutlu uzayları yorumlamak, doğrulama için kritik bir beceri olmaya devam etmektedir. model testi.