t-distributed Stochastic Neighbor Embedding (t-SNE)

t-distributed Stochastic Neighbor Embedding (t-SNE) è un metodo statistico per visualizzare dati ad alta dimensionalità assegnando a ogni punto dati una posizione in una mappa a due o tre dimensioni. Questa tecnica, una forma di riduzione della dimensionalità non lineare, è ampiamente utilizzata nel machine learning per esplorare dataset che contengono centinaia o migliaia di feature. A differenza dei metodi lineari che si concentrano sulla conservazione delle strutture globali, t-SNE eccelle nel mantenere vicine istanze simili, rivelando cluster locali e varietà che altrimenti rimarrebbero nascoste. Questo lo rende uno strumento inestimabile per tutto, dalla ricerca genomica alla comprensione della logica interna delle deep neural networks.

Link to this sectionCome funziona t-SNE#

L'idea di base dietro t-SNE consiste nel convertire le similarità tra i punti dati in probabilità congiunte. Nello spazio originale ad alta dimensionalità, l'algoritmo misura la similarità tra i punti usando una distribuzione gaussiana. Se due punti sono vicini, hanno un'alta probabilità di essere "vicini". L'algoritmo tenta quindi di mappare questi punti in uno spazio a dimensione inferiore (solitamente 2D o 3D) mantenendo tali probabilità.

Per ottenere ciò, definisce una distribuzione di probabilità simile nella mappa a dimensione inferiore usando una distribuzione t di Student. Questa distribuzione specifica ha code più pesanti rispetto a una normale distribuzione gaussiana, il che aiuta ad affrontare il "problema dell'affollamento" (crowding problem), un fenomeno in cui i punti nello spazio ad alta dimensionalità tendono a sovrapporsi quando vengono proiettati verso il basso. Spingendo i punti dissimili più lontano nella visualizzazione, t-SNE crea cluster distinti e leggibili che rivelano la struttura sottostante dei dati di training. L'algoritmo apprende efficacemente la migliore rappresentazione della mappa tramite apprendimento non supervisionato minimizzando la divergenza tra le distribuzioni di probabilità ad alta e bassa dimensionalità.

Link to this sectionApplicazioni reali nell'IA#

t-SNE è uno strumento standard per l'analisi esplorativa dei dati (EDA) e la diagnostica dei modelli. Permette agli ingegneri di "vedere" cosa sta imparando un modello.

• Verifica delle feature di Computer Vision: Nei workflow di object detection che utilizzano modelli come YOLO26, gli sviluppatori devono spesso verificare se la rete è in grado di distinguere tra classi visivamente simili. Estraendo le feature maps dagli strati finali della rete e proiettandole con t-SNE, gli ingegneri possono visualizzare se le immagini di "gatti" si raggruppano separatamente dai "cani". Se i cluster sono mescolati, suggerisce che le capacità di estrazione delle feature del modello necessitano di miglioramenti.
• Natural Language Processing (NLP): t-SNE è ampiamente utilizzato per visualizzare embedding di parole. Quando i vettori di parole ad alta dimensionalità (spesso 300+ dimensioni) vengono proiettati in 2D, le parole con significati semantici simili si raggruppano naturalmente. Ad esempio, un grafico t-SNE potrebbe mostrare un cluster contenente "re", "regina", "principe" e "monarca", dimostrando che il modello di Natural Language Processing (NLP) comprende il concetto di regalità.
• Genomica e Bioinformatica: I ricercatori usano t-SNE per visualizzare dati di sequenziamento RNA a singola cellula. Riducendo migliaia di valori di espressione genica in un grafico 2D, gli scienziati possono identificare tipi cellulari distinti e tracciare traiettorie di sviluppo, aiutando nella scoperta di nuove intuizioni biologiche e marcatori di malattie.

Link to this sectionConfronto con PCA#

È importante distinguere t-SNE dalla Principal Component Analysis (PCA), un'altra tecnica di riduzione comune.

• PCA è una tecnica lineare che si concentra sulla conservazione della varianza globale dei dati. È deterministica e computazionalmente efficiente, rendendola eccellente per la compressione iniziale dei dati o la riduzione del rumore.
• t-SNE è una tecnica non lineare focalizzata sulla conservazione dei vicinati locali. È probabilistica (stocastica) e computazionalmente più pesante, ma produce visualizzazioni decisamente migliori per varietà complesse e non lineari.

Una best practice comune nel pre-processing dei dati è utilizzare prima PCA per ridurre i dati a una dimensione gestibile (es. 50 dimensioni) e poi applicare t-SNE per la visualizzazione finale. Questo approccio ibrido riduce il carico computazionale e filtra il rumore che potrebbe degradare il risultato di t-SNE.

Link to this sectionEsempio Python: Visualizzazione delle feature#

Il seguente esempio dimostra come usare scikit-learn per applicare t-SNE a un dataset sintetico. Questo workflow rispecchia il modo in cui potresti visualizzare le feature estratte da un modello di deep learning.

import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.manifold import TSNE

# Generate synthetic high-dimensional data (100 samples, 50 features, 3 centers)
X, y = make_blobs(n_samples=100, n_features=50, centers=3, random_state=42)

# Apply t-SNE to reduce dimensions from 50 to 2
# 'perplexity' balances local vs global aspects of the data
tsne = TSNE(n_components=2, perplexity=30, random_state=42)
X_embedded = tsne.fit_transform(X)

# Plot the result to visualize the 3 distinct clusters
plt.scatter(X_embedded[:, 0], X_embedded[:, 1], c=y)
plt.title("t-SNE Projection of High-Dimensional Data")
plt.show()

Link to this sectionConsiderazioni chiave#

Sebbene potente, t-SNE richiede un'attenta ottimizzazione degli iperparametri. Il parametro "perplexity" è critico; esso essenzialmente ipotizza quanti vicini stretti ha ogni punto. Impostarlo troppo basso o troppo alto può portare a visualizzazioni fuorvianti. Inoltre, t-SNE non preserva bene le distanze globali, il che significa che la distanza tra due cluster distinti sul grafico non riflette necessariamente la loro distanza fisica nello spazio originale. Nonostante queste sfumature, rimane una tecnica fondamentale per convalidare le architetture di computer vision (CV) e comprendere dataset complessi. Gli utenti che gestiscono dataset su larga scala sfruttano spesso la Ultralytics Platform per organizzare i propri dati prima di eseguire analisi così approfondite.