t-distributed Stochastic Neighbor Embedding (t-SNE)

Il t-distributed Stochastic Neighbor Embedding (t-SNE) è una potente tecnica non lineare di riduzione della dimensionalità utilizzata principalmente per la visualizzazione dei dati. Consente a ricercatori e professionisti nel Machine Learning (ML) di visualizzare dataset ad alta dimensionalità in uno spazio a bassa dimensionalità, tipicamente un grafico 2D o 3D. Sviluppato da Laurens van der Maaten e Geoffrey Hinton, il suo principale punto di forza è la sua notevole capacità di rivelare la struttura locale sottostante dei dati, come cluster e varietà, che altre tecniche potrebbero perdere. Le implementazioni sono ampiamente disponibili in librerie come Scikit-learn e framework come PyTorch.

L'idea alla base di t-SNE è di posizionare i punti dati simili vicini tra loro e i punti dissimili lontani in una mappa a bassa dimensionalità. Lo realizza convertendo le distanze euclidee ad alta dimensionalità tra i punti dati in probabilità condizionate che rappresentano le somiglianze. Quindi utilizza una distribuzione di probabilità simile nella mappa a bassa dimensionalità e minimizza la divergenza tra queste due distribuzioni.

Applicazioni nell'IA e nel ML

Il t-SNE è ampiamente utilizzato per l'esplorazione visiva in vari domini dell'Intelligenza Artificiale (AI).

• Visualizzazione delle caratteristiche delle reti neurali: Nella Computer Vision (CV), t-SNE è prezioso per capire cosa ha imparato un modello di deep learning. Ad esempio, puoi prendere gli embedding delle caratteristiche da un livello intermedio di una rete neurale convoluzionale (CNN) addestrata per la classificazione delle immagini e utilizzare t-SNE per tracciarli. Se il modello, come un modello Ultralytics YOLO, è ben addestrato su un dataset come CIFAR-10, il grafico risultante mostrerà cluster distinti corrispondenti alle diverse categorie di immagini (ad esempio, "gatti", "cani", "auto"). Ciò fornisce una conferma visiva del potere discriminatorio del modello.
• Esplorazione dei dati testuali: Nell'Elaborazione del linguaggio naturale (NLP), t-SNE può visualizzare word embedding ad alta dimensionalità come Word2Vec o GloVe. Questo aiuta a comprendere le relazioni semantiche tra le parole; ad esempio, parole come "re", "regina", "principe" e "principessa" si raggrupperebbero insieme. Tali visualizzazioni sono utili per esplorare corpora di testo e per il debug di modelli linguistici utilizzati in compiti come la classificazione di documenti.
• Bioinformatica e imaging medico: I ricercatori utilizzano t-SNE per visualizzare dati biologici complessi, come i modelli di espressione genica da microarray, per identificare popolazioni cellulari o sottotipi di malattie. Viene anche utilizzato nell'analisi di immagini mediche per raggruppare diversi tipi di tessuti o tumori, come nel dataset Brain Tumor.

T-SNE Vs. Altre Tecniche

È importante distinguere t-SNE da altri metodi di riduzione della dimensionalità.

• Analisi delle Componenti Principali (PCA): PCA è una tecnica lineare focalizzata sulla conservazione della massima varianza nei dati, che corrisponde alla conservazione della struttura globale su larga scala. Al contrario, t-SNE è un metodo non lineare che eccelle nel rivelare la struttura locale (cioè, come i singoli punti dati si raggruppano). Mentre PCA è più veloce e deterministica, la sua natura lineare può non riuscire a catturare relazioni complesse che t-SNE può. È pratica comune utilizzare prima PCA per ridurre un set di dati a un numero intermedio di dimensioni (ad esempio, 30-50) prima di applicare t-SNE per ridurre il carico computazionale e il rumore.
• Autoencoder: Gli autoencoder sono un tipo di rete neurale che può apprendere rappresentazioni di dati potenti e non lineari. Sebbene siano più flessibili di PCA e t-SNE, sono spesso meno interpretabili e più costosi dal punto di vista computazionale da addestrare. Vengono utilizzati principalmente per l'estrazione di feature piuttosto che per la visualizzazione diretta.

Considerazioni e limitazioni

Sebbene potente, t-SNE presenta alcune limitazioni che gli utenti devono considerare.

• Costo computazionale: L'algoritmo ha una complessità temporale e spaziale quadratica rispetto al numero di punti dati, il che lo rende lento per set di dati con centinaia di migliaia di campioni. Tecniche come Barnes-Hut t-SNE offrono significativi miglioramenti delle prestazioni.
• Sensibilità degli iperparametri: I risultati possono essere influenzati in modo significativo dai suoi iperparametri, in particolare dalla "perplessità", che è una stima del numero di vicini stretti che ogni punto ha. Non esiste un singolo valore di perplessità universalmente migliore. Un'eccellente risorsa per comprendere questi effetti è l'articolo di Distill "How to Use t-SNE Effectively."
• Interpretazione della struttura globale: Le visualizzazioni t-SNE devono essere interpretate con cautela. Le dimensioni relative dei cluster e le distanze tra loro nel grafico finale non riflettono necessariamente la separazione effettiva nello spazio originale ad alta dimensione. L'obiettivo dell'algoritmo è preservare i quartieri locali, non la geometria globale. Strumenti come il TensorFlow Projector consentono l'esplorazione interattiva, che può aiutare a sviluppare l'intuizione. La gestione e la visualizzazione di tali analisi possono essere semplificate utilizzando piattaforme come Ultralytics HUB.