t-distributed Stochastic Neighbor Embedding (t-SNE) (Intégration de voisins stochastique t-distribuée)

La technique du t-distributed Stochastic Neighbor Embedding (t-SNE) est une méthode puissante et non linéaire de réduction de la dimensionnalité principalement utilisée pour la visualisation des données. Elle permet aux chercheurs et aux praticiens de l'apprentissage automatique (ML) de visualiser des jeux de données de grande dimension dans un espace de faible dimension, généralement un graphique 2D ou 3D. Développée par Laurens van der Maaten et Geoffrey Hinton, sa principale force réside dans sa remarquable capacité à révéler la structure locale sous-jacente des données, telle que les clusters et les manifolds, que d'autres techniques pourraient manquer. Des implémentations sont largement disponibles dans des bibliothèques comme Scikit-learn et des frameworks tels que PyTorch.

L'idée centrale de t-SNE est de placer les points de données similaires proches les uns des autres et les points dissemblables éloignés les uns des autres dans une carte de faible dimension. Pour ce faire, il convertit les distances euclidiennes de haute dimension entre les points de données en probabilités conditionnelles qui représentent les similarités. Il utilise ensuite une distribution de probabilité similaire dans la carte de faible dimension et minimise la divergence entre ces deux distributions.

Applications dans l'IA et l'AA

Le t-SNE est largement utilisé pour l'exploration visuelle dans divers domaines de l'intelligence artificielle (IA).

• Visualisation des caractéristiques des réseaux neuronaux : En vision par ordinateur (CV), t-SNE est inestimable pour comprendre ce qu'un modèle de deep learning a appris. Par exemple, vous pouvez prendre les embeddings de caractéristiques d'une couche intermédiaire d'un réseau neuronal convolutionnel (CNN) entraîné pour la classification d'images et utiliser t-SNE pour les tracer. Si le modèle, tel qu'un modèle Ultralytics YOLO, est bien entraîné sur un ensemble de données comme CIFAR-10, le tracé résultant affichera des clusters distincts correspondant aux différentes catégories d'images (par exemple, « chats », « chiens », « voitures »). Cela fournit une confirmation visuelle du pouvoir de discrimination du modèle.
• Exploration des données textuelles : Dans le domaine du traitement du langage naturel (TLN), t-SNE peut visualiser des plongements lexicaux de grande dimension comme Word2Vec ou GloVe. Cela aide à comprendre les relations sémantiques entre les mots ; par exemple, les mots comme « roi », « reine », « prince » et « princesse » se regrouperaient. De telles visualisations sont utiles pour explorer les corpus de textes et déboguer les modèles linguistiques utilisés dans des tâches comme la classification de documents.
• Bio-informatique et imagerie médicale : Les chercheurs utilisent t-SNE pour visualiser des données biologiques complexes, telles que les schémas d'expression génique provenant de puces à ADN, afin d'identifier des populations cellulaires ou des sous-types de maladies. Il est également utilisé dans l'analyse d'imagerie médicale pour regrouper différents types de tissus ou de tumeurs, comme dans l'ensemble de données sur les tumeurs cérébrales.

T-SNE vs. autres techniques

Il est important de distinguer t-SNE des autres méthodes de réduction de la dimensionnalité.

• Analyse en Composantes Principales (ACP) : L'ACP est une technique linéaire axée sur la préservation de la variance maximale dans les données, ce qui correspond à la préservation de la structure globale à grande échelle. En revanche, t-SNE est une méthode non linéaire qui excelle à révéler la structure locale (c'est-à-dire, comment les points de données individuels se regroupent). Bien que l'ACP soit plus rapide et déterministe, sa nature linéaire peut ne pas parvenir à capturer les relations complexes que t-SNE peut capturer. Il est courant d'utiliser d'abord l'ACP pour réduire un ensemble de données à un nombre intermédiaire de dimensions (par exemple, 30 à 50) avant d'appliquer t-SNE pour réduire la charge de calcul et le bruit.
• Autoencodeurs : Les autoencodeurs sont un type de réseau neuronal qui peut apprendre des représentations de données non linéaires puissantes. Bien que plus flexibles que l'ACP et le t-SNE, ils sont souvent moins interprétables et plus coûteux en calcul à entraîner. Ils sont principalement utilisés pour l'extraction de caractéristiques plutôt que pour la visualisation directe.

Considérations et limitations

Bien que puissant, t-SNE présente certaines limitations que les utilisateurs doivent prendre en compte.

• Coût de calcul : L'algorithme a une complexité temporelle et spatiale quadratique par rapport au nombre de points de données, ce qui le rend lent pour les ensembles de données contenant des centaines de milliers d'échantillons. Des techniques comme Barnes-Hut t-SNE offrent des améliorations significatives en termes de performance.
• Sensibilité aux hyperparamètres : Les résultats peuvent être considérablement influencés par ses hyperparamètres, en particulier la "perplexité", qui est une estimation du nombre de voisins proches que chaque point possède. Il n'existe pas de valeur de perplexité unique et universellement optimale. Un excellent article pour comprendre ces effets est l'article de Distill intitulé "How to Use t-SNE Effectively."
• Interprétation de la structure globale : Les visualisations t-SNE doivent être interprétées avec prudence. La taille relative des clusters et les distances entre eux dans le tracé final ne reflètent pas nécessairement la séparation réelle dans l'espace d'origine de haute dimension. L'algorithme se concentre sur la préservation des voisinages locaux, et non sur la géométrie globale. Des outils comme le TensorFlow Projector permettent une exploration interactive, ce qui peut aider à développer l'intuition. La gestion et la visualisation de telles analyses peuvent être rationalisées à l'aide de plateformes comme Ultralytics HUB.