t-verteilte stochastische Nachbarschaftseinbettung (t-SNE)

t-distributed Stochastic Neighbor Embedding (t-SNE) ist eine leistungsstarke Technik zur Dimensionalitätsreduzierung, die in erster Linie für die Visualisierung hochdimensionaler Datensätze in einem niedrigdimensionalen Raum, in der Regel zwei oder drei Dimensionen, entwickelt wurde. Das von Laurens van der Maaten und Geoffrey Hinton entwickelte t-SNE-Verfahren zeichnet sich dadurch aus, dass es die zugrunde liegende lokale Struktur von Daten, wie z. B. Cluster und Mannigfaltigkeiten, sichtbar macht. Dadurch lassen sich komplexe Datensätze, die von Modellen der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) erzeugt oder verarbeitet werden, durch visuelle Inspektion leichter interpretieren. Es wird in verschiedenen Bereichen eingesetzt, darunter Computer Vision (CV) und Natural Language Processing (NLP).

Wie t-SNE funktioniert

Der Kerngedanke von t-SNE besteht darin, hochdimensionale Datenpunkte so auf einen niedrigdimensionalen Raum (z. B. ein 2D-Diagramm) abzubilden, dass die Ähnlichkeiten zwischen den Punkten erhalten bleiben. Es modelliert die Ähnlichkeit zwischen Paaren von hochdimensionalen Punkten als bedingte Wahrscheinlichkeiten und versucht dann, eine niedrigdimensionale Einbettung zu finden, bei der die bedingten Wahrscheinlichkeiten zwischen den abgebildeten Punkten ähnlich sind. Dieser Prozess konzentriert sich auf die Beibehaltung der lokalen Struktur - Punkte, die im hochdimensionalen Raum nahe beieinander liegen, sollten auch in der niedrigdimensionalen Abbildung nahe beieinander liegen.

Im Gegensatz zu linearen Methoden wie der Hauptkomponentenanalyse (PCA) ist t-SNE nichtlinear und probabilistisch. Dies ermöglicht die Erfassung komplexer, nichtlinearer Beziehungen, wie z. B. gekrümmter Mannigfaltigkeiten, die bei der PCA möglicherweise übersehen werden. Der Algorithmus berechnet Ähnlichkeiten unter Verwendung einer Gauß-Verteilung im hochdimensionalen Raum und einer Student's t-Verteilung (mit einem Freiheitsgrad) im niedrigdimensionalen Raum. Die Verwendung der t-Verteilung hilft dabei, unähnliche Punkte in der niedrigdimensionalen Karte weiter voneinander zu trennen und das "Crowding-Problem", bei dem Punkte dazu neigen, sich zu verklumpen, abzuschwächen. Die optimale Einbettung wird durch Minimierung der Divergenz (insbesondere der Kullback-Leibler-Divergenz) zwischen den beiden Wahrscheinlichkeitsverteilungen mithilfe von Optimierungstechniken wie dem Gradientenabstieg gefunden. Ein detailliertes technisches Verständnis finden Sie in der ursprünglichen t-SNE-Veröffentlichung.

t-SNE vs. PCA

Obwohl sowohl t-SNE als auch PCA gängige Verfahren zur Dimensionalitätsreduktion sind, unterscheiden sie sich erheblich:

• Linearität: PCA ist eine lineare Technik, während t-SNE nichtlinear ist. PCA findet die Hauptkomponenten, die die Varianz maximieren, und dreht die Daten im Wesentlichen. t-SNE modelliert paarweise Ähnlichkeiten.
• Schwerpunkt: PCA zielt darauf ab, die globale Struktur und die maximale Varianz in den Daten zu erhalten. t-SNE legt den Schwerpunkt auf die Erhaltung der lokalen Struktur (Nachbarschaften von Punkten).
• Anwendungsfall: PCA wird häufig zur Datenkomprimierung, Rauschunterdrückung und als Datenvorverarbeitungsschritt vor der Anwendung anderer ML-Algorithmen verwendet. t-SNE wird aufgrund seiner Fähigkeit, Cluster zu erkennen, hauptsächlich zur Datenvisualisierung und -exploration eingesetzt.
• Interpretierbarkeit: Die Achsen in einer PCA-Darstellung stellen Hauptkomponenten dar und haben eine klare mathematische Interpretation in Bezug auf die Varianz. Die Achsen und Abstände zwischen Clustern in einer t-SNE-Darstellung haben keine so direkte globale Interpretation; der Schwerpunkt liegt auf der relativen Gruppierung der Punkte.

Anwendungen in AI und ML

t-SNE ist ein unschätzbares Visualisierungstool für das Verständnis komplexer, hochdimensionaler Daten, die häufig in KI- und ML-Pipelines vorkommen, wie z. B. die Untersuchung der von Deep-Learning-Modellen gelernten Einbettungen.

• Visualisierung von Bildmerkmalen: In der Computer Vision kann t-SNE die hochdimensionalen Merkmalskarten oder Einbettungen visualisieren, die von Convolutional Neural Networks (CNNs) erzeugt werden, wie sie in Ultralytics YOLO-Modellen zur Objekterkennung oder Bildklassifizierung verwendet werden. Durch Anwendung von t-SNE auf Merkmale, die aus einem Datensatz wie ImageNet oder COCO extrahiert wurden, können Forscher sehen, ob das Modell lernt, ähnliche Bilder oder Objektklassen im Merkmalsraum zu gruppieren, was Einblicke in das Verständnis des Modells ermöglicht. Dies hilft bei der Analyse der Modellleistung über die Standardgenauigkeitsmetriken hinaus (siehe YOLO-Leistungsmetriken).
• Erforschung von Worteinbettungen: Im NLP wird t-SNE verwendet, um Worteinbettungen (z. B. aus Word2Vec, GloVe oder BERT) in 2D zu visualisieren. Dies ermöglicht die Untersuchung semantischer Beziehungen; so können beispielsweise Wörter wie "König", "Königin", "Prinz" und "Prinzessin" unterschiedliche Cluster bilden oder sinnvolle relative Positionen aufweisen, was die Qualität der Sprachmodellierung belegt. Werkzeuge wie der TensorFlow Projector verwenden oft t-SNE zur Visualisierung der Einbettung.
• Verstehen von Trainingsdaten: Vor oder während der Modellschulung kann t-SNE dabei helfen, die Struktur der Schulungsdaten selbst zu visualisieren und so möglicherweise bestimmte Cluster, Ausreißer oder Kennzeichnungsprobleme in Datensätzen aufzudecken, die über Plattformen wie Ultralytics HUB verwaltet werden.

Überlegungen

Obwohl t-SNE für die Visualisierung leistungsfähig ist, gibt es einige Überlegungen:

• Rechenkosten: Aufgrund der paarweisen Berechnungen kann es bei sehr großen Datensätzen rechenintensiv und langsam sein. Techniken wie die Annäherung an t-SNE oder die vorherige Anwendung von PCA können helfen.
• Hyperparameter: Die Ergebnisse können von Hyperparametern wie der "Perplexität" (bezogen auf die Anzahl der berücksichtigten nächsten Nachbarn) und der Anzahl der Iterationen für den Gradientenabstieg abhängen.
• Globale Struktur: t-SNE konzentriert sich auf die lokale Struktur; die relativen Abstände zwischen den Clustern in der endgültigen Darstellung spiegeln möglicherweise nicht genau die Trennung im ursprünglichen hochdimensionalen Raum wider. Auch die Clustergrößen können irreführend sein. Implementierungen sind in Bibliotheken wie Scikit-learn und Frameworks wie PyTorch verfügbar.