t-分布型確率的近傍埋め込み（t-SNE）

t-distributed Stochastic Neighbor Embedding（t-SNE）は、主にデータ視覚化に使用される強力な非線形次元削減手法です。機械学習（ML）の研究者や実務家は、高次元データセットを低次元空間（通常は2Dまたは3Dプロット）で視覚化できます。Laurens van der MaatenとGeoffrey Hintonによって開発されたその主な強みは、他の手法では見逃される可能性のある、クラスターや多様体などのデータの基礎となるローカル構造を明らかにする優れた能力です。実装は、Scikit-learnなどのライブラリや、PyTorchなどのフレームワークで広く利用できます。

t-SNEの中核となる考え方は、類似したデータ点を低次元マップ上で近くに配置し、類似していないデータ点を遠くに配置することです。これは、データ点間の高次元ユークリッド距離を、類似度を表す条件付き確率に変換することで実現されます。次に、低次元マップで同様の確率分布を使用し、これら2つの分布間のダイバージェンスを最小化します。

AIとMLの応用

t-SNEは、人工知能（AI）のさまざまな分野で視覚的な探索に広く使用されています。

• ニューラルネットワークの特徴の可視化: コンピュータビジョン（CV）において、t-SNEは深層学習モデルが何を学習したかを理解するために非常に役立ちます。例えば、画像分類のために学習されたConvolutional Neural Network (CNN)の中間層から特徴埋め込みを取り出し、t-SNEを使用してプロットすることができます。Ultralytics YOLOモデルのようなモデルが、CIFAR-10のようなデータセットで適切に学習されている場合、結果として得られるプロットは、異なる画像カテゴリ（例えば、「猫」、「犬」、「車」）に対応する明確なクラスタを示します。これは、モデルの識別能力を視覚的に確認する手段となります。
• テキストデータの探索： 自然言語処理（NLP）において、t-SNEはWord2VecやGloVeのような高次元の単語埋め込みを可視化できます。これは、単語間の意味的関係を理解するのに役立ちます。例えば、「王」、「女王」、「王子」、「王女」のような単語は一緒にクラスタリングされます。このような可視化は、テキストコーパスを探索したり、文書分類のようなタスクで使用される言語モデルをデバッグしたりするのに役立ちます。
• バイオインフォマティクスと医用画像処理： 研究者は、マイクロアレイからの遺伝子発現パターンなどの複雑な生物学的データを可視化するためにt-SNEを使用し、細胞集団または疾患のサブタイプを特定します。また、医用画像解析で、脳腫瘍データセットのように、さまざまな種類の組織や腫瘍をクラスタリングするためにも使用されます。

T-SNE vs. その他の手法

t-SNEを他の次元削減手法と区別することが重要です。

• 主成分分析（PCA）: PCAは、データ内の最大の分散を維持することに焦点を当てた線形手法であり、これは大規模なグローバル構造を維持することに対応します。対照的に、t-SNEは、ローカル構造（つまり、個々のデータポイントがどのようにグループ化されるか）を明らかにするのに優れている非線形メソッドです。PCAはより高速で決定的ですが、その線形的な性質上、t-SNEが捉えることができる複雑な関係を捉えられない場合があります。計算負荷とノイズを軽減するために、最初にPCAを使用してデータセットを中間的な次元数（たとえば、30〜50）に削減してから、t-SNEを適用するのが一般的な方法です。
• Autoencoders（オートエンコーダ）：オートエンコーダは、強力な非線形データ表現を学習できるニューラルネットワークの一種です。PCAやt-SNEよりも柔軟性がありますが、解釈可能性が低く、トレーニングの計算コストが高くなることがよくあります。これらは、主に直接的な視覚化ではなく、特徴抽出に使用されます。

考慮事項と制限事項

t-SNEは強力ですが、ユーザーが考慮すべきいくつかの制限があります。

• 計算コスト: このアルゴリズムの時間計算量と空間計算量は、データポイントの数に対して二次関数的であるため、数十万のサンプルを含むデータセットでは遅くなります。Barnes-Hut t-SNEのような手法は、パフォーマンスを大幅に向上させます。
• ハイパーパラメータの感度： 結果は、ハイパーパラメータ、特に各ポイントが持つ近傍点の数に関する推測である「perplexity」によって大きく影響を受ける可能性があります。 普遍的に最適なperplexity値は存在しません。 これらの影響を理解するための優れたリソースは、Distillの記事「t-SNEを効果的に使用する方法」です。
• Global Structure Interpretation: t-SNEの可視化は、注意して解釈する必要があります。最終的なプロットにおけるクラスターの相対的なサイズとそれらの間の距離は、必ずしも元の高次元空間での実際の分離を反映しているわけではありません。アルゴリズムの焦点は、グローバルなジオメトリではなく、ローカルな近傍を維持することにあります。TensorFlow Projectorのようなツールを使用すると、インタラクティブな探索が可能になり、直感を養うのに役立ちます。このような分析の管理と可視化は、Ultralytics HUBのようなプラットフォームを使用して合理化できます。