Principal Component Analysis (PCA)

主成分分析 (PCA) は、機械学習 (ML) で広く使用されている統計手法であり、高次元データの複雑さを簡素化しながら、最も重要な情報を保持します。次元削減の手法として機能し、多数の変数を持つ大規模なデータセットを、「主成分」と呼ばれるより小さく管理しやすいセットに変換します。データが最も変動する方向を特定することで、PCAはデータサイエンティストが重要なパターンを失うことなく計算コストを削減し、ノイズを除去することを可能にします。このプロセスは、効果的なデータ前処理における重要なステップであり、複雑なデータセットを2次元または3次元で可視化するためにも頻繁に使用されます。

Link to this sectionPCAの仕組み#

本質的に、PCAは分散に基づいてデータを再構成する線形変換手法です。画像内のピクセル値やモノのインターネット (IoT) ネットワーク内のセンサー読み取り値など、多数の特徴量を持つデータセットでは、変数が伝える情報が重複することがよくあります。PCAは、分散を段階的に最大化する新しい無相関変数（主成分）を特定します。最初の成分はデータ内の可能な限り最大の変動を捉え、2番目の成分は（最初の成分と直交しながら）次に大きな変動を捉える、といった形で進みます。

By keeping only the top few components and discarding the rest, practitioners can achieve significant compression. This helps mitigate the curse of dimensionality, a phenomenon where predictive modeling performance degrades as the number of features increases relative to the available training samples.

Link to this section実社会での応用#

PCAは汎用性が高く、データのクリーニングからモデル内部の可視化に至るまで、AI開発ライフサイクルの様々な段階をサポートします。

• 画像埋め込みの可視化: 高度なコンピュータビジョン (CV) タスクでは、YOLO26 のようなモデルが画像を表現するために高次元の埋め込みを生成します。これらのベクトルは512や1024の個別の値を含む可能性があり、人間が直接確認することは不可能です。エンジニアはPCAを使用してこれらの埋め込みを2Dプロットに投影し、自動運転システムにおける「歩行者」と「サイクリスト」の識別のように、モデルが異なるクラスをどの程度うまく分離できているかを視覚的に検査します。
• 異常検知のための前処理: 金融機関やサイバーセキュリティ企業は、異常検知にPCAを使用します。主成分を使用してシステムの正常な動作をモデル化することで、これらの成分では十分に再構成できない取引やネットワークパケットは外れ値としてフラグが立てられます。これは、リアルタイムストリームにおける不正や敵対的攻撃を特定するのに効率的です。

Link to this sectionPCA対t-SNEおよびオートエンコーダー#

PCAは特徴抽出の標準的なツールですが、他の削減手法と区別することは有益です。

• t-SNE (t分布型確率的近傍埋め込み法): PCAは、大域的な構造と分散を保持する線形手法です。対照的に、t-SNEは局所的な近傍構造の保持に優れた非線形確率的手法であり、明確なクラスターを可視化するのには適していますが、計算負荷が高くなります。
• オートエンコーダー: これらはデータを圧縮および再構成するように訓練されたニューラルネットワークです。PCAとは異なり、オートエンコーダーは複雑な非線形写像を学習できます。しかし、効果的に訓練するには、より多くの学習データと計算リソースを必要とします。

Link to this sectionPythonの例：特徴量の圧縮#

以下の例は、scikit-learnを使用して高次元の特徴ベクトルを削減する方法を示しています。このワークフローは、ベクトルデータベースに保存したりクラスタリングに使用したりする前に、ビジョンモデルの出力を圧縮するプロセスをシミュレートしています。

import numpy as np
from sklearn.decomposition import PCA

# Simulate 100 image embeddings, each with 512 dimensions (features)
embeddings = np.random.rand(100, 512)

# Initialize PCA to reduce the data to 3 principal components
pca = PCA(n_components=3)

# Fit and transform the embeddings to the lower dimension
reduced_data = pca.fit_transform(embeddings)

print(f"Original shape: {embeddings.shape}")  # Output: (100, 512)
print(f"Reduced shape: {reduced_data.shape}")  # Output: (100, 3)

Ultralytics Platform 上のパイプラインにPCAを統合することで、入力の複雑さを軽減し、モデル学習を合理化でき、実験の高速化とより堅牢なAIソリューションの構築につながります。