Principal Component Analysis (PCA)

主成分分析 (PCA) 是一种在 机器学习 (ML) 中广泛使用的统计技术，它能在简化高维数据复杂性的同时保留其最本质的信息。它作为一种 降维 方法，将包含许多变量的大型数据集转换为一组更小、更易于管理的数据，即“主成分”。通过确定数据变化最大的方向，PCA 能够让数据科学家在不丢失重要模式的前提下降低计算成本并消除噪声。这一过程是高效 数据预处理 中的关键一步，常用于将复杂的数据集以二维或三维形式可视化。

Link to this sectionPCA 的工作原理#

PCA 的核心是一种基于方差重新组织数据的线性转换技术。在一个具有众多特征的数据集中——例如图像中的像素值或 物联网 (IoT) 网络中的传感器读数——变量之间往往存在信息重叠。PCA 识别出能够依次最大化方差的新的不相关变量（主成分）。第一个分量捕获数据中尽可能大的变异量，第二个分量捕获次大的变异量（同时与第一个分量垂直），依此类推。

通过仅保留最重要的几个分量并丢弃其余部分，从业者可以实现显著的压缩效果。这有助于缓解 维度灾难，即随着特征数量相对于可用训练样本数量的增加，预测建模 性能会下降的现象。

Link to this section实际应用#

PCA 用途广泛，支持 AI 开发生命周期 的各个阶段，从数据清洗到模型内部可视化均可应用。

• 可视化图像嵌入： 在先进的 计算机视觉 (CV) 任务中，像 YOLO26 这样的模型会生成高维 嵌入 来表示图像。这些向量可能包含 512 或 1024 个不同的值，人类无法直接观察。工程师利用 PCA 将这些嵌入投影到二维图上，从而直观地检查模型区分不同类别的效果，例如在 自动驾驶 系统中区分“行人”和“骑行者”。
• 异常检测预处理： 金融机构和网络安全公司使用 PCA 进行 异常检测。通过利用主成分对系统的正常行为进行建模，任何无法被这些分量良好重构的交易或网络数据包都会被标记为异常值。这对于实时流中发现欺诈或 对抗性攻击 非常有效。

Link to this sectionPCA 与 t-SNE 及自动编码器 (Autoencoders) 的对比#

虽然 PCA 是 特征提取 的标准工具，但将其与其他降维技术区分开来很有帮助：

• t-SNE (t-分布随机邻域嵌入)： PCA 是一种保留全局结构和方差的线性方法。相比之下，t-SNE 是一种非线性概率技术，擅长保留局部邻域结构，这使其更适合可视化不同的聚类，但计算开销更大。
• 自动编码器 (Autoencoders)： 这些是经过训练用于压缩和重构数据的 神经网络。与 PCA 不同，自动编码器可以学习复杂的非线性映射。然而，它们需要更多的 训练数据 和计算资源才能有效训练。

Link to this sectionPython 示例：特征压缩#

以下示例演示了如何使用 scikit-learn 来减少高维特征向量。此工作流模拟了在将视觉模型的输出存入 向量数据库 或用于聚类之前对其进行压缩的过程。

import numpy as np
from sklearn.decomposition import PCA

# Simulate 100 image embeddings, each with 512 dimensions (features)
embeddings = np.random.rand(100, 512)

# Initialize PCA to reduce the data to 3 principal components
pca = PCA(n_components=3)

# Fit and transform the embeddings to the lower dimension
reduced_data = pca.fit_transform(embeddings)

print(f"Original shape: {embeddings.shape}")  # Output: (100, 512)
print(f"Reduced shape: {reduced_data.shape}")  # Output: (100, 3)

在 Ultralytics 平台 上的流水线中集成 PCA，可以通过降低输入复杂度来帮助简化 模型训练，从而实现更快的实验速度和更稳健的 AI 解决方案。