Principal Component Analysis (PCA)

主成分分析（PCA）是机器学习 (ML)中广泛使用的统计技术，它在保留高维数据最核心信息的同时简化了数据的复杂性。它作为一种降维方法，能将包含许多变量的大型数据集转换为更小、更易管理的“主成分”集合。通过识别数据变化最大的方向，PCA 让数据科学家能够在不丢失重要模式的前提下降低计算成本并去除噪声。这个过程是实现有效数据预处理的关键步骤，常用于在二维或三维空间中可视化复杂数据集。

PCA 的工作原理#

核心而言，PCA 是一种基于方差重新组织数据的线性转换技术。在一个包含许多特征的数据集中——例如图像中的像素值或物联网 (IoT)网络中的传感器读数——变量传递的信息往往会重叠。PCA 会识别出能够连续最大化方差的新非相关变量（主成分）。第一个成分捕获数据中尽可能多的变异，第二个成分捕获次多的变异（且与第一个成分正交），以此类推。

通过仅保留前几个最重要的成分并丢弃其余部分，从业者可以实现显著的压缩效果。这有助于缓解维数灾难这一现象，即随着特征数量相对于可用训练样本增加，预测建模性能会下降。

实际应用#

PCA 用途广泛，支持AI 开发生命周期的各个阶段，从清理数据到可视化模型内部结构。

• **可视化图像嵌入：**在先进的计算机视觉 (CV)任务中，像YOLO26这样的模型会生成高维嵌入来表示图像。这些向量可能包含 512 或 1024 个不同的值，人类无法直接看到。工程师使用 PCA 将这些 embeddings 投影到 2D 图上，从而直观地检查模型区分不同类别的效果，例如在自动驾驶系统中区分“行人”和“骑车人”。
• **异常检测的预处理：**金融机构和网络安全公司使用 PCA 进行异常检测。通过使用主成分对系统的正常行为进行建模，任何无法被这些成分很好重构的交易或网络数据包都会被标记为异常值。这对于实时流中发现欺诈或对抗性攻击非常高效。

PCA 与 t-SNE 及自动编码器 (Autoencoders) 的对比#

虽然 PCA 是特征提取的标准工具，但将其与其他降维技术区分开来会很有帮助：

• **t-SNE（t 分布随机邻域嵌入）：**PCA 是一种保留全局结构和方差的线性方法。相比之下，t-SNE 是一种非线性概率技术，擅长保留局部邻域结构，这使其更适合可视化不同的集群，但计算量更大。
• **自编码器：**这些是经过训练以压缩和重建数据的神经网络。与 PCA 不同，自编码器可以学习复杂的非线性映射。然而，它们需要更多的训练数据和计算资源来有效地训练。

Python 示例：特征压缩#

以下示例演示了如何使用 scikit-learn 来减少高维特征向量。此工作流模拟了在将视觉模型的输出存储到向量数据库或将其用于聚类之前对其进行压缩的过程。

import numpy as np
from sklearn.decomposition import PCA

# Simulate 100 image embeddings, each with 512 dimensions (features)
embeddings = np.random.rand(100, 512)

# Initialize PCA to reduce the data to 3 principal components
pca = PCA(n_components=3)

# Fit and transform the embeddings to the lower dimension
reduced_data = pca.fit_transform(embeddings)

print(f"Original shape: {embeddings.shape}")  # Output: (100, 512)
print(f"Reduced shape: {reduced_data.shape}")  # Output: (100, 3)

将 PCA 集成到Ultralytics 平台上的管道中可以通过减少输入复杂度来帮助简化模型训练，从而实现更快的实验和更强大的 AI 解决方案。