主成分分析 (PCA)

主成分分析 (PCA) 是机器学习 (ML)中广泛使用的统计技术，它在保留数据最基本信息的同时，简化了高维数据的复杂性。它作为一种降维方法，将包含许多变量的大型数据集转换为更小、更易于管理的“主成分”集。通过识别数据变化最大的方向，PCA允许数据科学家在不丢失重要模式的情况下降低计算成本并去除噪声。这个过程是有效数据预处理的关键一步，并经常用于在二维或三维空间中可视化复杂数据集。

PCA工作原理

PCA的核心是一种基于方差重新组织数据的线性变换技术。在具有许多特征的数据集中（例如图像中的像素值或物联网 (IoT)网络中的传感器读数），变量所传达的信息通常存在重叠。PCA识别出新的、不相关的变量（主成分），这些变量依次最大化方差。第一个成分捕获数据中可能的最大变异量，第二个成分捕获次大的变异量（同时与第一个成分正交），依此类推。

通过仅保留前几个成分并丢弃其余成分，实践者可以实现显著的压缩。这有助于缓解维度灾难，这种现象是指当特征数量相对于可用训练样本增加时，预测建模性能会下降。

实际应用

PCA功能多样，支持 AI开发生命周期 的各个阶段，从数据清洗到可视化模型内部结构。

• 可视化图像嵌入：在高级计算机视觉 (CV)任务中，像YOLO26这样的模型会生成高维嵌入来表示图像。这些向量可能包含 512 或 1024 个不同的值，人类无法直接观察。工程师使用 PCA 将这些嵌入投影到二维图上，从而可以直观地检查模型区分不同类别的效果，例如在自动驾驶汽车系统中区分“行人”和“骑自行车者”。
• 异常检测的预处理：金融机构和网络安全公司使用 PCA 进行异常检测。通过使用主成分对系统的正常行为进行建模，任何无法通过这些成分良好重构的交易或网络数据包都会被标记为异常值。这对于在实时流中发现欺诈或对抗性攻击非常有效。

PCA 与 t-SNE 和自动编码器对比

尽管PCA是 特征提取 的标准工具，但将其与其他降维技术区分开来会很有帮助：

• t-SNE (t-分布式随机邻域嵌入)：PCA 是一种保留全局结构和方差的线性方法。相比之下，t-SNE 是一种非线性概率技术，擅长保留局部邻域结构，使其更适合可视化离散聚类，但计算量更大。
• 自动编码器: 它们是经过训练用于压缩和重建数据的神经网络。与PCA不同，自动编码器可以学习复杂的非线性映射。然而，它们需要更多的训练数据和计算资源才能有效训练。

python 示例：特征压缩

下面的示例演示了如何使用 scikit-learn 以减少高维特征向量。此工作流程模拟了在将视觉模型的输出存储到 向量数据库 或用于聚类之前进行压缩。

import numpy as np
from sklearn.decomposition import PCA

# Simulate 100 image embeddings, each with 512 dimensions (features)
embeddings = np.random.rand(100, 512)

# Initialize PCA to reduce the data to 3 principal components
pca = PCA(n_components=3)

# Fit and transform the embeddings to the lower dimension
reduced_data = pca.fit_transform(embeddings)

print(f"Original shape: {embeddings.shape}")  # Output: (100, 512)
print(f"Reduced shape: {reduced_data.shape}")  # Output: (100, 3)

将PCA集成到 Ultralytics 平台 上的流水线中，可以通过降低输入复杂度来简化 模型训练，从而实现更快的实验和更稳健的AI解决方案。