Principal Component Analysis (PCA)

Метод главных компонент (PCA) — это широко используемый статистический метод в машинном обучении (ML), который упрощает сложность многомерных данных, сохраняя при этом самую важную информацию. Он работает как метод снижения размерности, преобразуя большие наборы данных с множеством переменных в меньший, более удобный набор «главных компонент». Определяя направления, в которых данные варьируются сильнее всего, PCA позволяет специалистам по анализу данных сократить вычислительные затраты и устранить шум без потери значимых закономерностей. Этот процесс является критически важным шагом в эффективной предобработке данных и часто используется для визуализации сложных наборов данных в двух или трех измерениях.

Link to this sectionКак работает PCA#

По своей сути PCA — это метод линейного преобразования, который реорганизует данные на основе дисперсии. В наборе данных со множеством признаков — например, значениях пикселей изображения или показаниях датчиков в сети Интернета вещей (IoT) — переменные часто дублируют информацию друг друга. PCA находит новые некоррелированные переменные (главные компоненты), которые последовательно максимизируют дисперсию. Первая компонента захватывает максимально возможный объем вариаций в данных, вторая — следующий по величине (оставаясь перпендикулярной первой), и так далее.

Сохраняя лишь несколько основных компонент и отбрасывая остальные, ты можешь достичь значительного сжатия. Это помогает смягчить проклятие размерности — явление, при котором производительность прогностического моделирования снижается по мере увеличения количества признаков относительно доступных обучающих выборок.

Link to this sectionРеальные приложения#

PCA — универсальный метод, который поддерживает различные этапы жизненного цикла разработки ИИ, от очистки данных до визуализации внутренних процессов модели.

• Визуализация эмбеддингов изображений: В сложных задачах компьютерного зрения (CV) такие модели, как YOLO26, создают многомерные эмбеддинги для представления изображений. Эти векторы могут содержать 512 или 1024 отдельных значений, из-за чего человек не может воспринимать их напрямую. Инженеры используют PCA, чтобы проецировать эти эмбеддинги на 2D-график, что позволяет визуально проверять, насколько хорошо модель разделяет различные классы, например, отличая «пешеходов» от «велосипедистов» в системах автономных транспортных средств.
• Предобработка для обнаружения аномалий: Финансовые институты и компании в сфере кибербезопасности используют PCA для обнаружения аномалий. Моделируя нормальное поведение системы с помощью главных компонент, любую транзакцию или сетевой пакет, которые не могут быть корректно восстановлены этими компонентами, помечают как выброс. Это эффективно для выявления мошенничества или состязательных атак в потоках данных в реальном времени.

Link to this sectionPCA против t-SNE и автокодировщиков#

Хотя PCA является стандартным инструментом для извлечения признаков, полезно отличать его от других методов снижения размерности:

• t-SNE (t-распределенное стохастическое вложение соседей): PCA — это линейный метод, сохраняющий глобальную структуру и дисперсию. В отличие от него, t-SNE — это нелинейный вероятностный метод, который отлично справляется с сохранением локальных структур соседства, что делает его лучше для визуализации отдельных кластеров, но требует больших вычислительных затрат.
• Автокодировщики: Это нейронные сети, обученные сжимать и восстанавливать данные. В отличие от PCA, автокодировщики могут изучать сложные нелинейные отображения. Однако для их эффективного обучения требуется значительно больше обучающих данных и вычислительных ресурсов.

Link to this sectionПример на Python: сжатие признаков#

Следующий пример демонстрирует, как использовать scikit-learn для уменьшения размерности векторов признаков. Этот рабочий процесс имитирует сжатие вывода модели компьютерного зрения перед сохранением в векторную базу данных или использованием для кластеризации.

import numpy as np
from sklearn.decomposition import PCA

# Simulate 100 image embeddings, each with 512 dimensions (features)
embeddings = np.random.rand(100, 512)

# Initialize PCA to reduce the data to 3 principal components
pca = PCA(n_components=3)

# Fit and transform the embeddings to the lower dimension
reduced_data = pca.fit_transform(embeddings)

print(f"Original shape: {embeddings.shape}")  # Output: (100, 512)
print(f"Reduced shape: {reduced_data.shape}")  # Output: (100, 3)

Интеграция PCA в конвейеры на платформе Ultralytics поможет оптимизировать обучение моделей, снижая сложность входных данных, что приведет к ускорению экспериментов и созданию более надежных решений на базе ИИ.