Метод главных компонент (PCA)

Анализ главных компонент (PCA) — это фундаментальный метод снижения размерности в машинном обучении (ML). Его основная цель — упростить сложность многомерных данных, сохранив при этом как можно больше исходной информации (дисперсии). Это достигается путем преобразования исходного набора переменных в новый, меньший набор некоррелированных переменных, называемых «главными компонентами». Эти компоненты упорядочены таким образом, что первые несколько сохраняют большую часть вариаций, присутствующих в исходном наборе данных. Это делает PCA бесценным инструментом для предварительной обработки данных, исследования данных и визуализации данных.

Как работает анализ главных компонент

По своей сути, PCA определяет направления максимальной дисперсии в наборе данных. Представьте себе точечную диаграмму точек данных; PCA находит линию, которая лучше всего отражает разброс данных. Эта линия представляет первую главную компоненту. Вторая главная компонента — это другая линия, перпендикулярная первой, которая отражает следующий наибольший объем дисперсии. Проецируя исходные данные на эти новые компоненты, PCA создает представление с меньшей размерностью, которое отфильтровывает шум и выделяет наиболее значимые закономерности. Этот процесс имеет решающее значение для повышения производительности модели за счет снижения риска переобучения и уменьшения вычислительных ресурсов, необходимых для обучения.

Реальные приложения AI/ML

PCA широко используется в различных областях искусственного интеллекта (AI) и компьютерного зрения (CV).

1. Распознавание лиц и сжатие изображений: В компьютерном зрении изображения представляют собой многомерные данные, где каждый пиксель является признаком. PCA можно использовать для сжатия изображений путем уменьшения количества измерений, необходимых для их представления. Известным применением является распознавание лиц, где метод, известный как «собственные лица» (eigenfaces), использует PCA для идентификации наиболее важных признаков (главных компонент) лиц. Это упрощенное представление делает хранение и сравнение лиц намного более эффективным, что жизненно важно для таких задач, как классификация изображений и биометрическая безопасность. Для более глубокого изучения см. это введение в собственные лица.
2. Биоинформатика и генетический анализ: Геномные наборы данных часто содержат тысячи признаков, таких как уровни экспрессии генов для тысяч генов в различных образцах. Анализ таких многомерных данных является сложной задачей из-за проклятия размерности. PCA помогает исследователям в таких учреждениях, как Национальный исследовательский институт генома человека, уменьшить эту сложность, визуализировать данные и выявлять кластеры пациентов или образцов с аналогичными генетическими профилями. Это может выявить закономерности, связанные с заболеваниями или реакцией на лечение, ускоряя исследования в области персонализированной медицины.

PCA в сравнении с другими методами

PCA — это линейный метод, то есть он предполагает, что отношения между переменными являются линейными. Будучи мощным и интерпретируемым, он может неэффективно улавливать сложные, нелинейные структуры.

• Автоэнкодеры: Это методы на основе нейронных сетей, которые могут изучать сложные, нелинейные представления данных. Они часто более мощные, чем PCA, но менее интерпретируемы и требуют больших вычислительных затрат. Вы можете реализовать их с помощью таких фреймворков, как PyTorch или TensorFlow.
• t-распределенное стохастическое вложение соседей (t-SNE): Являясь в первую очередь методом визуализации, t-SNE превосходно выявляет локальную структуру и кластеры в многомерных данных, даже нелинейные. Однако он не сохраняет глобальную структуру так же хорошо, как PCA, и требует больших вычислительных ресурсов. Scikit-learn предоставляет реализации как для PCA, так и для t-SNE.

Хотя существуют более продвинутые методы, PCA остается ценным инструментом, часто используемым в качестве базового или начального шага в конвейерах исследования и предварительной обработки данных. В экосистеме Ultralytics, в то время как такие модели, как Ultralytics YOLO, используют встроенное извлечение признаков в своих CNN бэкбонах, принципы снижения размерности являются ключевыми. Платформы, такие как Ultralytics HUB, помогают управлять всем рабочим процессом машинного обучения, от организации наборов данных до развертывания моделей, где такие этапы предварительной обработки имеют решающее значение для достижения оптимальных результатов.