Principal Component Analysis (PCA)

L'analisi delle componenti principali (PCA) è una tecnica statistica ampiamente utilizzata nel machine learning (ML) che semplifica la complessità dei dati ad alta dimensionalità preservandone le informazioni più essenziali. Funziona come metodo di riduzione della dimensionalità, trasformando grandi set di dati con molte variabili in un insieme più piccolo e gestibile di "componenti principali". Identificando le direzioni in cui i dati variano maggiormente, la PCA consente ai data scientist di ridurre i costi computazionali e rimuovere il rumore senza perdere pattern significativi. Questo processo è un passaggio fondamentale per un efficace preprocessing dei dati e viene spesso utilizzato per visualizzare set di dati complessi in due o tre dimensioni.

Come funziona la PCA#

Alla base, la PCA è una tecnica di trasformazione lineare che riorganizza i dati in base alla varianza. In un set di dati con molte feature, come i valori dei pixel in un'immagine o le letture dei sensori in una rete dell'Internet delle cose (IoT), le variabili spesso si sovrappongono nelle informazioni che trasmettono. La PCA identifica nuove variabili non correlate (componenti principali) che massimizzano progressivamente la varianza. La prima componente cattura la maggiore quantità possibile di variazione nei dati, la seconda cattura la quantità successiva più elevata (pur essendo perpendicolare alla prima) e così via.

Conservando solo le prime componenti e scartando le altre, è possibile ottenere una compressione significativa. Questo aiuta a mitigare la maledizione della dimensionalità, un fenomeno in cui le prestazioni della modellazione predittiva peggiorano all'aumentare del numero di feature rispetto ai campioni di addestramento disponibili.

Applicazioni nel mondo reale#

La PCA è versatile e supporta diverse fasi del ciclo di vita dello sviluppo dell'AI, dalla pulizia dei dati alla visualizzazione delle componenti interne del modello.

• Visualizzazione degli embedding delle immagini: nelle attività avanzate di visione artificiale (CV), modelli come YOLO26 generano embedding ad alta dimensionalità per rappresentare le immagini. Questi vettori possono contenere 512 o 1024 valori distinti, rendendoli impossibili da visualizzare direttamente per gli esseri umani. Gli ingegneri utilizzano la PCA per proiettare questi embedding su un grafico 2D, consentendo loro di esaminare visivamente quanto bene il modello separi classi diverse, ad esempio distinguendo i "pedoni" dai "ciclisti" nei sistemi di veicoli autonomi.
• Preprocessing per il rilevamento delle anomalie: gli istituti finanziari e le aziende di cybersicurezza utilizzano la PCA per il rilevamento delle anomalie. Modellando il comportamento normale di un sistema tramite le componenti principali, qualsiasi transazione o pacchetto di rete che non può essere ricostruito adeguatamente da tali componenti viene segnalato come valore anomalo. Questo è efficiente per individuare frodi o attacchi avversari nei flussi in tempo reale.

PCA a confronto con t-SNE e gli autoencoder#

Sebbene la PCA sia uno strumento standard per l'estrazione delle feature, è utile distinguerla da altre tecniche di riduzione:

• t-SNE (incorporamento stocastico dei vicini distribuito secondo t): la PCA è un metodo lineare che preserva la struttura globale e la varianza. Al contrario, t-SNE è una tecnica probabilistica non lineare che eccelle nel preservare le strutture locali dei vicini, risultando migliore per visualizzare cluster distinti, ma richiedendo maggiori risorse computazionali.
• Autoencoder: sono reti neurali addestrate per comprimere e ricostruire i dati. A differenza della PCA, gli autoencoder possono apprendere mappature non lineari complesse. Tuttavia, per un addestramento efficace richiedono una quantità significativamente maggiore di dati di addestramento e di risorse computazionali.

Esempio Python: compressione delle feature#

L'esempio seguente mostra come utilizzare scikit-learn per ridurre vettori di feature ad alta dimensionalità. Questo flusso di lavoro simula la compressione dell'output di un modello di visione prima di archiviarlo in un database vettoriale o utilizzarlo per il clustering.

import numpy as np
from sklearn.decomposition import PCA

# Simulate 100 image embeddings, each with 512 dimensions (features)
embeddings = np.random.rand(100, 512)

# Initialize PCA to reduce the data to 3 principal components
pca = PCA(n_components=3)

# Fit and transform the embeddings to the lower dimension
reduced_data = pca.fit_transform(embeddings)

print(f"Original shape: {embeddings.shape}")  # Output: (100, 512)
print(f"Reduced shape: {reduced_data.shape}")  # Output: (100, 3)

Integrare la PCA nelle pipeline sulla Ultralytics Platform può contribuire a semplificare l'addestramento del modello riducendo la complessità degli input e portando a esperimenti più rapidi e soluzioni di AI più robuste.