Confusion Matrix

Una matrice di confusione è uno strumento per misurare le prestazioni nei problemi di classificazione del machine learning, in cui l'output può comprendere due o più classi. È una tabella con quattro diverse combinazioni di valori previsti ed effettivi, che costituisce un elemento fondamentale per la visualizzazione dei dati nella valutazione dei modelli. A differenza della semplice accuratezza, che può essere fuorviante se il dataset non è bilanciato, una matrice di confusione fornisce una panoramica dettagliata degli errori commessi da un modello di visione artificiale (CV). Confrontando le predizioni con le etichette della verità di riferimento, gli sviluppatori possono determinare se il sistema sta confondendo due classi specifiche o se non riesce a rilevare completamente un oggetto.

Componenti principali della matrice#

La matrice è generalmente divisa in quattro quadranti per la classificazione binaria, anche se si espande per i problemi multi-classe, come quelli gestiti da Ultralytics YOLO26. Questi quattro componenti rappresentano l'intersezione tra ciò che il modello ha previsto e ciò che è effettivamente presente nell'immagine.

• Veri positivi (TP): Il modello prevede correttamente la classe positiva. Ad esempio, in un'attività di rilevamento degli oggetti, il modello traccia correttamente un riquadro di delimitazione intorno a una persona effettivamente presente nell'inquadratura.
• Veri negativi (TN): Il modello prevede correttamente la classe negativa. Questo è fondamentale in scenari come il rilevamento delle anomalie, in cui il sistema identifica correttamente che un componente prodotto non presenta difetti.
• Falsi positivi (FP): Il modello prevede erroneamente la classe positiva. Spesso chiamato "errore di tipo I", si verifica quando il sistema rileva un oggetto che non è presente, ad esempio quando una telecamera di sicurezza segnala un'ombra come un intruso.
• Falsi negativi (FN): Il modello prevede erroneamente la classe negativa. Noto come "errore di tipo II", si verifica quando il modello non riesce a rilevare un oggetto presente, in pratica "perdendo" il bersaglio.

Metriche derivate e significato#

I valori grezzi di una matrice di confusione vengono utilizzati per calcolare metriche più avanzate che descrivono le prestazioni del modello. Comprendere queste metriche derivate è essenziale per ottimizzare le reti neurali.

• Precisione: Calcolata come TP / (TP + FP), questa metrica indica quanto sono accurate le predizioni positive. Una precisione elevata significa un numero inferiore di falsi allarmi.
• Richiamo (Sensitivity): Calcolato come TP / (TP + FN), misura la capacità del modello di trovare tutte le istanze positive. Un richiamo elevato è fondamentale quando non rilevare un oggetto può avere conseguenze gravi.
• Punteggio F1: La media armonica di precisione e richiamo. Fornisce un singolo punteggio che bilancia il compromesso tra i due valori, utile per confrontare diversi modelli YOLO26.

Applicazioni nel mondo reale#

Il costo specifico degli errori definito dalla matrice di confusione determina come vengono ottimizzati i modelli per i diversi settori.

Nel campo dell'AI nel settore sanitario, la matrice di confusione è una questione di sicurezza. Quando si addestra un modello per l'analisi delle immagini mediche allo scopo di rilevare tumori, un falso negativo (la mancata rilevazione di un tumore) è molto peggiore di un falso positivo (la segnalazione di una macchia benigna da sottoporre alla valutazione del medico). Pertanto, in queste matrici gli ingegneri danno priorità al richiamo rispetto alla precisione, per assicurarsi che nessun potenziale rischio per la salute venga trascurato.

Al contrario, nel controllo qualità nella produzione, l'efficienza è fondamentale. Se un sistema che classifica i componenti di una catena di montaggio genera troppi falsi positivi (segnalando come difettosi componenti conformi), provoca sprechi inutili e rallenta la produzione. In questo caso, la matrice di confusione aiuta gli ingegneri a ottimizzare il modello per massimizzare la precisione, assicurando che ciò che viene scartato sia realmente difettoso e semplificando i flussi di lavoro del machine learning automatizzato.

Generazione di una matrice di confusione con Ultralytics YOLO26#

Quando si utilizzano framework moderni, la generazione di questa matrice fa spesso parte della pipeline di validazione standard. L'esempio seguente mostra come convalidare un modello YOLO26 e accedere ai dati della matrice di confusione utilizzando il pacchetto ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Distinguere i concetti correlati#

È importante distinguere la matrice di confusione da termini simili relativi alla valutazione.

• Rispetto all'accuratezza: L'accuratezza è semplicemente il rapporto tra le predizioni corrette e il totale delle predizioni. Sebbene sia utile, l'accuratezza può essere molto fuorviante nei dataset sbilanciati. Ad esempio, se il 95% delle e-mail non è spam, un modello che predice "non spam" per ogni e-mail ha un'accuratezza del 95%, ma è inutile. La matrice di confusione rivela questo difetto mostrando zero veri positivi per la classe spam.
• Rispetto alla curva ROC: La matrice di confusione fornisce un'istantanea delle prestazioni in corrispondenza di una singola soglia di confidenza specifica. Al contrario, la curva della caratteristica operativa del ricevitore (ROC) visualizza come cambiano il tasso di veri positivi e il tasso di falsi positivi al variare di tale soglia. Strumenti come la piattaforma Ultralytics consentono agli utenti di esplorare entrambe le visualizzazioni per scegliere il punto operativo ottimale per la distribuzione.