Confusion Matrix

Una matrice di confusione è uno strumento di misurazione delle prestazioni per problemi di classificazione nel machine learning in cui l'output può essere costituito da due o più classi. È una tabella con quattro diverse combinazioni di valori previsti ed effettivi, che funge da elemento fondamentale per la data visualization nella valutazione dei modelli. A differenza della semplice accuratezza, che può essere fuorviante se il set di dati non è bilanciato, una matrice di confusione fornisce un'analisi granulare dei punti in cui un modello di computer vision (CV) commette errori. Confrontando le previsioni con le etichette di ground truth, gli sviluppatori possono determinare se il sistema sta confondendo due classi specifiche o se non riesce a rilevare un oggetto del tutto.

Link to this sectionComponenti principali della matrice#

La matrice stessa è solitamente divisa in quattro quadranti per la classificazione binaria, sebbene si espanda per problemi multi-classe come quelli gestiti da Ultralytics YOLO26. Questi quattro componenti rappresentano l'intersezione tra ciò che il modello ha previsto e ciò che esiste realmente nell'immagine.

• True Positives (TP): Il modello prevede correttamente la classe positiva. Ad esempio, in un'attività di object detection, il modello disegna con successo un bounding box attorno a una persona che si trova effettivamente nell'inquadratura.
• True Negatives (TN): Il modello prevede correttamente la classe negativa. Ciò è fondamentale in scenari come l'anomaly detection, in cui il sistema identifica correttamente che un componente prodotto non presenta difetti.
• False Positives (FP): Il modello prevede erroneamente la classe positiva. Spesso chiamato "errore di tipo I", si verifica quando il sistema rileva un oggetto che non è presente, come una telecamera di sicurezza che segnala un'ombra come un intruso.
• False Negatives (FN): Il modello prevede erroneamente la classe negativa. Noto come "errore di tipo II", si verifica quando il modello non riesce a rilevare un oggetto che è presente, essenzialmente "mancando" il bersaglio.

Link to this sectionMetriche derivate e significato#

I numeri grezzi in una matrice di confusione vengono utilizzati per calcolare metriche più avanzate che descrivono le model performance. Comprendere questi derivati è essenziale per ottimizzare le reti neurali.

• Precision: Calcolata come TP / (TP + FP), questa metrica rivela quanto siano accurate le previsioni positive. Un'alta precisione significa meno falsi allarmi.
• Recall (Sensitivity): Calcolata come TP / (TP + FN), misura la capacità del modello di trovare tutte le istanze positive. Un'elevata recall è vitale quando mancare un oggetto ha gravi conseguenze.
• F1 Score: La media armonica tra precision e recall. Fornisce un unico punteggio che bilancia il compromesso tra le due, utile per confrontare diversi YOLO26 models.

Link to this sectionApplicazioni nel mondo reale#

Il costo specifico degli errori definito dalla matrice di confusione determina come i modelli vengono ottimizzati per diversi settori.

Nel campo dell'AI in healthcare, la matrice di confusione è una questione di sicurezza. Quando si addestra un modello per l'medical image analysis per rilevare tumori, un falso negativo (mancare un tumore) è molto peggio di un falso positivo (segnalare un punto benigno per la revisione del medico). Pertanto, gli ingegneri danno priorità alla recall rispetto alla precision in queste matrici per garantire che non vengano trascurati potenziali rischi per la salute.

Al contrario, nel manufacturing quality control, l'efficienza è fondamentale. Se un sistema che classifica i componenti della linea di assemblaggio genera troppi falsi positivi (segnalando parti buone come difettose), causa sprechi inutili e rallenta la produzione. Qui, la matrice di confusione aiuta gli ingegneri a ottimizzare il modello per massimizzare la precision, garantendo che ciò che viene rifiutato sia veramente difettoso, snellendo i flussi di lavoro di automated machine learning.

Link to this sectionGenerazione di una matrice di confusione con YOLO26#

Quando utilizzi framework moderni, la generazione di questa matrice fa spesso parte della pipeline di validazione standard. L'esempio seguente dimostra come convalidare un YOLO26 model e accedere ai dati della matrice di confusione utilizzando il pacchetto ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Link to this sectionDifferenziare concetti correlati#

È importante distinguere la matrice di confusione da termini di valutazione simili.

• Vs. Accuracy: L'accuratezza è semplicemente il rapporto tra le previsioni corrette e le previsioni totali. Sebbene utile, l'accuratezza può essere altamente ingannevole in imbalanced datasets. Ad esempio, se il 95% delle email non è spam, un modello che prevede "non spam" per ogni email ha un'accuratezza del 95% ma è inutile. La matrice di confusione rivela questo difetto mostrando zero veri positivi per la classe spam.
• Vs. ROC Curve: La matrice di confusione fornisce un'istantanea delle prestazioni a una specifica confidence threshold. Al contrario, la curva ROC (Receiver Operating Characteristic) visualizza come il tasso di veri positivi e il tasso di falsi positivi cambiano al variare di tale soglia. Strumenti come la Ultralytics Platform consentono agli utenti di esplorare entrambe le visualizzazioni per scegliere il punto operativo ottimale per la propria distribuzione.