Matrice di Confusione

Una matrice di confusione è uno strumento di misurazione delle prestazioni per i problemi di classificazione dell'apprendimento automatico in cui l'output può essere di due o più classi. Si tratta di una tabella con quattro diverse combinazioni di valori previsti e valori effettivi, che funge da elemento fondamentale per la visualizzazione dei dati nella valutazione del modello. A differenza della semplice accuratezza, che può essere fuorviante se il set di dati è sbilanciato, una matrice di confusione fornisce un'analisi dettagliata dei punti in cui un modello di visione artificiale (CV) commette errori. Confrontando le previsioni con le etichette di verità di base, gli sviluppatori possono determinare se il sistema sta confondendo due classi specifiche o non riesce a detect completamente detect oggetto.

Componenti principali della matrice

La matrice stessa è tipicamente divisa in quattro quadranti per la classificazione binaria, sebbene si espanda per problemi multi-classe come quelli gestiti da Ultralytics . Queste quattro componenti rappresentano l' intersezione tra ciò che il modello ha previsto e ciò che esiste effettivamente nell'immagine.

• Veri positivi (TP): il modello prevede correttamente la classe positiva. Ad esempio, in un compito di rilevamento di oggetti, il modello disegna con successo un riquadro di delimitazione attorno a una persona che si trova effettivamente nell'inquadratura.
• Veri negativi (TN): il modello prevede correttamente la classe negativa. Ciò è fondamentale in scenari come il rilevamento delle anomalie, in cui il sistema identifica correttamente che un componente fabbricato non presenta difetti.
• Falsi positivi (FP): il modello prevede erroneamente la classe positiva. Spesso chiamato "errore di tipo I", si verifica quando il sistema rileva un oggetto che non è presente, come una telecamera di sicurezza che segnala un'ombra come un intruso.
• Falsi negativi (FN): il modello prevede in modo errato la classe negativa. Conosciuto come "errore di tipo II", ciò accade quando il modello non riesce a detect oggetto presente, essenzialmente "mancando" il bersaglio.

Metriche derivate e significato

I numeri grezzi in una matrice di confusione vengono utilizzati per calcolare metriche più avanzate che descrivono le prestazioni del modello. La comprensione di questi derivati è essenziale per ottimizzare le reti neurali.

• Precisione: calcolata come TP / (TP + FP), questa metrica rivela quanto siano accurate le previsioni positive. Un'elevata precisione significa meno falsi allarmi.
• Richiamo (Sensibilità): calcolato come TP / (TP + FN), misura la capacità del modello di trovare tutti i casi positivi. Un richiamo elevato è fondamentale quando la mancata individuazione di un oggetto comporta gravi conseguenze.
• Punteggio F1: la media armonica di precisione e richiamo. Fornisce un punteggio unico che bilancia il compromesso tra i due, utile per confrontare diversi modelli YOLO26.

Applicazioni nel mondo reale

Il costo specifico degli errori definito dalla matrice di confusione determina il modo in cui i modelli vengono ottimizzati per i diversi settori industriali.

Nel campo dell' IA nel settore sanitario, la matrice di confusione è una questione di sicurezza. Quando si addestra un modello per l' analisi di immagini mediche per detect , un falso negativo (non rilevare un tumore) è molto peggio di un falso positivo (segnalare una macchia benigna per la revisione del medico). Pertanto, gli ingegneri danno la priorità al richiamo rispetto alla precisione in queste matrici per garantire che nessun potenziale rischio per la salute venga trascurato.

Al contrario, nella controllo di qualità della produzione, l'efficienza è fondamentale. Se un sistema che classifica i componenti della catena di montaggio genera troppi falsi positivi (segnalando i componenti buoni come difettosi), provoca inutili sprechi e rallenta la produzione. In questo caso, la matrice di confusione aiuta gli ingegneri a messa a punto del modello per massimizzare la precisione, assicurando che ciò che viene scartato sia veramente difettoso, ottimizzando i flussi di lavoro automatizzati di machine learning .

Generazione di una matrice di confusione con YOLO26

Quando si utilizzano framework moderni, la generazione di questa matrice fa spesso parte della pipeline di convalida standard. L'esempio seguente mostra come convalidare un Modello YOLO26 e accedere ai dati della matrice di confusione utilizzando il ultralytics pacchetto.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Differenziare i concetti correlati

È importante distinguere la matrice di confusione da termini di valutazione simili.

• Vs. Accuratezza: l'accuratezza è semplicemente il rapporto tra le previsioni corrette e il totale delle previsioni. Sebbene utile, l'accuratezza può essere altamente ingannevole nei set di dati sbilanciati. Ad esempio, se il 95% delle e-mail non è spam, un modello che prevede "non spam" per ogni e-mail ha un'accuratezza del 95%, ma è inutile. La matrice di confusione rivela questo difetto mostrando zero veri positivi per la classe spam.
• Vs. Curva ROC: La matrice di confusione fornisce un'istantanea delle prestazioni a una singola soglia di confidenza specifica . Al contrario, la curva ROC (Receiver Operating Characteristic) visualizza come il tasso di veri positivi e il tasso di falsi positivi cambiano al variare di tale soglia. Strumenti come la Ultralytics consentono agli utenti di esplorare entrambe le visualizzazioni per scegliere il punto operativo ottimale per la loro implementazione.