Matrice di Confusione

La matrice di confusione è uno strumento completo di misurazione delle prestazioni utilizzato in apprendimento automatico (ML) per valutare l'accuratezza di un modello di classificazione. A differenza di un semplice punteggio di accuratezza, che indica solo la percentuale di predizioni corrette, una matrice di confusione fornisce una ripartizione granulare di come come il modello categorizza ogni classe. Visualizza la discrepanza tra le etichette previste e la verità reale. verità, consentendo agli sviluppatori di individuare esattamente i punti in cui il modello è "confuso" o commette errori sistematici. Questo livello di dettaglio è fondamentale per affinare sistemi di sistemi di visione computerizzata (CV) complessi, come quelli costruiti con Ultralytics YOLO11.

Componenti principali della matrice

Una matrice di confusione suddivide le previsioni di un classificatore in quattro categorie distinte, tipicamente disposte a griglia. griglia. Queste componenti aiutano a identificare se un modello soffre di specifici tipi di errore, come ad esempio "falsi allarmi" o "bersagli mancati":

• Veri positivi (TP): Il modello predice correttamente la classe positiva. Ad esempio, nel rilevamento degli oggetti, il modello identifica con successo identifica un pedone che attraversa la strada.
• Veri negativi (TN): Il modello predice correttamente la classe negativa. In un sistema di rilevamento dei difetti per l'IA nel settore manifatturiero, questo si verifica quando il modello identifica correttamente una parte funzionale come non difettosa.
• Falsi positivi (FP): il modello predice erroneamente la classe positiva. Questo è spesso chiamato errore di errore di tipo I. Un esempio è quello di una telecamera di sicurezza che segnala un ramo d'albero ondeggiante come un intruso.
• Falsi negativi (FN): Il modello predice erroneamente la classe negativa. Questo è noto come errore di tipo II. Questo potrebbe accadere se uno strumento strumento diagnostico medico non riuscisse a detect un tumore che in realtà è presente.

Significatività nella valutazione del modello

Mentre le metriche generali sono utili per una visione d'insieme di alto livello, la matrice di confusione è essenziale quando si tratta di sbilanciato. Se un set di dati contiene 95 gatti e 5 cani, un modello che si limita a indovinare "gatto" ogni volta raggiunge un'accuratezza del 95%, ma è inutile per trovare i cani. ma è inutile per trovare i cani. La matrice di confusione rivelerebbe immediatamente questo fallimento mostrando zero veri positivi per la classe "cane".

Questa ripartizione serve come base per il calcolo di altre metriche di metriche di performance. Analizzando la matrice, gli ingegneri possono ricavare:

• Precisione: L'accuratezza delle previsioni positive (TP / (TP + FP)).
• Richiamo (Sensibilità): La capacità di catturare catturare tutti i casi effettivamente positivi (TP / (TP + FN)).
• Punteggio F1: Una media armonica di precisione e richiamo, che offre una visione equilibrata della robustezza del modello.

Applicazioni nel mondo reale

L'importanza della matrice di confusione varia a seconda dell'applicazione specifica e del "costo" dei diversi errori. diversi errori.

• Diagnostica medica: In IA nel settore sanitario, il costo di un falso negativo è estremamente è estremamente elevato. Se un modello è progettato per detect polmonite dalle radiografie, la mancata individuazione di un caso positivo (FN) potrebbe ritardare un trattamento salvavita. Per questo motivo, gli sviluppatori analizzano la matrice di confusione per massimizzare il richiamo, assicurando che anche i segni più impercettibili di malattia vengano segnalati all'uomo. segni di malattia siano segnalati per l'esame umano. È possibile leggere ulteriori informazioni sulla valutazione nell'imaging medico per comprendere paletti.
• Rilevamento delle frodi: Nei sistemi finanziari, un falso positivo (che segnala come frode una transazione legittima) può infastidire i clienti e bloccare l'accesso ai fondi. frode) può infastidire i clienti e bloccare l'accesso ai fondi. Tuttavia, un Falso Negativo (che permette una vera e propria frode) causa perdite finanziarie dirette. Utilizzando una matrice di confusione, i data scientist possono regolare la soglia di confidenza per trovare il compromesso ottimale. soglia di confidenza per trovare il compromesso ottimale, bilanciando la sicurezza con l'esperienza dell'utente.
• Veicoli autonomi: Per le auto a guida autonoma, distinguere tra un oggetto fermo e un pedone in un oggetto fermo e un pedone in movimento è fondamentale. Una matrice di confusione aiuta gli ingegneri a capire se il sistema se il sistema confonde spesso classi specifiche, come ad esempio scambiare un lampione per una persona, consentendo un aumento mirato dei dati per correggere il comportamento. di aumentare i dati per correggere il comportamento.

Analisi dei risultati con il codice

Il ultralytics La libreria calcola e salva automaticamente le matrici di confusione durante il processo di convalida. processo di validazione. Ciò consente agli utenti di visualizzare le prestazioni di tutte le classi del loro set di dati.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Validate the model on a dataset like COCO8
# This generates the confusion matrix in the 'runs/detect/val' directory
results = model.val(data="coco8.yaml")

# You can also programmatically access the matrix data
print(results.confusion_matrix.matrix)

Confronto con termini affini

È importante distinguere la matrice di confusione dalle metriche derivate. Mentre Accuracy, Precisione e Richiamo sono sintesi di un singolo numero, la matrice di confusione è la fonte di dati grezzi da cui vengono calcolati questi numeri. Fornisce il "quadro completo" piuttosto che un'istantanea. Inoltre, nel rilevamento degli oggetti, la matrice interagisce spesso con Intersezione su Unione (IoU) per determinare ciò che conta come vero positivo, aggiungendo un altro livello di profondità alla valutazione nei compiti di visione artificiale. compiti di computer vision.