Accuratezza vs. precisione vs. recall nel machine learning

L'apprendimento automatico (ML) è una branca dell'intelligenza artificiale (AI) che si concentra sulla creazione di sistemi che apprendono dai dati. Svolge un ruolo centrale in molte altre aree dell'AI, tra cui la computer vision, in cui le macchine interpretano le immagini, e l'elaborazione del linguaggio naturale, in cui comprendono e generano il linguaggio umano.

Spesso, tali modelli di AI utilizzano tecniche di apprendimento profondo per effettuare previsioni basate sui dati. Sebbene tali sistemi possano essere altamente efficaci, non producono sempre previsioni corrette. Alcuni output possono essere accurati, mentre altri mancano il bersaglio.

Sapere come si verificano questi errori è una parte fondamentale per valutare le prestazioni di un modello. Per misurare le prestazioni, possiamo utilizzare le metriche di valutazione del modello.

Le metriche di valutazione comuni includono l'accuratezza (correttezza complessiva), la precisione (affidabilità delle previsioni positive) e il richiamo (quanto bene il modello identifica i positivi effettivi). Possono sembrare simili a prima vista, ma ognuna si concentra su un aspetto diverso del comportamento di un modello.

In questo articolo, esamineremo più da vicino ciascuna di queste metriche di prestazione dei modelli di AI. Esploreremo anche come sono correlate tra loro e come scegliere quella giusta per il tuo caso d'uso. Cominciamo!

Le metriche di valutazione del modello sono importanti nell'apprendimento automatico#

Inizialmente un modello di machine learning potrebbe sembrare funzionare bene. Ma senza le giuste metriche di valutazione, è difficile capire quanto siano accurati i suoi risultati. Queste metriche danno struttura alla valutazione del modello e aiutano a rispondere a una domanda chiave: le previsioni del modello sono utili e affidabili per un determinato compito?

Metriche come accuratezza, precisione e richiamo offrono agli sviluppatori di AI un modo chiaro per misurare il funzionamento di un modello. Ad esempio, quando si confrontano diversi modelli, queste metriche rendono possibile vedere quale funziona meglio per un compito specifico. Aiutano a valutare le prestazioni e guidano la scelta del modello che meglio si adatta agli obiettivi di un progetto di AI.

Fig 1. Flusso di lavoro di addestramento e valutazione del modello (Fonte)

Queste metriche rendono anche i confronti delle prestazioni più oggettivi. Invece di affidarsi a congetture o osservazioni incomplete, forniscono approfondimenti misurabili su come si comporta un modello in diverse situazioni. In questo modo, evidenziano quali aspetti delle prestazioni contano di più in ogni contesto.

Ad esempio, la scelta della metrica dipende spesso dall'applicazione. Nelle applicazioni sanitarie basate sull'AI, il recall è importante perché l'obiettivo è identificare quanti più casi positivi possibile, anche se alcuni negativi vengono segnalati erroneamente. Al contrario, un filtro antispam per le email può dare priorità alla precision per evitare di contrassegnare incorrettamente email legittime come spam.

La matrice di confusione: Il fondamento delle metriche di classificazione#

La matrice di confusione è una tabella due per due fondamentale per valutare i modelli di AI. Organizza le previsioni in quattro categorie confrontando i risultati effettivi con i risultati previsti (le risposte fornite dal modello).

Questo confronto fornisce una visione dettagliata delle prestazioni del modello. Forma la base per metriche di valutazione chiave come precisione e richiamo, che vengono calcolate direttamente dai valori nella matrice.

Le righe della tabella rappresentano le classi effettive e le colonne rappresentano le classi previste. Ogni cella mostra il conteggio dei risultati in quella categoria. In poche parole, mostra quante previsioni sono state corrette e i tipi di errori commessi dal modello.

La matrice di confusione è particolarmente utile quando i dati sono sbilanciati, il che significa che alcune categorie hanno molti più esempi di altre. È anche utile quando diversi tipi di errori comportano costi diversi.

Ad esempio, nel rilevamento delle frodi, catturare attività fraudolente è fondamentale, ma segnalare erroneamente transazioni reali può anche causare problemi. La matrice chiarisce con quale frequenza si verifica ogni tipo di errore.

Elementi della matrice di confusione#

Ecco una panoramica dei diversi elementi in una matrice di confusione:

• True positive (TP): Quando il modello prevede correttamente un'istanza positiva, viene registrata come un vero positivo. Ad esempio, un modello di computer vision classifica correttamente un veicolo in un'immagine.
• Vero negativo (TN): Un vero negativo si verifica quando il modello identifica correttamente un'istanza negativa. Ad esempio, un classificatore di email contrassegna un messaggio regolare come non spam.
• Falso positivo (FP): Il modello genera un falso positivo quando prevede erroneamente un esito positivo per un'istanza che è in realtà negativa. Conosciuto anche come Errore di Tipo I, questo può accadere quando un sistema di rilevamento frodi segnala una transazione valida come fraudolenta.
• Falso negativo (FN): Un falso negativo viene registrato quando il modello non riesce a rilevare un caso positivo e lo prevede erroneamente come negativo. Chiamato anche Errore di Tipo II, questo può verificarsi quando uno strumento diagnostico non rileva una malattia in un paziente che è effettivamente malato.

Fig 2. Gli elementi di una matrice di confusione (Fonte)

Rappresentazione visiva e interpretazione della matrice di confusione#

Una matrice di confusione viene visualizzata in formato griglia. L'asse verticale mostra le classi effettive e l'asse orizzontale mostra le classi previste. Le previsioni corrette appaiono lungo la diagonale, rappresentando veri positivi e veri negativi.

Gli errori cadono fuori dalla diagonale, coprendo falsi positivi e falsi negativi. Questa struttura rende facile individuare punti di forza e debolezze.

Cos'è l'accuratezza nell'apprendimento automatico?#

L'Accuracy è una delle metriche più ampiamente utilizzate per valutare le prestazioni di un modello di machine learning. Misura la frequenza con cui le previsioni sono corrette in tutte le classi. In altre parole, risponde a una semplice domanda: di tutte le previsioni fatte dal modello di AI, quante erano corrette?

La formula per l'accuratezza è il numero di previsioni corrette (che include sia veri positivi che veri negativi) diviso per il numero totale di previsioni. L'accuratezza è semplice da calcolare e facile da comprendere, il che la rende un punto di partenza comune nella valutazione del modello.

Generalmente, l'accuratezza è affidabile quando si gestiscono set di dati bilanciati. Tuttavia, l'accuratezza può spesso essere fuorviante in set di dati sbilanciati in cui una classe domina le altre. Un modello che prevede sempre la classe di maggioranza può comunque ottenere un punteggio di accuratezza elevato pur non riuscendo a rilevare altre classi di minoranza.

Ad esempio, in un set di dati di immagini in cui solo poche immagini contengono pedoni, un modello che prevede "nessun pedone" per ogni immagine può comunque ottenere un'accuratezza elevata ma non riuscire completamente a rilevare i pedoni effettivi.

Questo perché l'accuratezza da sola non mostra che tipo di errori commette un modello o quanto spesso accadono. Ecco perché è importante guardare anche a metriche come precisione e richiamo per comprendere appieno quanto bene funzioni un modello di AI.

Approfondimento sulla precisione: Ridurre al minimo i falsi allarmi#

La Precision è una metrica di valutazione chiave che misura l'accuratezza delle previsioni positive di un modello. Risponde alla domanda: di tutte le istanze previste come positive, quante erano corrette?

La formula della precisione è il numero di veri positivi diviso per la somma di veri positivi e falsi positivi. È particolarmente importante quando una previsione positiva sarebbe costosa se si rivelasse sbagliata.

Fig 3. Confronto tra accuratezza e precisione. (Fonte)

Ad esempio, nel rilevamento delle frodi, un modello con bassa precisione può segnalare molte transazioni valide come fraudolente, creando problemi non necessari sia agli utenti che ai team di supporto. Un modello con alta precisione riduce questo rischio assicurandosi che le transazioni segnalate abbiano maggiori probabilità di essere effettivamente frodi.

Sebbene un'alta precisione sia positiva, i modelli che si concentrano troppo su di essa possono diventare molto selettivi, perdendo casi positivi effettivi. Ecco perché la metrica di precisione viene spesso controllata insieme al richiamo per mantenere le prestazioni bilanciate.

Cos'è il richiamo?#

Il Recall è una metrica utilizzata per misurare la capacità di un modello di identificare i casi positivi effettivi. È noto come sensibilità o tasso di veri positivi e risponde alla domanda: di tutte le istanze positive effettive, quante ne ha rilevate correttamente il modello?

La formula per il richiamo è il numero di veri positivi diviso per la somma di veri positivi e falsi negativi. Un punteggio di richiamo elevato mostra che il modello sta catturando la maggior parte dei casi positivi reali nei dati.

Il richiamo è essenziale in settori come la sanità, dove non riuscire a rilevare una condizione può ritardare il trattamento e mettere a rischio i pazienti. Anche se alcuni casi negativi vengono segnalati erroneamente, identificare tutti i casi veri rimane la priorità principale.

Tuttavia, i modelli che si concentrano solo sul recall possono segnalare troppi falsi positivi, il che abbassa la precision e compromette l'efficienza complessiva del modello. Bilanciare recall e precision è fondamentale per garantire prestazioni affidabili del modello di AI.

L'atto di equilibrio: Compromesso tra precisione e richiamo#

Precisione e richiamo spesso si muovono in direzioni opposte. Quando uno migliora, l'altro può diminuire. Questo compromesso è una sfida comune nei compiti di apprendimento automatico.

Un modello ad alta precisione prevede qualcosa come positivo solo quando è sicuro. Ciò riduce i falsi allarmi ma può perdere positivi reali, il che riduce il richiamo. Un modello che cerca di catturare ogni positivo aumenta il richiamo ma rischia più falsi allarmi, il che riduce la precisione.

Questo compromesso diventa più chiaro quando regoli la soglia decisionale del modello. La soglia è il limite che un sistema utilizza per trasformare un punteggio o una probabilità in un'azione o etichetta. Abbassare la soglia fa sì che il sistema agisca in modo positivo più spesso, il che può aumentare il richiamo ma può ridurre la precisione. Alzare la soglia ha l'effetto opposto: il modello prevede meno positivi, la precisione migliora, ma il richiamo solitamente scende.

Supponiamo che tu stia lavorando al rilevamento dello spam. Il modello deve bilanciare il rischio di far entrare lo spam nella posta in arrivo con il rischio di bloccare email reali. Un filtro rigoroso potrebbe comunque perdere un po' di spam, mentre uno più permissivo potrebbe bloccare accidentalmente messaggi legittimi. L'equilibrio giusto dipende dal caso d'uso e dal costo di ciascun tipo di errore.

Il significato della curva precisione-richiamo#

La curva precisione-richiamo o curva PR mostra come la precisione e il richiamo cambiano al variare della soglia decisionale del modello. Ogni punto rappresenta un compromesso diverso tra i due. La curva PR è particolarmente utile per set di dati sbilanciati, dove una classe è molto meno frequente.

Fornisce inoltre un'indicazione più significativa rispetto alla curva ROC (Receiver Operating Characteristic), che mostra anche quanto bene un modello separi i positivi dai negativi a diverse soglie di decisione. Un modello con precision e recall elevate avrà una curva precision-recall che rimane vicina all'angolo superiore destro, il che è generalmente ideale.

Introduzione al punteggio F1: Una metrica combinata per l'equilibrio#

L'F1-score fornisce un unico valore che cattura l'equilibrio tra precision e recall. L'F1-score viene calcolato come due volte il prodotto di precision e recall, diviso per la somma di precision e recall. È utile quando sia i falsi positivi che i falsi negativi contano, ed è utile quando si lavora con dataset sbilanciati o quando è necessaria una visione equilibrata delle prestazioni del modello.

Fig 4. Calcolo dell'F1-score utilizzando precision e recall (Fonte)

Oltre all'accuratezza, alla precisione e al richiamo#

Mentre accuratezza, precisione e richiamo sono essenziali, altre metriche offrono ulteriori approfondimenti basati sul tipo di modello e sulle caratteristiche del set di dati.

Ecco alcune metriche comunemente utilizzate che aiutano a valutare diversi aspetti delle prestazioni:

• Specificità: Misura quanto bene il modello identifica i negativi effettivi. È utile quando evitare i falsi positivi è importante.
• AUC: L'AUC, o Area Under the Curve, fornisce un punteggio singolo che riflette la capacità del modello di distinguere tra le classi.
• Log loss: La log loss viene utilizzata per misurare il livello di confidenza di un modello quando effettua previsioni e penalizza maggiormente le previsioni errate formulate con alta confidenza. Qui, la confidenza si riferisce a quanto il modello sia sicuro della propria previsione.
• Valutazione multi-etichetta: Nei compiti multi-etichetta, le metriche vengono mediate tra le etichette per riflettere le prestazioni complessive del modello.

Applicazione di accuratezza, precisione e richiamo nella visione artificiale#

Ora che abbiamo una comprensione più chiara di accuratezza, precisione e richiamo, vediamo come queste metriche vengono applicate nella visione artificiale.

I modelli di computer vision come Ultralytics YOLO11 supportano attività come il rilevamento di oggetti, in cui il modello identifica quali oggetti sono presenti in un'immagine e li individua utilizzando i bounding box. Ogni previsione include sia l'etichetta dell'oggetto che la sua posizione, il che rende la valutazione più complessa rispetto al semplice controllo della correttezza di un'etichetta.

Fig 5. Un esempio di utilizzo di Ultralytics YOLO11 per il rilevamento di oggetti. (Fonte)

Considera un'applicazione retail in cui le telecamere vengono utilizzate per tracciare automaticamente i prodotti sugli scaffali. Un modello di rilevamento di oggetti potrebbe identificare articoli come scatole di cereali, lattine di bibite o bottiglie d'acqua e contrassegnare le loro posizioni.

In questo caso, la precisione ci dice quanti degli articoli rilevati sono effettivamente corretti. Un'alta precisione significa che il sistema evita falsi positivi, come etichettare un'ombra o un oggetto di sfondo come un prodotto. Il richiamo mostra quanti dei prodotti reali sullo scaffale il modello è riuscito a rilevare. Un alto richiamo significa che vengono persi meno articoli, il che è fondamentale per conteggi di inventario accurati.

L'accuratezza può ancora fornire una misura generale della correttezza, ma in questo tipo di contesto, perdere anche solo pochi prodotti o rilevare articoli che non ci sono può avere un grande impatto sulla gestione delle scorte. Ecco perché gli sviluppatori guardano a precisione, richiamo e accuratezza insieme per garantire che il sistema sia sia affidabile che pratico per l'uso nel mondo reale.

Accuratezza, precisione e richiamo: Punti chiave#

Accuratezza, precisione e richiamo mostrano ciascuno aspetti diversi delle prestazioni di un modello di apprendimento automatico. Fare affidamento su una sola metrica può essere fuorviante.

Strumenti e metriche come la matrice di confusione, le curve precisione-richiamo e il punteggio F1 aiutano a rivelare i compromessi e a guidare le decisioni per apportare miglioramenti al modello di ML. Scegliendo la giusta combinazione di metriche per una specifica soluzione di AI, puoi garantire che i modelli siano accurati, affidabili ed efficaci nelle applicazioni del mondo reale.

Esplora la nostra crescente community! Dai un'occhiata al nostro repository GitHub per saperne di più sull'AI. Pronto a iniziare i tuoi progetti di computer vision? Dai un'occhiata alle nostre opzioni di licenza. Scopri l'AI in agricoltura e la vision AI nella robotica visitando le nostre pagine delle soluzioni!