Accuratezza, precisione e richiamo a confronto nel machine learning

L’apprendimento automatico (ML) è un ramo dell’intelligenza artificiale (AI) che si concentra sulla creazione di sistemi in grado di apprendere dai dati. Svolge un ruolo centrale in molti altri ambiti dell’IA, tra cui la visione artificiale, in cui le macchine interpretano le immagini, e l’elaborazione del linguaggio naturale, in cui comprendono e generano il linguaggio umano.

Spesso questi modelli di IA utilizzano tecniche di deep learning per formulare previsioni a partire dai dati. Questi sistemi possono essere molto efficaci, ma non producono sempre previsioni corrette. Alcuni risultati possono essere accurati, mentre altri sono sbagliati.

Capire come si verificano questi errori è fondamentale per valutare le prestazioni di un modello. Per misurare le prestazioni, possiamo usare le metriche di valutazione dei modelli.

Tra le metriche di valutazione più comuni figurano l’accuratezza (correttezza complessiva), la precisione (affidabilità delle previsioni positive) e il richiamo (capacità del modello di identificare i casi effettivamente positivi). A prima vista possono sembrare simili, ma ciascuna si concentra su un aspetto diverso del comportamento del modello.

In questo articolo analizzeremo più da vicino ciascuna di queste metriche di prestazioni dei modelli di IA. Vedremo anche come sono correlate tra loro e come scegliere quella più adatta al tuo caso d'uso.

Le metriche di valutazione dei modelli sono importanti nell’apprendimento automatico#

A prima vista, un modello di machine learning può sembrare efficace. Ma senza le metriche di valutazione appropriate, è difficile capire quanto siano accurati i suoi risultati. Queste metriche forniscono un quadro strutturato per valutare i modelli e aiutano a rispondere a una domanda fondamentale: le previsioni del modello sono utili e affidabili per una determinata attività?

Metriche come l’accuratezza, la precisione e il richiamo offrono agli sviluppatori di IA un modo chiaro per misurare le prestazioni di un modello. Per esempio, quando si confrontano diversi modelli, queste metriche permettono di capire quale funziona meglio per una determinata attività. Aiutano a valutare le prestazioni e a scegliere il modello più adatto agli obiettivi di un progetto di IA.

Fig. 1. Flusso di lavoro per l’addestramento e la valutazione dei modelli (Fonte)

Queste metriche rendono più oggettivo anche il confronto delle prestazioni. Invece di basarsi su supposizioni o osservazioni incomplete, forniscono indicazioni misurabili sul comportamento del modello in diverse situazioni. In questo modo, mettono in evidenza gli aspetti delle prestazioni più importanti in ciascun contesto.

Per esempio, la scelta della metrica dipende spesso dall’applicazione. Nelle applicazioni di IA in ambito sanitario, il richiamo è importante perché l’obiettivo è identificare il maggior numero possibile di casi positivi, anche se alcuni casi negativi vengono segnalati per errore. Al contrario, un filtro antispam per le e-mail può dare priorità alla precisione per evitare di contrassegnare erroneamente come spam i messaggi legittimi.

La matrice di confusione: la base delle metriche di classificazione#

Per la classificazione binaria, la matrice di confusione è una tabella due per due fondamentale per valutare i modelli di IA. Organizza le previsioni in quattro categorie confrontando i risultati effettivi con quelli previsti (le risposte fornite dal modello).

Questo confronto offre una visione dettagliata delle prestazioni del modello. È alla base di metriche di valutazione fondamentali come la precisione e il richiamo, calcolate direttamente a partire dai valori della matrice.

Le righe della tabella rappresentano le classi effettive, mentre le colonne rappresentano quelle previste. Ogni cella mostra il numero di risultati appartenenti a quella categoria. In parole semplici, indica quante previsioni erano corrette e quali tipi di errori ha commesso il modello.

La matrice di confusione è particolarmente utile quando i dati sono sbilanciati, cioè quando alcune categorie contengono molti più esempi di altre. È utile anche quando i diversi tipi di errore hanno costi diversi.

Per esempio, nel rilevamento delle frodi è fondamentale individuare le attività fraudolente, ma anche segnalare erroneamente transazioni legittime può causare problemi. La matrice mostra chiaramente la frequenza di ciascun tipo di errore.

Elementi della matrice di confusione#

Ecco una panoramica dei diversi elementi di una matrice di confusione:

• Vero positivo (TP): quando il modello prevede correttamente un’istanza positiva, questa viene registrata come vero positivo. Per esempio, un modello di visione artificiale classifica correttamente un veicolo in un’immagine.
• Vero negativo (TN): si verifica un vero negativo quando il modello identifica correttamente un’istanza negativa. Per esempio, un classificatore di e-mail contrassegna un messaggio normale come non spam.
• Falso positivo (FP): Il modello genera un falso positivo quando prevede erroneamente un risultato positivo per un'istanza che in realtà è negativa. Noto anche come errore di tipo I, può verificarsi quando un sistema di rilevamento delle frodi segnala come fraudolenta una transazione legittima.
• Falso negativo (FN): Si registra un falso negativo quando il modello non rileva un caso positivo e lo classifica erroneamente come negativo. Noto anche come errore di tipo II, può verificarsi quando uno strumento diagnostico non rileva una malattia in un paziente che ne è affetto.

Fig. 2. Gli elementi di una matrice di confusione (Fonte)

Rappresentazione visiva e interpretazione della matrice di confusione#

Una matrice di confusione viene visualizzata sotto forma di griglia. L’asse verticale mostra le classi effettive, mentre quello orizzontale mostra le classi previste. Le previsioni corrette compaiono lungo la diagonale e rappresentano i veri positivi e i veri negativi.

Gli errori si trovano fuori dalla diagonale e comprendono i falsi positivi e i falsi negativi. Questa struttura facilita l’individuazione dei punti di forza e di debolezza.

Che cos’è l’accuratezza nell’apprendimento automatico?#

L’accuratezza è una delle metriche più utilizzate per valutare le prestazioni di un modello di apprendimento automatico. Misura la frequenza con cui le previsioni sono corrette rispetto a tutte le classi. In altre parole, risponde a una semplice domanda: su tutte le previsioni formulate dal modello di IA, quante erano corrette?

La formula dell’accuratezza consiste nel dividere il numero di previsioni corrette (che include sia i veri positivi sia i veri negativi) per il numero totale di previsioni. L’accuratezza è semplice da calcolare e facile da capire, perciò è spesso il punto di partenza nella valutazione dei modelli.

In generale, l’accuratezza è affidabile quando si lavora con dataset bilanciati. Tuttavia, può spesso essere fuorviante nei dataset sbilanciati, in cui una classe prevale sulle altre. Un modello che prevede sempre la classe maggioritaria può comunque ottenere un punteggio di accuratezza elevato, pur non riuscendo a rilevare le altre classi minoritarie.

Per esempio, in un dataset di immagini in cui solo poche immagini contengono pedoni, un modello che prevede “nessun pedone” per ogni immagine può comunque ottenere un’accuratezza elevata, pur non rilevando affatto i pedoni presenti.

Questo accade perché l’accuratezza, da sola, non mostra quali tipi di errori commette un modello né con quale frequenza. Per capire appieno le prestazioni di un modello di IA, è quindi importante esaminare anche metriche come la precisione e il richiamo.

Approfondimento sulla precisione: ridurre al minimo i falsi allarmi#

La precisione è una metrica di valutazione fondamentale che misura l’accuratezza delle previsioni positive di un modello. Risponde alla domanda: tra tutte le istanze previste come positive, quante erano corrette?

La formula della precisione consiste nel dividere il numero di veri positivi per la somma dei veri positivi e dei falsi positivi. È particolarmente importante quando una previsione positiva errata avrebbe conseguenze costose.

Fig. 3. Confronto tra accuratezza e precisione. (Fonte)

Per esempio, nel rilevamento delle frodi, un modello con bassa precisione può segnalare come fraudolente molte transazioni valide, creando problemi inutili sia agli utenti sia ai team di supporto. Un modello con alta precisione riduce questo rischio, assicurando che le transazioni segnalate siano più probabilmente fraudolente.

Un’elevata precisione è positiva, ma i modelli che vi si concentrano troppo possono diventare molto selettivi e non rilevare casi effettivamente positivi. Per questo la precisione viene spesso valutata insieme al richiamo, così da mantenere un equilibrio nelle prestazioni.

Che cos’è il richiamo?#

Il richiamo è una metrica che misura quanto bene un modello identifica i casi effettivamente positivi. È noto anche come sensibilità o tasso di veri positivi e risponde alla domanda: tra tutte le istanze realmente positive, quante ne ha rilevate correttamente il modello?

La formula del richiamo consiste nel dividere il numero di veri positivi per la somma dei veri positivi e dei falsi negativi. Un punteggio di richiamo elevato indica che il modello rileva la maggior parte dei casi realmente positivi nei dati.

Il richiamo è essenziale in settori come quello sanitario, in cui non rilevare una condizione può ritardare il trattamento e mettere a rischio i pazienti. Anche se alcuni casi negativi vengono segnalati erroneamente, la priorità resta identificare tutti i casi effettivi.

Tuttavia, i modelli che si concentrano solo sul richiamo possono segnalare troppi falsi positivi, riducendo la precisione e l'efficienza complessiva del modello. Bilanciare richiamo e precisione è fondamentale per ottenere prestazioni affidabili dai modelli di IA.

Il compromesso tra precisione e richiamo#

Precisione e richiamo spesso variano in direzioni opposte: quando una migliora, l’altra può diminuire. Questo compromesso è una sfida comune nelle attività di apprendimento automatico.

Un modello con alta precisione classifica qualcosa come positivo solo quando ne è sicuro. Questo riduce i falsi allarmi, ma può non rilevare casi positivi effettivi e quindi ridurre il richiamo. Un modello che cerca di rilevare ogni caso positivo aumenta il richiamo, ma rischia di generare più falsi allarmi, riducendo la precisione.

Questo compromesso diventa più evidente quando si modifica la soglia decisionale del modello. La soglia è il valore limite che un sistema usa per trasformare un punteggio o una probabilità in un’azione o un’etichetta. Abbassandola, il sistema tende più spesso a classificare un caso come positivo: il richiamo può aumentare, ma la precisione può diminuire. Alzandola si ottiene l’effetto opposto: il modello prevede meno casi positivi, la precisione migliora, ma il richiamo in genere diminuisce.

Supponiamo che tu stia lavorando al rilevamento dello spam. Il modello deve bilanciare il rischio di lasciar finire lo spam nella posta in arrivo con quello di bloccare le email legittime. Un filtro rigoroso potrebbe bloccare per errore messaggi legittimi, mentre uno più permissivo potrebbe lasciar passare dello spam. Il giusto equilibrio dipende dal caso d'uso e dal costo associato a ciascun tipo di errore.

L’importanza della curva precisione-richiamo#

La curva precisione-richiamo, o curva PR, mostra come variano la precisione e il richiamo al variare della soglia decisionale del modello. Ogni punto rappresenta un diverso compromesso tra le due metriche. La curva PR è particolarmente utile per i dataset sbilanciati, in cui una classe è molto meno frequente dell’altra.

Con dati sbilanciati, spesso fornisce indicazioni più significative della curva ROC (Receiver Operating Characteristic), che mostra anch'essa quanto bene un modello separa i positivi dai negativi a diverse soglie decisionali. Un modello con precisione e richiamo elevati avrà una curva precisione-richiamo che rimane vicino all'angolo superiore destro, una condizione generalmente ideale.

Introduzione al punteggio F1: una metrica combinata per trovare un equilibrio#

Il punteggio F1 esprime con un unico valore l’equilibrio tra precisione e richiamo. Si calcola moltiplicando precisione e richiamo, raddoppiando il risultato e dividendolo per la somma di precisione e richiamo. È utile quando sono importanti sia i falsi positivi sia i falsi negativi, quando si lavora con dataset sbilanciati o quando serve una valutazione equilibrata delle prestazioni del modello.

Fig. 4. Calcolo del punteggio F1 usando precisione e richiamo (Fonte)

Oltre ad accuratezza, precisione e richiamo#

Sebbene accuratezza, precisione e richiamo siano essenziali, altre metriche offrono ulteriori informazioni in base al tipo di modello e alle caratteristiche del dataset.

Ecco alcune metriche comunemente utilizzate per valutare diversi aspetti delle prestazioni:

• Specificità: misura quanto bene il modello identifica i veri negativi. È utile quando è importante evitare i falsi positivi.
• AUC: AUC, ovvero area sotto la curva, fornisce un singolo punteggio che riflette la capacità del modello di distinguere tra le classi.
• Perdita logaritmica: la perdita logaritmica misura il grado di sicurezza del modello nel fare previsioni e penalizza maggiormente quelle errate effettuate con un alto grado di sicurezza. In questo contesto, confidence si riferisce al grado di sicurezza del modello riguardo alla propria previsione.
• Valutazione multi-etichetta: nelle attività multi-etichetta, le metriche vengono calcolate come media tra le etichette per riflettere le prestazioni complessive del modello.

Applicare accuratezza, precisione e richiamo nella computer vision#

Ora che abbiamo un'idea più chiara di accuratezza, precisione e richiamo, vediamo come queste metriche vengono applicate nella visione artificiale.

I modelli di computer vision come Ultralytics YOLO11 supportano attività quali il rilevamento degli oggetti, in cui il modello identifica gli oggetti presenti in un'immagine e ne individua la posizione usando riquadri di delimitazione. Ogni previsione include sia l'etichetta dell'oggetto sia la sua posizione, rendendo la valutazione più complessa del semplice controllo della correttezza di un'etichetta.

Fig. 5. Un esempio di utilizzo di Ultralytics YOLO11 per il rilevamento degli oggetti. (Fonte)

Considera un'applicazione nel commercio al dettaglio in cui le telecamere vengono usate per monitorare automaticamente i prodotti sugli scaffali. Un modello di rilevamento degli oggetti potrebbe identificare articoli come scatole di cereali, lattine di bibite o bottiglie d'acqua e indicarne la posizione.

In questo caso, la precisione indica quanti degli articoli rilevati sono effettivamente corretti. Un'alta precisione significa che il sistema evita falsi positivi, come etichettare un'ombra o un oggetto sullo sfondo come un prodotto. Il richiamo mostra quanti dei prodotti realmente presenti sullo scaffale il modello è riuscito a rilevare. Un alto richiamo significa che vengono ignorati meno articoli, un aspetto fondamentale per contare accuratamente le scorte.

L'accuratezza può comunque fornire una misura generale della correttezza, ma in questo tipo di contesto anche la mancata individuazione di pochi prodotti o il rilevamento di articoli inesistenti possono avere un forte impatto sulla gestione delle scorte. Per questo gli sviluppatori considerano insieme precisione, richiamo e accuratezza, così da garantire che il sistema sia affidabile e pratico nell'uso reale.

Accuratezza, precisione e richiamo: punti chiave#

Accuratezza, precisione e richiamo evidenziano ciascuna aspetti diversi delle prestazioni di un modello di machine learning. Affidarsi a una sola metrica può essere fuorviante.

Strumenti e metriche come la matrice di confusione, le curve precisione-richiamo e il punteggio F1 aiutano a evidenziare i compromessi e a orientare le decisioni per migliorare il modello ML. Scegliendo la combinazione di metriche più adatta a una specifica soluzione di IA, puoi assicurarti che i modelli siano accurati, affidabili ed efficaci nelle applicazioni reali.

Esplora la nostra community in crescita! Dai un'occhiata al nostro repository GitHub per saperne di più sull'IA. Vuoi iniziare i tuoi progetti di computer vision? Scopri le nostre opzioni di licenza. Scopri l'IA in agricoltura e l'IA visiva nella robotica visitando le nostre pagine dedicate alle soluzioni!