Precisione media media (mAP) nel rilevamento degli oggetti

L'adozione dell'IA sta crescendo rapidamente e l'IA viene integrata in innovazioni di vario tipo, dalle auto a guida autonoma ai sistemi di vendita al dettaglio in grado di identificare i prodotti sugli scaffali. Queste tecnologie si basano sulla visione artificiale, un ramo dell'intelligenza artificiale (AI) che consente alle macchine di analizzare dati visivi.

Una metrica di valutazione fondamentale per misurare la precisione dei sistemi e degli algoritmi di visione artificiale è la precisione media media (mAP). La metrica mAP indica quanto la previsione di un modello di IA visiva corrisponde ai risultati del mondo reale.

Un'attività comune di visione artificiale è il rilevamento degli oggetti, in cui un modello identifica più oggetti in un'immagine e disegna attorno a essi riquadri di delimitazione. mAP è la metrica standard utilizzata per valutare le prestazioni dei modelli di rilevamento degli oggetti ed è ampiamente impiegata per confrontare modelli di deep learning come Ultralytics YOLO11.

In questo articolo vedremo come si calcola la precisione media media e perché è essenziale per chiunque addestri o valuti modelli di rilevamento degli oggetti.

Che cos'è la precisione media media (mAP)?#

La precisione media media è un punteggio che mostra quanto sia accurato un modello di deep learning nelle attività di recupero delle informazioni visive, come il rilevamento e l'identificazione di diversi oggetti in un'immagine. Per esempio, considera un modello di rilevamento degli oggetti che analizza una foto contenente un cane, un gatto e un'auto. Un modello affidabile può rilevare gli oggetti riconoscendoli e disegnando attorno a ciascuno riquadri di delimitazione ed etichette, così da indicare dove si trova e che cos'è.

mAP indica quanto bene il modello svolge questa attività su molte immagini e diverse tipologie di oggetti. Verifica se il modello identifica correttamente ogni oggetto e la sua posizione nell'immagine. Il punteggio va da 0 a 1: 1 significa che il modello ha individuato tutto alla perfezione, mentre 0 significa che non è riuscito a rilevare alcun oggetto.

Concetti chiave della precisione media media (mAP)#

Prima di approfondire i concetti alla base della precisione media media nell'apprendimento automatico, vediamo meglio due termini di base: verità di riferimento e previsioni.

La verità di riferimento è costituita dai dati di riferimento accurati, in cui gli oggetti e le loro posizioni nell'immagine sono etichettati con cura da persone tramite un processo noto come annotazione. Le previsioni, invece, sono i risultati forniti dai modelli di IA dopo aver analizzato un'immagine. Confrontando le previsioni del modello di IA con la verità di riferimento, possiamo misurare quanto il modello si sia avvicinato ai risultati corretti.

Fig. 1. Le previsioni del modello e i riquadri di delimitazione della verità di riferimento. Immagine dell'autore.

Matrice di confusione#

Una matrice di confusione viene spesso utilizzata per capire quanto sia preciso un modello di rilevamento degli oggetti. È una tabella che mostra quanto le previsioni del modello corrispondano alle risposte effettivamente corrette (verità di riferimento). Da questa tabella possiamo ricavare un riepilogo di quattro componenti o esiti chiave: veri positivi, falsi positivi, falsi negativi e veri negativi.

Ecco cosa rappresentano questi componenti nella matrice di confusione:

• Vero positivo (TP): un oggetto e la sua posizione vengono rilevati correttamente dal modello.
• Falso positivo (FP): il modello ha effettuato un rilevamento, ma era errato.
• Falso negativo (FN): un oggetto effettivamente presente nell'immagine che il modello non è riuscito a rilevare.
• Vero negativo (TN): i veri negativi si verificano quando il modello identifica correttamente l'assenza di un oggetto.

I veri negativi non vengono comunemente utilizzati nel rilevamento degli oggetti, perché in genere ignoriamo le numerose regioni vuote di un'immagine. Tuttavia, sono essenziali in altre attività di visione artificiale, come la classificazione delle immagini, in cui il modello assegna un'etichetta all'immagine. Per esempio, se l'attività consiste nel determinare se un'immagine contiene un gatto e il modello identifica correttamente "nessun gatto" quando l'immagine non ne contiene, si tratta di un vero negativo.

Fig. 2. Esiti della classificazione in una matrice di confusione. Immagine dell'autore.

Intersezione sull'unione (IoU)#

Un'altra metrica fondamentale per valutare i modelli di rilevamento degli oggetti è l'intersezione sull'unione (IoU). Per questi modelli di IA visiva non basta rilevare la presenza di un oggetto in un'immagine: il modello deve anche individuarne la posizione per disegnare i riquadri di delimitazione.

La metrica IoU misura quanto il riquadro previsto dal modello corrisponda al riquadro effettivamente corretto (verità di riferimento). Il punteggio è compreso tra 0 e 1, dove 1 indica una corrispondenza perfetta e 0 indica che non c'è alcuna sovrapposizione.

Per esempio, un valore IoU più alto (come 0.80 o 0.85) indica che il riquadro previsto corrisponde da vicino al riquadro della verità di riferimento e che la localizzazione è accurata. Un valore IoU più basso (come 0.30 o 0.25) significa che il modello non ha localizzato l'oggetto con precisione.

Per stabilire se un rilevamento è riuscito, utilizziamo diverse soglie. Una soglia IoU comune è 0.5: significa che il riquadro previsto deve sovrapporsi a quello della verità di riferimento per almeno il 50% per essere considerato un vero positivo. Qualsiasi sovrapposizione al di sotto di questa soglia è considerata un falso positivo.

Fig. 3. Comprendere l'intersezione sull'unione. Immagine dell'autore.

Precisione e richiamo#

Finora abbiamo esaminato alcune metriche di valutazione di base per comprendere le prestazioni dei modelli di rilevamento degli oggetti. Partendo da queste, due delle metriche più importanti sono precisione e richiamo. Ci offrono un quadro chiaro dell'accuratezza dei rilevamenti del modello. Vediamo di cosa si tratta.

I valori di precisione indicano quante previsioni del modello erano effettivamente corrette. Rispondono alla domanda: tra tutti gli oggetti che il modello ha dichiarato di aver rilevato, quanti erano davvero presenti?

I valori di richiamo, invece, misurano quanto bene il modello trova tutti gli oggetti effettivamente presenti nell'immagine. Rispondono alla domanda: tra tutti gli oggetti realmente presenti, quanti sono stati rilevati correttamente dal modello?

Precisione e richiamo, considerate insieme, offrono un quadro più chiaro delle prestazioni di un modello. Per esempio, se un modello individua 10 auto in un'immagine e 9 di queste sono effettivamente auto, ha una precisione del 90%.

Queste due metriche di valutazione comportano spesso un compromesso: un modello può ottenere un valore di precisione elevato formulando solo previsioni di cui è pienamente sicuro, ma così facendo potrebbe non rilevare molti oggetti, riducendo il richiamo. D'altra parte, può anche raggiungere un richiamo molto elevato prevedendo un riquadro di delimitazione quasi ovunque, ma questo ridurrebbe la precisione.

Fig. 4. Precisione e richiamo. Immagine dell'autore.

Precisione media#

Mentre precisione e richiamo ci aiutano a capire le prestazioni di un modello sulle singole previsioni, la precisione media (AP) offre una visione più ampia. Illustra come cambia la precisione del modello mentre cerca di rilevare un numero maggiore di oggetti e riassume le sue prestazioni in un unico valore.

Per calcolare il punteggio di precisione media, possiamo prima creare per ogni tipo di oggetto un grafico combinato chiamato curva precisione-richiamo (o curva PR). Questa curva mostra cosa accade quando il modello formula più previsioni.

Considera uno scenario in cui il modello inizia rilevando solo gli oggetti più facili o più evidenti. In questa fase la precisione è elevata perché la maggior parte delle previsioni è corretta, ma il richiamo è basso perché molti oggetti non vengono ancora rilevati. Quando il modello cerca di rilevare più oggetti, compresi quelli più difficili o rari, di solito commette più errori. Di conseguenza, la precisione diminuisce mentre il richiamo aumenta.

La precisione media corrisponde all'area sotto la curva (AUC) della curva PR. Un'area maggiore significa che il modello riesce meglio a mantenere accurate le proprie previsioni anche quando rileva più oggetti. AP viene calcolata separatamente per ogni etichetta di classe.

Per esempio, in un modello in grado di rilevare auto, biciclette e pedoni, possiamo calcolare individualmente i valori AP per ciascuna delle tre categorie. Questo ci aiuta a capire quali oggetti il modello rileva bene e quali potrebbero ancora richiedere miglioramenti.

Fig. 5. Una curva PR per cinque classi diverse. (Fonte)

Precisione media media#

Dopo aver calcolato la precisione media per ogni classe di oggetti, ci serve ancora un singolo punteggio che rifletta le prestazioni complessive del modello su tutte le classi. Possiamo ottenerlo con la formula della precisione media media, che calcola la media dei punteggi AP per ogni categoria.

Per esempio, supponiamo che un modello di visione artificiale come Ultralytics YOLO11 ottenga un AP di 0.827 per le auto, 0.679 per le motociclette, 0.355 per gli autocarri, 0.863 per gli autobus e 0.982 per le biciclette. Applicando la formula mAP, possiamo sommare questi valori e dividerli per il numero totale di classi come segue:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7412 ≈ 0.741

Il punteggio mAP di 0.741 offre un modo semplice per valutare le prestazioni del modello su tutte le classi di oggetti. Un valore vicino a 1 significa che il modello è preciso per la maggior parte delle categorie, mentre un valore inferiore suggerisce che incontra difficoltà con alcune di esse.

Importanza di AP e mAP nella visione artificiale#

Ora che abbiamo capito meglio come si calcolano AP e mAP e quali sono i loro componenti, ecco una panoramica della loro importanza nella visione artificiale:

• AP basso per una classe specifica: un AP basso per una singola classe spesso significa che il modello ha difficoltà con quella specifica classe di oggetti. La causa può essere la scarsità di dati di addestramento o la presenza di difficoltà visive nelle immagini, come l'occlusione.
• Errori di localizzazione: un valore di mAP più alto a una soglia IoU più bassa (come mAP₅₀), insieme a un calo significativo a una soglia IoU più alta (come mAP₇₅), indica che il modello è in grado di rilevare gli oggetti, ma ha difficoltà a localizzarli con precisione.
• Overfitting: un valore mAP più alto sul set di dati di addestramento ma più basso sul set di dati di convalida è un segnale di overfitting, che rende il modello inaffidabile per le nuove immagini.

Applicazioni della precisione media media nel mondo reale#

Vediamo ora come metriche chiave come mAP possono essere utili per realizzare applicazioni di visione artificiale nel mondo reale.

Veicoli autonomi: perché un valore mAP più alto rende le strade più sicure#

Per le auto a guida autonoma, il rilevamento degli oggetti è fondamentale per identificare pedoni, segnali stradali, ciclisti e segnaletica orizzontale. Per esempio, se un bambino attraversa improvvisamente la strada di corsa, l'auto ha pochi secondi per rilevare l'oggetto (il bambino), localizzarlo, seguirne il movimento e intraprendere le azioni necessarie (frenare).

Modelli come Ultralytics YOLO11 sono progettati per il rilevamento di oggetti in tempo reale in scenari ad alto rischio di questo tipo. In questi casi, mAP diventa una misura fondamentale per la sicurezza.

Un punteggio mAP elevato significa che è più probabile che il sistema rilevi il bambino e ne localizzi con precisione la posizione, così da poter attivare la frenata con un ritardo minimo. Un mAP basso può indicare rilevamenti mancati o classificazioni errate pericolose, come scambiare il bambino per un altro oggetto di piccole dimensioni.

Fig. 6. Un esempio di YOLO11 usato per rilevare pedoni sulla strada. (Fonte)

Uso di mAP per il rilevamento accurato dei prodotti#

Allo stesso modo, nel commercio al dettaglio, i modelli di rilevamento degli oggetti possono automatizzare attività come il monitoraggio delle scorte e le procedure di pagamento. Quando un cliente scansiona un prodotto alla cassa automatica, un errore di rilevamento può causare frustrazione.

Un punteggio mAP elevato assicura che il modello distingua accuratamente prodotti simili e disegni riquadri di delimitazione precisi, anche quando gli articoli sono molto vicini tra loro. Un punteggio mAP basso può causare confusione. Per esempio, se il modello scambia una bottiglia di succo d'arancia per una bottiglia di succo di mela dall'aspetto simile, può causare addebiti errati e report di inventario imprecisi.

I sistemi di vendita al dettaglio integrati con modelli come Ultralytics YOLO11 possono rilevare i prodotti in tempo reale, verificarli rispetto all'inventario e aggiornare immediatamente i sistemi di backend. Nei contesti di vendita al dettaglio più dinamici, mAP svolge un ruolo cruciale nel mantenere le operazioni precise e affidabili.

Migliorare la precisione diagnostica in ambito sanitario con un mAP elevato#

Migliorare la precisione diagnostica in ambito sanitario inizia con un rilevamento preciso nelle immagini mediche. Modelli come YOLO11 possono aiutare i radiologi a individuare tumori, fratture o altre anomalie nelle scansioni mediche. In questo contesto, la precisione media media è una metrica essenziale per valutare l'affidabilità clinica di un modello.

Un mAP elevato indica che il modello raggiunge sia un'elevata copertura (identifica la maggior parte dei problemi reali) sia un'elevata precisione (evita i falsi allarmi), caratteristiche fondamentali per le decisioni cliniche.

Un punteggio mAP basso, invece, può destare preoccupazione. Per esempio, se un modello non rileva un tumore, la diagnosi potrebbe subire ritardi o portare a un trattamento errato.

Pro e contro dell'uso di mAP#

Ecco i principali vantaggi dell'uso della precisione media media per valutare i modelli di rilevamento degli oggetti:

• Metrica standardizzata: mAP è lo standard del settore per valutare i modelli di rilevamento degli oggetti. Il valore mAP consente di confrontare diversi modelli in modo equo e coerente.
• Rispecchia le prestazioni nel mondo reale: un mAP elevato indica che il modello eccelle nel rilevamento di varie classi di oggetti e mantiene prestazioni elevate in scenari complessi e reali.
• Analisi per classe: mAP si basa sui punteggi AP per classe, che facilitano l'individuazione delle categorie con prestazioni insufficienti (come biciclette o segnali stradali) e la messa a punto del modello di conseguenza.

Sebbene l'uso della metrica mAP offra diversi vantaggi, ci sono alcune limitazioni da considerare. Ecco alcuni aspetti da tenere in conto:

• Difficile da interpretare per chi non è esperto di tecnologia: i team aziendali o clinici potrebbero trovare astratti i valori mAP, a differenza di metriche più intuitive e facili da comprendere.
• Non riflette i vincoli del tempo reale: mAP non tiene conto della velocità di inferenza o della latenza, aspetti cruciali per la distribuzione in applicazioni sensibili ai tempi.

Punti chiave#

Abbiamo visto che la precisione media media non è solo un punteggio tecnico, ma anche un riflesso delle potenziali prestazioni di un modello nel mondo reale. Che si tratti di un sistema per veicoli autonomi o di una cassa al dettaglio, un punteggio mAP elevato è un indicatore affidabile delle prestazioni e della concreta prontezza all'uso di un modello.

Sebbene mAP sia una metrica essenziale e significativa, va considerata parte di una strategia di valutazione completa. Per applicazioni critiche come la sanità e la guida autonoma, affidarsi esclusivamente a mAP non è sufficiente.

Per assicurarsi che il sistema sia sicuro, efficiente e davvero adatto allo scopo previsto, è necessario considerare anche fattori come la velocità di inferenza (la rapidità con cui il modello genera previsioni), le dimensioni del modello (che incidono sulla distribuzione sui dispositivi edge) e l'analisi qualitativa degli errori (per comprendere quali tipi di errori commette il modello).

Unisciti alla nostra community e visita il nostro repository GitHub per saperne di più sulla visione artificiale. Esplora le nostre pagine dedicate alle soluzioni per scoprire le applicazioni della visione artificiale in agricoltura e dell'IA nella logistica. Dai un'occhiata alle nostre opzioni di licenza e inizia oggi stesso a creare il tuo modello di visione artificiale!