Precisione

L'accuratezza è una delle metriche di valutazione più fondamentali e intuitive nell'apprendimento automatico (ML). Misura la percentuale di previsioni corrette fatte da un modello su tutte le previsioni fatte. Per la sua semplicità, l'accuratezza è spesso la prima metrica a cui gli sviluppatori guardano per avere un'idea generale delle prestazioni di un modello di intelligenza artificiale, soprattutto nei compiti di classificazione. Serve come rapido controllo dello stato di salute prima di immergersi in valutazioni più complesse.

Applicazioni del mondo reale

L'accuratezza è un indicatore di prestazione chiave in molti campi in cui la classificazione è fondamentale. Ecco due esempi:

• Diagnosi medica: nell'ambito dell'assistenza sanitaria basata sull'intelligenza artificiale, un modello progettato per l'analisi delle immagini mediche potrebbe essere addestrato a classificare le immagini a raggi X in base ai segni di polmonite o meno. Un'elevata precisione significa che il modello identifica correttamente la presenza o l'assenza della malattia in un'alta percentuale di casi, fornendo un supporto affidabile ai radiologi.
• Controllo qualità della produzione: Nella produzione intelligente, un sistema di visione computerizzata può essere utilizzato per ispezionare i prodotti su un nastro trasportatore. Il modello classifica ogni articolo come "difettoso" o "non difettoso". L'elevata precisione garantisce che i prodotti difettosi vengano identificati correttamente per essere rimossi, riducendo al minimo l'etichettatura errata dei prodotti buoni, con un impatto diretto sull'efficienza e sulla qualità della produzione.

Limiti della precisione

Nonostante la sua utilità, l'accuratezza può essere altamente fuorviante, soprattutto quando si tratta di insiemi di dati sbilanciati. Un set di dati sbilanciato è quello in cui il numero di esempi nelle diverse classi varia in modo significativo. Ad esempio, nel rilevamento delle frodi, le transazioni legittime superano di gran lunga quelle fraudolente. Un modello che predice sempre "non fraudolento" potrebbe raggiungere un'accuratezza superiore al 99%, ma sarebbe completamente inutile per lo scopo che si prefigge. Questo perché non riesce a identificare i casi rari ma critici. Questo scenario evidenzia il paradosso dell'accuratezza, in cui un punteggio di accuratezza elevato dà una falsa idea dell'efficacia di un modello.

Precisione e altre metriche

Per avere un quadro completo delle prestazioni di un modello, è fondamentale considerare altre metriche oltre all'accuratezza.

• Precisione: Misura la percentuale di previsioni positive effettivamente corrette. Risponde alla domanda: "Di tutte le previsioni che ho fatto per la classe positiva, quante erano corrette?". Un'elevata precisione è fondamentale quando il costo di un falso positivo è elevato.
• Richiamo: Conosciuta anche come sensibilità, questa metrica misura la percentuale di casi positivi effettivi identificati correttamente. Risponde alla domanda: "Di tutti i casi effettivamente positivi, quanti ne ha trovati il mio modello?". Un richiamo elevato è fondamentale quando il costo di un falso negativo è elevato, come nel caso dello screening medico.
• Punteggio F1: È la media armonica di precisione e richiamo, che fornisce un singolo punteggio che bilancia entrambi. È particolarmente utile per valutare i modelli su insiemi di dati sbilanciati, dove sia i falsi positivi che i falsi negativi sono importanti.
• Matrice di confusione: Una tabella che visualizza le prestazioni di un modello di classificazione mostrando il numero di veri positivi, veri negativi, falsi positivi e falsi negativi. Fornisce i dati necessari per calcolare l'accuratezza, la precisione e il richiamo.
• Precisione media (mAP): Per compiti più complessi come il rilevamento di oggetti, mAP è la metrica standard. Valuta non solo la correttezza della classificazione, ma anche l'accuratezza della localizzazione dei riquadri di delimitazione previsti a diversi livelli di confidenza. Per una comprensione più approfondita, è possibile esplorare vari confronti tra modelli.

Migliorare la precisione del modello

Diverse tecniche possono contribuire a migliorare l'accuratezza del modello, anche se spesso comportano compromessi con altre metriche o con il costo computazionale:

• Aumento dei dati: Aumentare artificialmente la diversità dei dati di allenamento senza raccogliere nuovi campioni. Per esempi, consultare la guida all'incremento dei dati di YOLO.
• Regolazione degli iperparametri: Ottimizzazione di parametri come il tasso di apprendimento o la dimensione del batch, impostati prima dell'inizio dell'addestramento. Guide come quella sulla regolazione degli iperparametri possono aiutare.
• Scelta di architetture avanzate: Scegliere modelli più potenti, come i nuovi modelli Ultralytics YOLO o i Transformer.
• Trasferimento di apprendimento: Utilizzo di modelli pre-addestrati su grandi insiemi di dati come ImageNet e messa a punto su un compito specifico.
• Metodi Ensemble: Combinare le previsioni di più modelli per migliorare le prestazioni complessive.

Risorse di consulenza come Model Training Tips possono fornire indicazioni pratiche. Piattaforme come Ultralytics HUB consentono agli utenti di addestrare i modelli e di monitorare facilmente la precisione insieme ad altre metriche chiave, spesso visualizzate con strumenti come TensorBoard. Per tenere traccia dei progressi nel campo si possono utilizzare risorse come lo Stanford AI Index Report o sfogliare i dataset su Papers With Code. Framework come PyTorch e TensorFlow sono comunemente usati per costruire e addestrare questi modelli.

In conclusione, sebbene l'accuratezza sia una metrica preziosa e intuitiva per valutare le prestazioni dei modelli di intelligenza artificiale, raramente dovrebbe essere utilizzata in modo isolato. Considerare gli obiettivi specifici del compito di ML e la natura dei dati, in particolare i potenziali squilibri o i costi variabili degli errori, è essenziale per selezionare le metriche di valutazione più appropriate. L'utilizzo di tecniche di Explainable AI (XAI) può anche fornire approfondimenti al di là dei valori delle singole metriche.