F1-Score

L'F1-Score è una metrica di performance fondamentale nel machine learning che combina precisione e recall in un'unica media armonica. È particolarmente utile per valutare modelli di classificazione in cui il dataset è sbilanciato o dove i falsi positivi e i falsi negativi comportano costi diversi. A differenza della semplice accuratezza, che può essere fuorviante se una classe domina il dataset, l'F1-Score fornisce una visione più equilibrata della capacità di un modello di identificare correttamente le istanze rilevanti riducendo al minimo gli errori. Penalizzando i valori estremi, garantisce che un punteggio elevato venga raggiunto solo quando sia la precisione che il recall sono ragionevolmente alti, rendendolo una metrica essenziale in campi che vanno dalla diagnostica medica al recupero delle informazioni.

Perché l'F1-Score è importante nel Machine Learning#

In molti scenari reali, conoscere semplicemente la percentuale di previsioni corrette (accuracy) non è sufficiente. Ad esempio, nel rilevamento di anomalie, i casi normali superano di gran lunga le anomalie. Un modello che prevede "normale" per ogni singolo input potrebbe raggiungere un'accuratezza del 99% ma sarebbe inutile per rilevare problemi reali. L'F1-Score risolve questo problema bilanciando due metriche in competizione:

• Precisione: misura la qualità delle previsioni positive. Risponde alla domanda: "Di tutte le istanze che il modello ha etichettato come positive, quante erano effettivamente positive?"
• Richiamo: misura la quantità di previsioni positive. Risponde alla domanda: "Di tutte le istanze positive reali, quante ne ha identificate correttamente il modello?"

Poiché spesso esiste un compromesso — migliorare la precisione tende a ridurre il richiamo e viceversa — l'F1-Score funge da metrica unificata per trovare un punto di bilanciamento ottimale. Questo è fondamentale quando si ottimizzano i modelli utilizzando l'ottimizzazione degli iperparametri per garantire prestazioni robuste in condizioni diverse.

Applicazioni nel mondo reale#

L'utilità dell'F1-Score si estende a vari settori in cui il costo dell'errore è significativo.

• Diagnostica Medica: nell'IA in ambito sanitario, in particolare per attività come il rilevamento di tumori, un falso negativo (mancare un tumore) mette a rischio la vita, mentre un falso positivo (segnare tessuto benigno) causa ansia non necessaria. L'F1-Score aiuta i ricercatori a ottimizzare modelli come YOLO26 per garantire che il sistema sia abbastanza sensibile da individuare malattie senza sovraccaricare i medici di falsi allarmi.
• Information Retrieval e Ricerca: I motori di ricerca e i sistemi di classificazione dei documenti utilizzano l'F1-Score per valutare la pertinenza. Gli utenti vogliono vedere tutti i documenti rilevanti (recall elevato) ma non vogliono vagliare risultati irrilevanti (precision elevata). Un F1-Score elevato indica che il motore sta recuperando efficacemente le informazioni corrette senza disordine.
• Filtromania/Filtro Spam: i servizi di posta elettronica utilizzano la classificazione del testo per separare lo spam. Il sistema deve intercettare le email di spam (richiamo) ma, cosa fondamentale, non deve etichettare le email di lavoro importanti come spazzatura (precisione). L'F1-Score funge da parametro di riferimento principale per questi filtri.

Calcolare l'F1-Score con Ultralytics#

I moderni framework di visione artificiale semplificano il calcolo di queste metriche. Quando si addestrano modelli di rilevamento oggetti, l'F1-Score viene calcolato automaticamente durante la fase di validazione. La Piattaforma Ultralytics visualizza queste metriche in grafici in tempo reale, consentendo agli utenti di vedere la curva dell'F1-Score rispetto a diverse soglie di confidenza.

Ecco come puoi accedere alle metriche di validazione, inclusi i componenti dell'F1-Score, utilizzando l'API Python:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

F1-Score vs. Metriche Correlate#

Comprendere in che modo l'F1-Score differisce da altri criteri di valutazione è essenziale per selezionare lo strumento giusto per il tuo progetto.

• Differenza rispetto all'Accuratezza: L'Accuratezza tratta tutti gli errori allo stesso modo. L'F1-Score è superiore per dataset sbilanciati perché si concentra sulle prestazioni della classe positiva (la classe minoritaria di interesse).
• Relazione con la mAP: La Mean Average Precision (mAP) è lo standard per il confronto di modelli di rilevamento oggetti su tutte le soglie di confidenza. Tuttavia, l'F1-Score viene spesso utilizzato per determinare la soglia di confidenza ottimale per il deployment. Puoi scegliere la soglia in cui la curva F1 raggiunge il picco per fare il deploy della tua applicazione.
• Matrice di Confusione: La matrice di confusione fornisce i conteggi grezzi (Veri Positivi, Falsi Positivi, ecc.) da cui deriva l'F1-Score. Sebbene la matrice offra dettagli granulari, l'F1-Score fornisce una singola statistica di riepilogo per un confronto rapido.
• ROC-AUC: L'Area Sotto la Curva (AUC) misura la separabilità su tutte le soglie. L'F1-Score è generalmente preferito rispetto a ROC-AUC quando si ha una distribuzione delle classi fortemente sbilanciata (ad es., il rilevamento delle frodi in cui la frode è rara).

Migliorare il tuo F1-Score#

Se il tuo modello soffre di un F1-Score basso, diverse strategie possono essere d'aiuto. L'aumento dei dati può aumentare la varietà di esempi positivi, aiutando il modello a generalizzare meglio. L'impiego del transfer learning da modelli di base robusti consente alla rete di sfruttare funzionalità preapprese. Inoltre, la regolazione della soglia di confidenza durante l'inferenza può spostare manualmente l'equilibrio tra precisione e richiamo per massimizzare l'F1-Score per il tuo caso d'uso specifico.