Punteggio F1

L'F1-Score è una metrica critica per le prestazioni in apprendimento automatico (ML) utilizzata per valutare l'accuratezza precisione dei modelli di classificazione. A differenza della semplice accuratezza, che calcola la percentuale di predizioni corrette, l'F1-Score combina altre due metriche vitali: la precisione e l'accuratezza. F1-Score combina altre due metriche vitali - precisione e precisionee richiamo in ununico valore. È definito come la media armonica di precisione e richiamo. Questo rende il F1-Score particolarmente utile per valutare i modelli addestrati su sbilanciati, in cui il numero di campioni di una classe è significativamente superiore a quello delle altre. In questi casi, un modello potrebbe ottenere un modello potrebbe ottenere un'elevata accuratezza semplicemente prevedendo la classe maggioritaria, mentre non riesce a identificare la classe minoritaria che spesso è di maggiore interesse. maggiore interesse.

L'equilibrio tra precisione e richiamo

Per comprendere il punteggio F1, è necessario cogliere la tensione tra le sue componenti. La precisione misura la qualità delle previsioni positive (riducendo al minimo i falsi positivi), mentre Recall misura la quantità di veri positivi identificati (riducendo al minimo i falsi negativi). identificati (riducendo al minimo i falsi negativi). Spesso, l'aumento di una di queste metriche si traduce in una diminuzione dell'altra, un fenomeno conosciuto come fenomeno noto come compromesso tra precisione e richiamo. Il punteggio F1 fornisce una visione equilibrata penalizzando i valori estremi. Raggiunge il suo valore migliore a 1 (precisione e richiamo precisione e richiamo perfetti) e il peggiore a 0. Questo equilibrio è essenziale per lo sviluppo di sistemi di modellazione predittiva robusti, in cui sia i risultati mancati che i richiami sistemi di modellazione predittiva robusti, dove sia i mancati sia i mancati rilevamenti che i falsi allarmi comportano costi significativi.

Applicazioni nel mondo reale

Il punteggio F1 è indispensabile negli scenari in cui il costo dell'errore è elevato o la distribuzione dei dati è distorta.

• Analisi delle immagini mediche: Nel settore sanitario, la diagnosi di patologie come i tumori richiede un'elevata sensibilità. Un falso negativo (assenza di tumore) è pericoloso, mentre un falso positivo (identificazione di un tessuto sano come pericoloso, mentre un falso positivo (che identifica un tessuto sano come un tumore) causa stress inutile. Le soluzioni che sfruttano l'IA nel settore sanitario si basano sul F1-Score per garantire che il modello mantenga un equilibrio sicuro, rilevando il maggior numero possibile di casi veri senza sommergere i medici di falsi allarmi. medici con falsi allarmi.
• Rilevamento delle anomalie nella finanza: Le istituzioni finanziarie utilizzano l'intelligenza artificiale per detect transazioni fraudolente. Poiché le frodi vere e proprie sono rare rispetto alle transazioni legittime, un modello potrebbe dichiarare un'accuratezza del 99,9% semplicemente etichettando tutto come legittimo. Tuttavia, questo sarebbe inutile per individuare le frodi. Ottimizzando il punteggio F1, l'intelligenza artificiale nella finanza può segnalare efficacemente le attività sospette, riducendo al minimo le interruzioni causate dal blocco delle carte valide.

Punteggio F1 in Ultralytics YOLO11

Per i compiti di computer vision (CV) come il come l 'individuazione di oggetti, il punteggio F1 aiuta a determinare quanto un modello definisca i confini e classifichi gli oggetti a determinate soglie di confidenza. Quando si addestrano modelli come Ultralytics YOLO11Ultralytics YOLO11 , il processo di convalida calcola precisione, richiamo e punteggio F1 per aiutare gli ingegneri a selezionare i migliori pesi del modello.

Il seguente codice Python mostra come convalidare un modello YOLO11 pre-addestrato e accedere alle metriche delle prestazioni.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

Distinguere il punteggio F1 dalle metriche correlate

La scelta della metrica giusta dipende dagli obiettivi specifici del progetto di IA.

• Precisione: Misura la correttezza complessiva delle previsioni. Si utilizza al meglio quando le distribuzioni delle classi sono approssimativamente uguali. Al contrario, il punteggio F1 è la metrica preferita per distribuzioni di classi non omogenee.
• Precisione mediamAP): Mentre il punteggio F1 viene spesso calcolato in base a una specifica soglia di confidenza. soglia di confidenza, mAP valuta la precisione media mAP è lo standard per confrontare i modelli di rilevamento degli oggetti, mentre F1 è utile per ottimizzare un punto operativo specifico. F1 è utile per ottimizzare un punto operativo specifico.
• Area sotto la curva (AUC): L'AUC rappresenta l'area sotto la curva ROC (Receiver Operating Characteristic). L'AUC misura la capacità di un classificatore di distinguere tra le classi in tutte le soglie, mentre il punteggio F1 si concentra specificamente sulle prestazioni della classe positiva a una singola soglia. si concentra specificamente sulle prestazioni della classe positiva a una singola soglia.

Miglioramento del punteggio F1 del modello

Il miglioramento del punteggio F1 spesso comporta miglioramenti iterativi del modello e dei dati.

• Regolazione degli iperparametri: La regolazione di impostazioni quali il tasso di apprendimento, batch o le funzioni di perdita possono aiutare il modello a convergere su una soluzione che bilanci precisione e richiamo in modo più efficace.
• Aumento dei dati: Tecniche come il capovolgimento, il ridimensionamento o l'aggiunta di rumore ai dati di addestramento dati di addestramento espongono il modello a esempi più esempi, migliorando la sua capacità di generalizzare e di identificare correttamente i casi positivi difficili.
• Trasferimento di apprendimento: Partendo da un modello pre-addestrato su un set di dati ampio e diversificato, la rete può sfruttare gli estrattori di caratteristiche appresi. estrattori di caratteristiche apprese, che spesso portano a punteggi F1 più elevati su compiti specializzati con dati limitati.