Precision-Recall Curve
La curva precisione-richiamo rappresenta la precisione in funzione del richiamo alle diverse soglie, mostrando le prestazioni del modello e il compromesso tra falsi allarmi e casi mancati.
Una curva precisione-richiamo è un grafico che mostra come cambiano la precisione e il richiamo di un modello al variare della soglia decisionale. Il richiamo è riportato sull'asse orizzontale e la precisione su quello verticale. Ogni punto operativo misurato corrisponde a una soglia e indica quanti casi positivi il modello individua e quanto sono affidabili le sue previsioni positive. La curva aiuta a valutare classificatori e rilevatori quando i costi dei falsi allarmi e dei casi mancati sono diversi.
Come funziona una curva precisione-richiamo#
La precisione è la frazione di previsioni positive corrette: TP / (TP + FP). Il richiamo, detto anche sensibilità, è la frazione di positivi effettivi individuati: TP / (TP + FN). TP indica i veri positivi, FP i falsi positivi e FN i falsi negativi: gli esiti conteggiati in una matrice di confusione.
Variando una soglia di confidenza tra i punteggi delle previsioni si ottengono coppie di valori di precisione e richiamo. Abbassando la soglia si ammettono più previsioni, quindi il richiamo aumenta o rimane invariato. La precisione può aumentare o diminuire man mano che nell'insieme entrano previsioni corrette e non corrette, producendo una curva a gradini.
Cyril Cleverdon introdusse i grafici del richiamo in funzione della rilevanza nel suo rapporto di Cranfield del 1962, gettando le basi della valutazione della precisione e del richiamo nel recupero delle informazioni. Nella ricerca documentale, i documenti pertinenti recuperati sono veri positivi; quelli non pertinenti recuperati sono falsi positivi.
Interpretare la curva e la sua linea di base#
Una curva che mantiene un'elevata precisione mentre il richiamo si avvicina a 1 indica prestazioni solide. Quando le curve si intersecano, ciascun modello ottiene risultati migliori in una diversa regione operativa. Un brusco calo della precisione mostra il punto in cui ulteriori previsioni introducono molti falsi allarmi.
La linea di base per un ordinamento casuale privo di informazioni è la prevalenza della classe positiva, ovvero la frazione di esempi etichettati come positivi. Con l'1% di positivi, la precisione di base è 0,01. La variazione della prevalenza modifica la precisione, perciò la popolazione valutata è parte integrante del risultato.
Una curva caratteristica operativa del ricevitore (ROC) rappresenta invece il richiamo in funzione del tasso di falsi positivi, FP / (FP + TN), dove TN indica i veri negativi. La valutazione precisione-richiamo esprime direttamente la quota di avvisi corretti, risultando utile in presenza di positivi rari. La precisione può essere dominata dalla classe maggioritaria.
Scegliere una soglia operativa#
Seleziona un punto operativo sui dati di validazione in base ai costi degli errori. Se è richiesto un richiamo minimo, seleziona il punto ammissibile con la precisione più alta; se è richiesta una precisione minima, seleziona il punto ammissibile con il richiamo più alto. Massimizzare il punteggio F1, la media armonica di precisione e richiamo, assegna lo stesso peso a entrambe le metriche. I valori delle soglie derivano dai punteggi sottostanti o dai grafici di precisione-confidenza e richiamo-confidenza.
La predizione di Ultralytics YOLO offre questa possibilità tramite conf, che filtra le rilevazioni in base al punteggio. In una valutazione Academy di YOLO26n su quattro immagini di validazione COCO8 con IoU 0.50, aumentare conf da 0.10 a 0.25 ha modificato i valori interpolati di precisione/richiamo della classe persona da 0.63/0.80 a 1.00/0.54: i falsi allarmi sono diminuiti, ma sono aumentate le persone non individuate.
Mantieni fissa la soglia selezionata durante la valutazione di dati di test separati.
Tracciare una curva precisione-richiamo in Python#
Questo esempio distingue la cifra manoscritta 9 dalle altre cifre usando immagini incluse e la regressione logistica. Installa le dipendenze con pip install scikit-learn matplotlib, quindi usa l'API di scikit-learn per tracciare la curva precisione-richiamo.
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import PrecisionRecallDisplay
from sklearn.model_selection import train_test_split
X, digits = load_digits(return_X_y=True)
y = digits == 9
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)
model = LogisticRegression(max_iter=2000)
model.fit(X_train, y_train)
PrecisionRecallDisplay.from_estimator(model, X_test, y_test)
plt.savefig("precision_recall_curve.png", bbox_inches="tight")Il grafico salvato mostra la precisione a ogni livello di richiamo raggiungibile per le immagini di cifre riservate alla valutazione.
Rilevamento di oggetti e precisione media#
Nel rilevamento di oggetti, una casella delimitatrice predetta è considerata un vero positivo quando corrisponde a un oggetto annotato non ancora assegnato della stessa classe, con un valore almeno pari alla soglia di intersezione sull'unione (IoU). Le previsioni non abbinate, comprese le duplicazioni, sono considerate falsi positivi. Ogni classe ha una curva separata, con il requisito IoU mantenuto fisso.
La precisione media (AP) riassume la curva ai diversi livelli di richiamo. L'area trapezoidale sotto la curva precisione-richiamo (PR-AUC) e l'AP non interpolata usano regole di integrazione diverse. La precisione media (mAP) calcola la media dei valori AP delle classi. Nelle metriche di prestazione del rilevamento, mAP50 usa IoU 0.50, mentre mAP50–95 calcola la media su dieci soglie IoU da 0.50 a 0.95, con incrementi di 0.05.
