Receiver Operating Characteristic (ROC) Curve

La curva Receiver Operating Characteristic (ROC) è uno strumento grafico fondamentale utilizzato per valutare le prestazioni dei modelli di classificazione binaria. Nell'ambito del machine learning (ML), visualizza il compromesso tra la sensibilità di un modello e la sua specificità attraverso tutte le possibili soglie di decisione. A differenza di metriche a valore singolo come l'accuracy, che possono essere fuorvianti se un dataset è sbilanciato, la curva ROC fornisce una visione completa di come si comporta un classificatore man mano che i criteri per identificare le istanze positive diventano più o meno rigorosi. Questa visualizzazione è essenziale per gli ingegneri che utilizzano tecniche di supervised learning per determinare il punto operativo ottimale per il loro specifico caso d'uso.

Link to this sectionInterpretare gli assi e i compromessi#

Per comprendere una curva ROC, è necessario osservare i due parametri graficati l'uno rispetto all'altro: il True Positive Rate (TPR) e il False Positive Rate (FPR).

• True Positive Rate (TPR): Spesso indicato come Recall o sensibilità, questa metrica sull'asse y misura la proporzione di osservazioni positive reali che il modello ha identificato correttamente. Un TPR elevato significa che il sistema manca raramente un obiettivo.
• False Positive Rate (FPR): Riportato sull'asse x, rappresenta il rapporto di istanze negative erroneamente classificate come positive, noto anche come "falso allarme".

La curva illustra una relazione dinamica: man mano che abbassi la soglia di confidence per catturare più casi positivi (aumentando il TPR), aumenti invariabilmente il rischio di segnalare erroneamente casi negativi (aumentando l'FPR). Un classificatore perfetto raggiungerebbe l'angolo in alto a sinistra del grafico, indicando il 100% di sensibilità e lo 0% di falsi allarmi. Un modello che effettua stime casuali apparirebbe come una linea diagonale dal basso a sinistra verso l'alto a destra. Le prestazioni complessive sono spesso riassunte dall'Area Under the Curve (AUC), dove un valore di 1.0 rappresenta la perfezione.

Link to this sectionApplicazioni nel mondo reale#

La decisione su dove impostare la soglia su una curva ROC dipende interamente dal costo degli errori in una specifica applicazione industriale.

1. Diagnostica Medica: Nell'AI in healthcare, specificamente per attività come il rilevamento di tumori nella medical image analysis, il costo di mancare un caso positivo (un falso negativo) è potenzialmente pericoloso per la vita. Pertanto, i professionisti scelgono spesso una soglia che massimizzi il TPR, anche se ciò comporta un FPR più elevato, il che significa che più pazienti sani potrebbero essere inizialmente segnalati per ulteriori test.

2. Rilevamento delle Frodi Finanziarie: Quando l'AI in finance viene utilizzata per monitorare le transazioni con carta di credito, le banche devono bilanciare la sicurezza con l'esperienza del cliente. Se il sistema è troppo sensibile (TPR elevato), potrebbe bloccare carte legittime (FPR elevato), frustrando gli utenti. Gli analisti utilizzano la curva ROC per trovare una soglia bilanciata che rilevi la maggior parte delle frodi mantenendo i false positives al minimo accettabile.

Link to this sectionGenerazione delle probabilità per l'analisi ROC#

Per tracciare una curva ROC, ti servono le probabilità di previsione grezze anziché solo le etichette di classe finali. Il seguente esempio utilizza il modello all'avanguardia YOLO26 per generare punteggi di classificazione.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Una volta raccolte queste probabilità per un set di validazione, gli sviluppatori possono utilizzare librerie come Scikit-learn per calcolare i punti della curva. Per gestire i dataset e monitorare queste metriche nel tempo, l'Ultralytics Platform offre strumenti integrati per la valutazione e il deployment dei modelli.

Link to this sectionROC vs. Concetti Correlati#

È importante distinguere la curva ROC da altri strumenti di valutazione:

• vs. Curva Precision-Recall (PR): Mentre la ROC grafica il TPR rispetto all'FPR, la Precision-Recall curve grafica la Precision rispetto alla Recall. La curva PR è generalmente preferita quando il dataset è fortemente sbilanciato (ad esempio, rilevando anomalie rare), poiché la curva ROC può talvolta presentare una visione eccessivamente ottimistica in tali scenari.
• vs. Confusion Matrix: Una confusion matrix fornisce un'istantanea delle prestazioni a una singola soglia specifica. Al contrario, la curva ROC visualizza le prestazioni attraverso tutte le possibili soglie, rendendola uno strumento più ampio per l'analisi del predictive modeling prima che venga stabilita una regola di decisione finale.