Confidence Interval
Un intervallo di confidenza quantifica l'incertezza di campionamento nelle metriche del modello, come accuratezza e mAP. Un intervallo del 95% descrive la copertura nel lungo periodo.
Un intervallo di confidenza (CI) è un intervallo calcolato a partire da un campione con un metodo progettato per includere una quantità sconosciuta della popolazione con una frequenza specificata. Nel machine learning, un punteggio di test stima le prestazioni di un modello fisso sui tipi di input rappresentati dal set di test. L'intervallo indica la precisione con cui tali prestazioni sono stimate a partire da un campione finito.
Cosa significa un intervallo di confidenza del 95%#
Se estraessi ripetutamente campioni comparabili di dati di test e calcolassi ogni volta un intervallo con lo stesso metodo, una procedura con una copertura del 95% includerebbe la metrica reale in circa 95 intervalli su 100 nel lungo periodo. La metrica è fissa; i limiti dell'intervallo cambiano da un campione all'altro. Jerzy Neyman introdusse questo quadro frequentista nel suo articolo del 1934 sul campionamento.
Un livello di confidenza più alto produce di solito un intervallo più ampio a partire dagli stessi dati. In genere, un numero maggiore di osservazioni indipendenti rende l'intervallo più stretto a un livello di confidenza fisso. L'ampiezza misura la precisione di campionamento: un intervallo può essere stretto anche quando la distorsione del dataset rende il campione di test non rappresentativo delle condizioni di deployment.
Come calcolare un intervallo di confidenza#
Per una media campionaria, una formula comune è stima ± margine di errore, dove il margine di errore è il valore critico moltiplicato per l'errore standard. L'errore standard misura quanto varia la stima tra campioni ripetuti. Per osservazioni indipendenti provenienti dalla stessa popolazione, l'errore standard stimato della media è la deviazione standard campionaria divisa per la radice quadrata della dimensione del campione. Un intervallo normale bilaterale al 95% usa un valore critico di 1,96, lasciando il 2,5% in ciascuna coda. Un intervallo t a un campione usa un valore critico della t di Student con gradi di libertà pari alla dimensione del campione meno uno. La copertura è esatta per osservazioni indipendenti provenienti dalla stessa popolazione normale.
Il metodo dipende dalla metrica e dal modo in cui sono stati campionati i dati di test:
- Accuratezza della classificazione: Con immagini indipendenti e una probabilità comune di classificazione corretta, un intervallo di Wilson usa il numero di previsioni corrette e la dimensione del set di test per stimare tale probabilità. Entrambi i limiti restano tra lo 0% e il 100%.
- Precisione media (mAP): Calcola il bootstrap della metrica completa ricampionando le unità di test con ripetizione e ricalcolando mAP per ogni estrazione. Un intervallo percentile al 95% usa il 2,5° e il 97,5° percentile di questi punteggi. In un bootstrap a livello di immagine, ogni immagine viene considerata insieme alle relative previsioni e annotazioni.
Esempio svolto: accuratezza sul riconoscimento di cifre scritte a mano#
L'esempio di classificazione delle cifre di scikit-learn addestra una macchina a vettori di supporto sulla prima metà delle immagini di cifre incluse nel pacchetto e la valuta sulla seconda metà. Il codice usa la stessa suddivisione e calcola un intervallo di Wilson con l'API per le proporzioni binomiali di SciPy.
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")Il classificatore riconosce correttamente 871 immagini su 899: accuratezza del 96,9% con un intervallo di Wilson al 95% del 95,5%–97,8% assumendo il modello di immagini indipendenti. Le immagini incluse provengono dal set di test UCI di cifre scritte a mano, raccolte da 13 autori. Le immagini dello stesso autore possono condividere caratteristiche della grafia, quindi per stimare l'accuratezza su nuovi autori occorre tenere conto di tale raggruppamento.
Intervalli di confidenza, punteggi e previsioni#
Un punteggio di confidenza è un output del modello relativo a una singola previsione. Nella modalità di previsione di Ultralytics YOLO, conf imposta il punteggio minimo necessario affinché una rilevazione venga mantenuta. Un intervallo di confidenza per il richiamo a tale soglia quantifica l'incertezza della stima del richiamo ricavata dal campione di test.
Un intervallo di previsione riguarda un'osservazione futura. Per esempio, la previsione conforme è stata usata per costruire intervalli di previsione per pixel su KITTI per le stime di profondità in nuovi fotogrammi.
Confronto tra modelli di computer vision#
Un intervallo relativo a un modello fisso misura l'incertezza di campionamento del set di test. Il confronto tra pipeline di addestramento comporta anche variazioni dovute a fattori quali l'inizializzazione casuale e l'ottimizzazione degli iperparametri, che possono essere misurate eseguendo addestramenti ripetuti.
Quando due rilevatori di oggetti vengono eseguiti sullo stesso set di test, un bootstrap appaiato estrae le stesse unità per entrambi i modelli e calcola la differenza di mAP a ogni estrazione. Le immagini fisse campionate in modo indipendente possono essere estratte una alla volta. Quando i video campionati in modo indipendente contengono fotogrammi correlati, estrarre video interi preserva la dipendenza tra i fotogrammi. Considerare indipendenti i fotogrammi adiacenti può rendere l'intervallo troppo stretto. Poiché l'appaiamento preserva l'associazione tra i risultati sugli stessi input, l'intervallo della differenza di mAP può escludere lo zero anche quando i due intervalli di confidenza individuali si sovrappongono.










