Licenza YOLO
Torna al glossario di Ultralytics

Confidence Interval

Un intervallo di confidenza quantifica l'incertezza di campionamento nelle metriche del modello, come accuratezza e mAP. Un intervallo del 95% descrive la copertura nel lungo periodo.

Un intervallo di confidenza (CI) è un intervallo calcolato a partire da un campione con un metodo progettato per includere una quantità sconosciuta della popolazione con una frequenza specificata. Nel machine learning, un punteggio di test stima le prestazioni di un modello fisso sui tipi di input rappresentati dal set di test. L'intervallo indica la precisione con cui tali prestazioni sono stimate a partire da un campione finito.

Cosa significa un intervallo di confidenza del 95%#

Se estraessi ripetutamente campioni comparabili di dati di test e calcolassi ogni volta un intervallo con lo stesso metodo, una procedura con una copertura del 95% includerebbe la metrica reale in circa 95 intervalli su 100 nel lungo periodo. La metrica è fissa; i limiti dell'intervallo cambiano da un campione all'altro. Jerzy Neyman introdusse questo quadro frequentista nel suo articolo del 1934 sul campionamento.

Un livello di confidenza più alto produce di solito un intervallo più ampio a partire dagli stessi dati. In genere, un numero maggiore di osservazioni indipendenti rende l'intervallo più stretto a un livello di confidenza fisso. L'ampiezza misura la precisione di campionamento: un intervallo può essere stretto anche quando la distorsione del dataset rende il campione di test non rappresentativo delle condizioni di deployment.

Come calcolare un intervallo di confidenza#

Per una media campionaria, una formula comune è stima ± margine di errore, dove il margine di errore è il valore critico moltiplicato per l'errore standard. L'errore standard misura quanto varia la stima tra campioni ripetuti. Per osservazioni indipendenti provenienti dalla stessa popolazione, l'errore standard stimato della media è la deviazione standard campionaria divisa per la radice quadrata della dimensione del campione. Un intervallo normale bilaterale al 95% usa un valore critico di 1,96, lasciando il 2,5% in ciascuna coda. Un intervallo t a un campione usa un valore critico della t di Student con gradi di libertà pari alla dimensione del campione meno uno. La copertura è esatta per osservazioni indipendenti provenienti dalla stessa popolazione normale.

Il metodo dipende dalla metrica e dal modo in cui sono stati campionati i dati di test:

  • Accuratezza della classificazione: Con immagini indipendenti e una probabilità comune di classificazione corretta, un intervallo di Wilson usa il numero di previsioni corrette e la dimensione del set di test per stimare tale probabilità. Entrambi i limiti restano tra lo 0% e il 100%.
  • Precisione media (mAP): Calcola il bootstrap della metrica completa ricampionando le unità di test con ripetizione e ricalcolando mAP per ogni estrazione. Un intervallo percentile al 95% usa il 2,5° e il 97,5° percentile di questi punteggi. In un bootstrap a livello di immagine, ogni immagine viene considerata insieme alle relative previsioni e annotazioni.

Esempio svolto: accuratezza sul riconoscimento di cifre scritte a mano#

L'esempio di classificazione delle cifre di scikit-learn addestra una macchina a vettori di supporto sulla prima metà delle immagini di cifre incluse nel pacchetto e la valuta sulla seconda metà. Il codice usa la stessa suddivisione e calcola un intervallo di Wilson con l'API per le proporzioni binomiali di SciPy.

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

Il classificatore riconosce correttamente 871 immagini su 899: accuratezza del 96,9% con un intervallo di Wilson al 95% del 95,5%–97,8% assumendo il modello di immagini indipendenti. Le immagini incluse provengono dal set di test UCI di cifre scritte a mano, raccolte da 13 autori. Le immagini dello stesso autore possono condividere caratteristiche della grafia, quindi per stimare l'accuratezza su nuovi autori occorre tenere conto di tale raggruppamento.

Intervalli di confidenza, punteggi e previsioni#

Un punteggio di confidenza è un output del modello relativo a una singola previsione. Nella modalità di previsione di Ultralytics YOLO, conf imposta il punteggio minimo necessario affinché una rilevazione venga mantenuta. Un intervallo di confidenza per il richiamo a tale soglia quantifica l'incertezza della stima del richiamo ricavata dal campione di test.

Un intervallo di previsione riguarda un'osservazione futura. Per esempio, la previsione conforme è stata usata per costruire intervalli di previsione per pixel su KITTI per le stime di profondità in nuovi fotogrammi.

Confronto tra modelli di computer vision#

Un intervallo relativo a un modello fisso misura l'incertezza di campionamento del set di test. Il confronto tra pipeline di addestramento comporta anche variazioni dovute a fattori quali l'inizializzazione casuale e l'ottimizzazione degli iperparametri, che possono essere misurate eseguendo addestramenti ripetuti.

Quando due rilevatori di oggetti vengono eseguiti sullo stesso set di test, un bootstrap appaiato estrae le stesse unità per entrambi i modelli e calcola la differenza di mAP a ogni estrazione. Le immagini fisse campionate in modo indipendente possono essere estratte una alla volta. Quando i video campionati in modo indipendente contengono fotogrammi correlati, estrarre video interi preserva la dipendenza tra i fotogrammi. Considerare indipendenti i fotogrammi adiacenti può rendere l'intervallo troppo stretto. Poiché l'appaiamento preserva l'associazione tra i risultati sugli stessi input, l'intervallo della differenza di mAP può escludere lo zero anche quando i due intervalli di confidenza individuali si sovrappongono.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning