Fiducia

Nell'apprendimento automatico, il punteggio di confidenza è un valore numerico assegnato a una singola previsione, che indica la certezza del modello che la previsione sia corretta. Espresso come una percentuale o un valore di probabilità compreso tra 0 e 1, quantifica la "fiducia" del modello nei propri risultati per una singola istanza. Ad esempio, in un'attività di rilevamento di oggetti, un modello come Ultralytics YOLO11 potrebbe identificare un'auto in un'immagine e assegnare un punteggio di confidenza di 0,95 (o 95%), suggerendo che è molto sicuro della sua scoperta. Questo punteggio è un risultato fondamentale che aiuta gli utenti a filtrare, dare priorità e interpretare i risultati del modello in scenari reali.

Il punteggio di confidenza è tipicamente derivato dall'uscita dello strato finale di una rete neurale (NN), spesso una funzione softmax o sigmoide. Questo valore è fondamentale nelle applicazioni pratiche, dove viene impostata una soglia di confidenza per scartare le previsioni che scendono al di sotto di un certo livello di certezza. Regolando questa soglia, gli sviluppatori possono bilanciare il compromesso tra la cattura di tutti i rilevamenti rilevanti e la riduzione al minimo dei falsi positivi, una considerazione fondamentale nell'implementazione del modello.

Applicazioni del mondo reale

I punteggi di confidenza sono essenziali per rendere i sistemi di intelligenza artificiale più affidabili e perseguibili. Consentono ai sistemi di valutare l'incertezza e di attivare risposte diverse di conseguenza.

• Veicoli autonomi: Nelle auto a guida autonoma, i punteggi di confidenza sono fondamentali per la sicurezza. Un rilevatore di oggetti potrebbe identificare un pedone con un'affidabilità del 98%, un chiaro segnale per il veicolo di rallentare o fermarsi. Al contrario, se rileva un oggetto con un'affidabilità del 30%, il sistema potrebbe segnalarlo come incerto e utilizzare altri sensori per verificarne la natura prima di intervenire. Questo aiuta a prevenire gli incidenti concentrandosi sulle minacce ad alta incertezza. Per ulteriori dettagli su questo argomento, è possibile leggere il ruolo dell'IA nelle auto a guida autonoma.
• Analisi di immagini mediche: Quando un modello di intelligenza artificiale analizza le scansioni mediche alla ricerca di segni di malattia, ad esempio per rilevare i tumori nelle immagini mediche, il punteggio di confidenza è prezioso. Un rilevamento con un'affidabilità del 99% può essere immediatamente segnalato per la revisione da parte di un radiologo. Un risultato con un'affidabilità del 60% può essere contrassegnato come "ambiguo" o "da rivedere", garantendo che i casi incerti vengano esaminati dall'uomo senza sovraccaricare gli esperti di falsi allarmi. La FDA fornisce indicazioni sull'AI/ML nei dispositivi medici.

Fiducia e altre metriche

È importante non confondere il punteggio di confidenza di una singola previsione con le metriche di valutazione complessiva del modello. Pur essendo correlate, esse misurano aspetti diversi delle prestazioni:

• Accuratezza: Misura la percentuale complessiva di previsioni corrette sull'intero set di dati. Fornisce un'idea generale delle prestazioni del modello, ma non riflette la certezza delle singole previsioni. Un modello può avere un'elevata accuratezza ma fare alcune previsioni con una bassa sicurezza.
• Precisione: Indica la percentuale di previsioni positive effettivamente corrette. Un'elevata precisione significa un minor numero di falsi allarmi. La fiducia riflette la convinzione del modello nella sua previsione, che può essere o meno in linea con la correttezza.
• Richiamo (sensibilità): Misura la percentuale di istanze effettivamente positive che il modello ha identificato correttamente. Un elevato richiamo significa un minor numero di rilevamenti mancati. La fiducia non è direttamente correlata al numero di casi effettivamente positivi rilevati.
• Punteggio F1: La media armonica di Precision e Recall, che fornisce un'unica metrica che bilancia entrambe. La confidenza rimane un punteggio a livello di predizione, non una misura aggregata delle prestazioni del modello.
• Precisione media (mAP): Una metrica comune nel rilevamento di oggetti che riassume la curva precisione-richiamo tra diverse soglie di confidenza e classi. Mentre il calcolo della mAP coinvolge le soglie di confidenza, il punteggio di confidenza stesso si applica a ogni singolo rilevamento.
• Calibrazione: Si riferisce al grado di allineamento dei punteggi di confidenza con la probabilità effettiva di correttezza. Le previsioni di un modello ben calibrato con una confidenza dell'80% dovrebbero essere corrette circa l'80% delle volte. I punteggi di confidenza delle moderne reti neurali non sono sempre intrinsecamente ben calibrati, come discusso nella ricerca sulla calibrazione dei modelli.

In sintesi, la confidenza è un output prezioso per valutare la certezza delle singole previsioni dell'IA, consentendo di migliorare il filtraggio, la prioritizzazione e il processo decisionale nelle applicazioni reali. È complementare, ma distinta, dalle metriche che valutano le prestazioni complessive di un modello, come quelle che si possono monitorare e analizzare con strumenti come Ultralytics HUB.