Confidenza

Nel machine learning, il confidence score è un valore numerico assegnato a una singola previsione, che indica la certezza del modello che la previsione sia corretta. Espresso come percentuale o valore di probabilità compreso tra 0 e 1, quantifica la "fiducia" del modello nel proprio output per una singola istanza. Ad esempio, in un'attività di object detection, un modello come Ultralytics YOLO11 potrebbe identificare un'auto in un'immagine e assegnare un confidence score di 0,95 (o 95%), suggerendo di essere molto sicuro della sua scoperta. Questo punteggio è un output fondamentale che aiuta gli utenti a filtrare, dare priorità e interpretare i risultati del modello in scenari del mondo reale.

Il punteggio di confidenza è tipicamente derivato dall'output del livello finale di una rete neurale (NN), spesso una funzione softmax o sigmoide. Questo valore è fondamentale nelle applicazioni pratiche, dove viene impostata una soglia di confidenza per scartare le previsioni che scendono al di sotto di un certo livello di certezza. Regolando questa soglia, gli sviluppatori possono bilanciare il compromesso tra l'acquisizione di tutti i rilevamenti rilevanti e la minimizzazione dei falsi positivi, una considerazione chiave nella distribuzione del modello.

Applicazioni nel mondo reale

I punteggi di confidenza sono essenziali per rendere i sistemi di intelligenza artificiale più affidabili e fruibili. Consentono ai sistemi di valutare l'incertezza e attivare risposte diverse di conseguenza.

• Veicoli autonomi: Nelle auto a guida autonoma, i punteggi di confidenza sono vitali per la sicurezza. Un rilevatore di oggetti potrebbe identificare un pedone con una confidenza del 98%, un segnale chiaro per il veicolo di rallentare o fermarsi. Viceversa, se rileva un oggetto con solo il 30% di confidenza, il sistema potrebbe segnalarlo come incerto e utilizzare altri sensori per verificarne la natura prima di intraprendere un'azione. Questo aiuta a prevenire incidenti concentrandosi su minacce ad alta certezza. Per maggiori dettagli su questo argomento, puoi leggere il ruolo dell'AI nelle auto a guida autonoma.
• Analisi di immagini mediche: Quando un modello AI analizza le scansioni mediche alla ricerca di segni di malattia, come il rilevamento di tumori nell'imaging medicale, il punteggio di confidenza è prezioso. Un rilevamento con una confidenza del 99% può essere immediatamente segnalato per la revisione di un radiologo. Un risultato con una confidenza del 60% potrebbe essere contrassegnato come "ambiguo" o "necessita di ulteriore revisione", garantendo che i casi incerti ricevano un esame umano senza sopraffare gli esperti con falsi allarmi. La FDA fornisce indicazioni sull'AI/ML nei dispositivi medici.

Confidenza vs. altre metriche

È importante non confondere il punteggio di confidenza di una singola previsione con le metriche di valutazione complessive del modello. Sebbene correlati, misurano aspetti diversi delle prestazioni:

• Precisione: Misura la percentuale complessiva di previsioni corrette sull'intero set di dati. Fornisce un'idea generale delle prestazioni del modello, ma non riflette la certezza delle singole previsioni. Un modello può avere un'elevata accuratezza ma fare comunque alcune previsioni con una bassa confidenza.
• Precisione: Indica la percentuale di previsioni positive effettivamente corrette. Un'elevata precisione significa un minor numero di falsi allarmi. La fiducia riflette la convinzione del modello nella sua previsione, che può essere o meno in linea con la correttezza.
• Richiamo (sensibilità): Misura la percentuale di istanze effettivamente positive che il modello ha identificato correttamente. Un elevato richiamo significa un minor numero di rilevamenti mancati. La fiducia non è direttamente correlata al numero di casi effettivamente positivi rilevati.
• Punteggio F1: La media armonica di Precision e Recall, che fornisce una singola metrica che bilancia entrambe. La confidenza rimane un punteggio a livello di predizione, non una misura aggregata delle prestazioni del modello.
• Precisione media (mAP): Una metrica comune nel rilevamento di oggetti che riassume la curva precisione-richiamo tra diverse soglie di confidenza e classi. Mentre il calcolo di mAP coinvolge le soglie di confidenza, il punteggio di confidenza stesso si applica a ogni singolo rilevamento.
• Calibrazione: Si riferisce a quanto bene i punteggi di confidenza si allineano con l'effettiva probabilità di correttezza. Le previsioni di un modello ben calibrato con una confidenza dell'80% dovrebbero essere corrette circa l'80% delle volte. I punteggi di confidenza delle moderne reti neurali non sono sempre intrinsecamente ben calibrati, come discusso nella ricerca sulla calibrazione del modello.

In sintesi, la confidenza è un output prezioso per valutare la certezza delle singole previsioni dell'IA, consentendo un migliore filtraggio, la definizione delle priorità e il processo decisionale nelle applicazioni del mondo reale. Integra, ma è distinta dalle metriche che valutano le prestazioni complessive di un modello, come quelle che puoi tracciare e analizzare utilizzando strumenti come Ultralytics HUB.