Fiducia

Come si determina la fiducia

I punteggi di fiducia sono solitamente derivati dallo strato di uscita di una rete neurale (NN). Per i compiti di classificazione, ciò comporta spesso l'applicazione di una funzione di attivazione come Softmax o Sigmoid alle uscite grezze (logits) per produrre valori simili alla probabilità per ogni classe. Nei modelli di rilevamento degli oggetti come YOLO, il punteggio di confidenza potrebbe combinare la probabilità che un oggetto sia presente in un rettangolo di selezione proposto (spesso chiamato "punteggio di oggettività") e la probabilità che quell'oggetto appartenga a una classe specifica, a condizione che sia presente. Si tratta di un risultato chiave utilizzato durante il processo di inferenza per valutare la validità dei rilevamenti. Questo punteggio viene calcolato in base ai pesi del modello appresi da set di dati come COCO.

La soglia di fiducia

In pratica, non tutte le previsioni di un modello sono ugualmente utili o affidabili. Le previsioni con punteggi di confidenza molto bassi rappresentano spesso rumore di fondo o classificazioni incerte. Per filtrare queste previsioni, in genere si applica una "soglia di confidenza". Si tratta di un valore definito dall'utente (ad esempio, 0,5 o 50%); solo le previsioni con un punteggio di confidenza superiore a questa soglia sono considerate risultati validi. La definizione di una soglia appropriata è fondamentale e spesso dipende dall'applicazione specifica:

• Scenari ad alto richiamo: In applicazioni come l'analisi di immagini mediche per lo screening, inizialmente potrebbe essere utilizzata una soglia più bassa per ridurre al minimo la possibilità di perdere potenziali risultati ( richiamo elevato), anche se ciò comporta un maggior numero di falsi positivi che richiedono una revisione umana. L 'intelligenza artificiale nel settore sanitario spesso comporta un'attenta regolazione della soglia.
• Scenari ad alta precisione: In applicazioni come la guida autonoma o il controllo di qualità dell'IA nel settore manifatturiero, si preferisce una soglia più alta per garantire che le azioni vengano intraprese solo sulla base di previsioni altamente certe (alta precisione), riducendo il rischio di errori. La ricerca sulla sicurezza dell'IA pone l'accento sulla solidità del processo decisionale.

La soglia di confidenza spesso lavora in combinazione con tecniche come la soppressione non massima (NMS) per affinare l'insieme finale dei rilevamenti eliminando i riquadri di delimitazione che si sovrappongono per lo stesso oggetto. Puoi configurare facilmente questa soglia quando utilizzi i modelli Ultralytics tramite l'interfaccia a riga di comando (CLI) o l'APIPython . La ricerca della soglia ottimale può comportare la regolazione degli iperparametri.

Applicazioni del mondo reale

I punteggi di fiducia sono fondamentali per impiegare i modelli di IA in modo responsabile ed efficace:

1. Supporto alle diagnosi mediche: Nei sistemi che analizzano le scansioni mediche (come le radiografie o le risonanze magnetiche) per individuare potenziali anomalie(come il rilevamento di un tumore), il punteggio di confidenza aiuta a dare priorità ai casi. Una previsione a bassa confidenza potrebbe indicare un risultato ambiguo che richiede un esame più approfondito da parte di un radiologo, mentre le previsioni ad alta confidenza possono snellire il processo di revisione. Le ricerche sull'intelligenza artificiale in radiologia parlano spesso dei livelli di confidenza.
2. Sistemi autonomi: Per le auto a guida autonoma o la robotica, i punteggi di fiducia sono fondamentali per la sicurezza. Il rilevamento di un pedone o di un altro veicolo(scopri l'approccio di Waymo) deve soddisfare una soglia di fiducia elevata prima che il sistema inizi un'azione come una frenata o una sterzata. I rilevamenti a bassa affidabilità possono essere ignorati o attivare avvisi meno critici. In questo modo il sistema agisce in modo deciso solo quando è sicuro.

Fiducia e altre metriche

È importante non confondere il punteggio di fiducia di una singola previsione con le metriche di valutazione complessiva del modello. Pur essendo correlate, misurano aspetti diversi delle prestazioni:

• Precisione: Misura la percentuale complessiva di previsioni corrette sull'intero set di dati. Fornisce un'idea generale delle prestazioni del modello, ma non riflette la certezza delle singole previsioni. Un modello può avere un'elevata accuratezza ma fare comunque delle previsioni con una bassa sicurezza.
• Precisione: Indica la percentuale di previsioni positive effettivamente corrette (Veri Positivi / (Veri Positivi + Falsi Positivi)). Un'alta precisione significa un minor numero di falsi allarmi. La fiducia riflette la fiducia del modello nella sua previsione, che può essere o meno in linea con la correttezza.
• Richiamo (Sensibilità): Misura la percentuale di istanze effettivamente positive che il modello ha identificato correttamente (Veri Positivi / (Veri Positivi + Falsi Negativi)). Un alto richiamo significa un minor numero di rilevamenti mancati. La fiducia non è direttamente correlata al numero di casi effettivamente positivi individuati.
• Punteggio F1: La media armonica di Precision e Recall, che fornisce un'unica metrica che bilancia entrambe. La fiducia rimane un punteggio a livello di predizione.
• Precisione media (mAP): Una metrica comune nel rilevamento degli oggetti che riassume la curva precisione-richiamo tra diverse soglie di confidenza e classi. Mentre il calcolo della mAP coinvolge le soglie di confidenza, il punteggio di confidenza stesso si applica a ogni singolo rilevamento.
• Calibrazione: Si riferisce al grado di allineamento dei punteggi di confidenza con l'effettiva probabilità di correttezza. Le previsioni di un modello ben calibrato con una confidenza dell'80% dovrebbero essere corrette circa l'80% delle volte. I punteggi di confidenza dei modelli non sono sempre intrinsecamente ben calibrati(vedi la ricerca sulla calibrazione).

In sintesi, la fiducia è un risultato prezioso per valutare la certezza delle singole previsioni dell'IA, consentendo di migliorare il filtraggio, la prioritizzazione e il processo decisionale nelle applicazioni del mondo reale. È complementare, ma distinta, dalle metriche che valutano le prestazioni complessive di un modello, come quelle rilevate in Ultralytics HUB.