Uncertainty Quantification

La quantificazione dell'incertezza (UQ) è il processo di stima, valutazione e comunicazione del grado di incertezza di un modello di intelligenza artificiale o di apprendimento automatico riguardo alle sue previsioni. Anziché restituire solo un'etichetta, un valore o un riquadro di delimitazione, un flusso di lavoro UQ fornisce informazioni aggiuntive, come una distribuzione di probabilità, un intervallo di previsione, un punteggio di confidenza o un insieme di predizioni. Questo aiuta a capire non solo che cosa prevede un modello, ma anche quanta fiducia riporre in tale previsione.

Perché la quantificazione dell'incertezza è importante#

I modelli apprendono schemi da dati limitati, quindi i loro output non sono mai completamente certi. Gli input possono essere rumorosi, le etichette possono essere ambigue e i dati di produzione possono differire dalla distribuzione di addestramento. La UQ rende misurabili questi limiti e favorisce decisioni più sicure, la revisione umana e una raccolta dati migliore.

Questa idea amplia l'obiettivo generale di caratterizzare la qualità dei modelli descritto dal programma di misurazione virtuale del NIST. Nei sistemi di intelligenza artificiale, le stime dell'incertezza possono aiutare i team a:

• Rifiutare o sottoporre a revisione le previsioni quando l'incertezza supera un livello accettabile.
• Confrontare previsioni alternative anziché affidarsi a una singola risposta.
• Identificare input non familiari e possibili derive dei dati.
• Dare priorità ai campioni incerti per l'annotazione attraverso l'apprendimento attivo.
• Propagare l'incertezza nei calcoli e nelle decisioni a valle, come illustrato dalla panoramica del Dipartimento dell'Energia sull'incertezza nei modelli computazionali.

La UQ è particolarmente importante quando gli errori di previsione hanno conseguenze diverse. Non rilevare un pedone è più grave che rilevare erroneamente un segnale stradale, quindi la soglia di incertezza accettabile dipende dall'applicazione.

Incertezza aleatoria ed epistemica#

Due categorie spiegano da dove proviene l'incertezza predittiva:

• L'incertezza aleatoria, chiamata anche incertezza aleatorica, deriva dalla casualità o dall'ambiguità intrinseca dei dati. La sfocatura dovuta al movimento, il rumore del sensore, l'occlusione parziale e le etichette incoerenti possono rendere difficile interpretare un'immagine anche per un modello ben addestrato. Una maggiore quantità di dati di addestramento può aiutare a stimare questa incertezza, ma non può eliminare completamente l'ambiguità sottostante.
• L'incertezza epistemica deriva dalla conoscenza incompleta del modello. Compare spesso quando i dati di addestramento sono insufficienti, non rappresentativi o privi di situazioni importanti. Spesso può essere ridotta raccogliendo esempi pertinenti, migliorando le annotazioni o modificando il modello.

La UQ combina le informazioni relative a queste fonti in output utili. Gli strumenti di modellazione probabilistica, come TensorFlow Probability, possono rappresentare le previsioni come distribuzioni, mentre i metodi ensemble stimano l'incertezza confrontando più modelli o esecuzioni di addestramento. Un disaccordo elevato suggerisce generalmente una maggiore incertezza epistemica.

L'incertezza è correlata a un punteggio di confidenza, ma ha una portata più ampia. La confidenza descrive la solidità di una singola previsione, mentre la UQ valuta se tale punteggio è affidabile e quali fonti di incertezza lo influenzano. Analogamente, la predizione conforme è una tecnica specifica per produrre insiemi di predizioni o intervalli con una copertura target secondo ipotesi definite.

Metodi e valutazione#

Gli approcci UQ comuni includono output probabilistici, ensemble, campionamento ripetuto, modellazione bayesiana e intervalli di previsione. Gli intervalli di confidenza bootstrap stimano la variabilità ricampionando ripetutamente i dati osservati. Per la classificazione, la calibrazione verifica se le previsioni a cui è assegnata una probabilità di circa l'80% sono corrette circa l'80% delle volte.

Un modello può essere accurato ma scarsamente calibrato, quindi i team dovrebbero valutare sia le prestazioni del compito sia la qualità dell'incertezza. Gli strumenti di calibrazione delle probabilità utilizzano diagrammi di affidabilità e tecniche di calibrazione per confrontare le probabilità previste con gli esiti osservati. Le Rules of Machine Learning di Google sottolineano inoltre l'importanza di previsioni probabilistiche interpretabili e monitorate.

Tra i criteri di valutazione utili rientrano la copertura, l'ampiezza dell'intervallo, l'errore di calibrazione e le prestazioni su segmenti di dati difficili. Per la computer vision, la modalità di convalida di Ultralytics e la guida alle metriche delle prestazioni di YOLO aiutano a esaminare precisione, richiamo, matrici di confusione e comportamento della confidenza tra classi e soglie.

Applicazioni nel mondo reale#

• Analisi delle immagini mediche: Un modello diagnostico può segnalare una scansione per la revisione da parte di uno specialista quando diversi reperti plausibili hanno punteggi simili o quando l'immagine differisce dai dati di addestramento. Senza questa escalation, una previsione errata e troppo sicura potrebbe ritardare il trattamento.
• Ispezione visiva nella produzione: Un rilevatore di difetti può incontrare riflessi, nuovi materiali o danni mai osservati prima. Un instradamento consapevole dell'incertezza può inviare i prodotti ambigui all'ispezione manuale invece di accettarli o rifiutarli automaticamente, riducendo sia i difetti sfuggiti ai controlli sia gli sprechi superflui.

Queste policy collegano l'incertezza del modello al rischio operativo. Il NIST AI Risk Management Framework Core raccomanda di misurare l'incertezza, documentare i limiti di generalizzazione e monitorare i sistemi per tutta la durata della distribuzione.

Incertezza nei flussi di lavoro Ultralytics YOLO#

Ultralytics YOLO26 espone i punteggi di confidenza del rilevamento attraverso la documentata modalità Predict:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Questo flusso di lavoro espone un segnale utile correlato all'incertezza, ma la sola confidenza non costituisce una UQ completa e non dovrebbe essere interpretata automaticamente come una probabilità calibrata. Convalida i punteggi su dati rappresentativi tenuti da parte, scegli le soglie in base ai costi degli errori e monitora le distribuzioni della confidenza dopo la distribuzione.

I team possono usare Ultralytics Platform per annotare i dataset, addestrare e distribuire i modelli e monitorare gli endpoint. In combinazione con il continuo monitoraggio e manutenzione dei modelli, i segnali di incertezza possono rivelare condizioni non familiari, guidare la revisione umana e identificare quando sono necessari nuovi dati o un nuovo addestramento.