Uncertainty Quantification

La quantificazione dell’incertezza (UQ) consiste nello stimare quanto un modello di machine learning sia incerto su ciascuna previsione e nel verificare che tali stime siano affidabili. Oltre a un’etichetta, un valore o un riquadro di delimitazione, un modello dotato di UQ restituisce una distribuzione di probabilità, un intervallo di previsione, un insieme di etichette plausibili o una varianza. I sistemi usano queste stime per decidere quando agire automaticamente, quando affidare la decisione a una persona e quali nuovi dati raccogliere. Un punteggio di confidenza è una di queste stime; la UQ verifica anche se tale punteggio è calibrato, cioè se le previsioni fatte con una confidenza dell’80% sono corrette circa l’80% delle volte.

Incertezza aleatoria ed epistemica#

L’incertezza predittiva ha due origini, una distinzione introdotta nel deep learning per la visione da Alex Kendall e Yarin Gal nel loro articolo del 2017 Quali incertezze ci servono nel deep learning bayesiano per la visione artificiale?:

• Incertezza aleatoria: rumore presente nei dati stessi, come mosso, rumore del sensore, occlusioni o disaccordi tra annotatori sulle etichette. Più dati di addestramento non la eliminano, perché l’input non contiene le informazioni mancanti. Un modello può imparare a predirla come output aggiuntivo, per esempio una varianza per ogni stima della profondità.
• Incertezza epistemica: mancanza di conoscenza del modello, elevata per input diversi da quelli presenti nei dati di addestramento, come una nuova telecamera, una nuova stagione o un nuovo tipo di oggetto. Diminuisce con l’aggiunta di dati pertinenti, quindi segnala la deriva dei dati e gli input fuori distribuzione.

La distinzione determina cosa fare con una previsione incerta:

Metodi per stimare l’incertezza#

• Probabilità predette: l’output softmax di un classificatore è la stima meno costosa, ma uno studio del 2017 di Chuan Guo e colleghi ha rilevato che le reti neurali profonde moderne tendono sistematicamente a essere troppo sicure. La scalatura della temperatura su dati tenuti da parte corregge gran parte dello scarto.
• Dropout Monte Carlo: mantiene attivo il dropout durante l’inferenza ed esegue più volte l’input, considerando la dispersione degli output una stima approssimativa dell’incertezza bayesiana, come hanno mostrato Yarin Gal e Zoubin Ghahramani nel 2016.
• Ensemble profondi: addestrano diverse copie di una rete con inizializzazioni casuali differenti e ne misurano il disaccordo; il metodo è stato introdotto nel 2017 da Balaji Lakshminarayanan e colleghi di DeepMind. In un ampio confronto di Google del 2019, gli ensemble hanno resistito meglio al cambiamento della distribuzione dei dati rispetto ad altri metodi UQ.
• Predizione conforme: estende qualsiasi modello per generare insiemi o intervalli di previsione che contengono la risposta corretta con una frequenza scelta, per esempio il 95%.
• Entropia semantica: genera diversi output da un modello linguistico di grandi dimensioni (LLM) e misura quanti significati distinti esprimono, fornendo un segnale per rilevare le allucinazioni.

Un ensemble profondo su un’attività di regressione a una dimensione mostra direttamente l’incertezza epistemica:

import numpy as np
from sklearn.neural_network import MLPRegressor

# Noisy samples of sin(x), observed only between -3 and 3
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, (200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, 200)

# Deep ensemble: the same network trained from five random initializations
ensemble = [MLPRegressor(hidden_layer_sizes=(32, 32), max_iter=3000, random_state=seed).fit(x, y) for seed in range(5)]

# Members agree where data exists and diverge where it does not
for x_new in (1.0, 8.0):
    preds = np.array([m.predict([[x_new]])[0] for m in ensemble])
    print(f"x={x_new}: mean {preds.mean():+.2f}, std {preds.std():.2f}")

In x = 1, all’interno dell’intervallo di addestramento, le cinque reti predicono una media di 0,86 rispetto al valore reale di 0,84, con una deviazione standard di 0,01. In x = 8, molto al di fuori dell’intervallo, predicono -1,17 rispetto al valore reale di 0,99, e la deviazione standard sale a 0,59: l’ensemble segnala quindi proprio la previsione errata.

Valutazione delle stime di incertezza#

La calibrazione si verifica con un diagramma di affidabilità, che raggruppa le previsioni per confidenza e traccia l’accuratezza effettiva di ciascun gruppo; si riassume con l’errore di calibrazione atteso o il punteggio Brier. Gli intervalli di previsione si valutano in base alla copertura, cioè la quota di valori reali che vi ricadono, e all’ampiezza, perché un intervallo abbastanza largo da contenere qualsiasi valore non fornisce informazioni. Il rilevamento fuori distribuzione si valuta con l’area sotto la curva ROC, che misura la capacità di distinguere gli input noti da quelli sconosciuti; oggi i benchmark riportano la calibrazione accanto all’accuratezza: L’ultimo esame dell’umanità ha rilevato errori di calibrazione compresi tra il 73% e l’89% negli LLM dell’epoca del lancio.

Applicazioni#

• Analisi di immagini mediche: i modelli diagnostici in ambito sanitario inviano a un radiologo le scansioni caratterizzate da elevata incertezza, così l’automazione si occupa dei casi chiari e le persone esaminano quelli ambigui.
• Veicoli autonomi: i sistemi di percezione ampliano i margini di sicurezza o restituiscono il controllo quando aumenta l’incertezza sulla profondità o sul rilevamento, per esempio in presenza di nebbia o abbagliamento.
• Apprendimento attivo: l’incertezza determina quali immagini senza etichetta vale la pena annotare, perché i campioni di cui il modello è meno sicuro sono quelli da cui impara di più.

L’apprendimento attivo è il contesto in cui le pipeline di rilevamento usano l’incertezza nel modo più diretto. Il modello Collect Uncertain Detections in Ultralytics Platform Agents elabora le immagini di un dataset con un modello YOLO26 distribuito e copia in un dataset di revisione, senza etichette e pronto per l’annotazione e il nuovo addestramento, ogni immagine con almeno un rilevamento la cui confidenza rientra nell’intervallo scelto, per esempio da 0,25 a 0,5.