Conformal Prediction

La predizione conforme è un quadro per la quantificazione dell'incertezza che trasforma i punteggi di qualsiasi modello addestrato in insiemi o intervalli di predizioni che, con una garanzia statistica, contengono la risposta corretta a un livello scelto dall'utente, per esempio il 95%. Un classificatore conforme di immagini restituisce tutte le etichette ancora plausibili: una per un'immagine chiara, diverse per un'immagine ambigua; un regressore conforme restituisce un intervallo. La garanzia vale per qualsiasi modello e distribuzione dei dati, a condizione che i dati di calibrazione e i nuovi dati siano scambiabili, come lo sono campioni indipendenti provenienti dalla stessa fonte. Vladimir Vovk, Alexander Gammerman e Glenn Shafer hanno sviluppato il metodo a partire dalla fine degli anni Novanta e lo hanno illustrato nel libro del 2005 Algorithmic Learning in a Random World; il tutorial del 2021 di Anastasios Angelopoulos e Stephen Bates, A Gentle Introduction to Conformal Prediction, presenta i metodi moderni usati nel machine learning.

Come funziona la predizione conforme suddivisa#

Il metodo conformale completo originale riaddestra il modello per ogni risposta candidata, un processo troppo lento per il deep learning. La predizione conformale divisa, o induttiva, introdotta da Harris Papadopoulos e colleghi nel 2002, richiede un solo modello addestrato e un insieme di calibrazione tenuto da parte:

1. Addestra il modello sui dati di addestramento come di consueto.
2. Esegui il modello su n esempi di calibrazione etichettati che non ha mai visto e calcola per ciascuno un punteggio di non conformità, un valore che aumenta quando la risposta corretta appare meno tipica al modello. Per un classificatore, un punteggio comune è 1 meno la probabilità assegnata alla classe corretta.
3. Prendi il quantile ceil((n + 1) x (1 - alpha)) / n di quei punteggi, chiamato qhat. Il termine (n + 1) è una correzione per campioni finiti che rende esatta la garanzia.
4. Per un nuovo input, includi ogni etichetta candidata il cui punteggio sia al massimo qhat.

L'insieme risultante contiene l'etichetta corretta con una probabilità di almeno 1 - alpha. Poiché il punteggio del nuovo esempio è scambiabile con gli n punteggi di calibrazione, ha la stessa probabilità di occupare qualsiasi posizione in classifica tra questi; quindi, almeno per una frazione 1 - alpha delle volte, risulta pari o inferiore a qhat.

Cosa copre la garanzia#

La garanzia è marginale: vale in media su tutti gli input. Un modello può coprire troppo le classi facili e troppo poco una classe rara; perciò la predizione conformale condizionale alla classe (Mondrian) calibra un qhat separato per ogni classe. La scambiabilità è l'unica ipotesi e viene meno in caso di deriva dei dati, quando le immagini in produzione differiscono da quelle di calibrazione; per questo l'insieme di calibrazione deve provenire dai dati di deployment e va aggiornato quando i dati cambiano. La distorsione del dataset nell'insieme di calibrazione si riflette direttamente negli insiemi.

La dimensione dell'insieme è il segnale utile. Ogni procedura valida raggiunge la copertura obiettivo, quindi i metodi si distinguono per quanto riescono a ridurre la dimensione dei propri insiemi; un modello più accurato produce insiemi più piccoli. Gli Adaptive Prediction Sets (APS) e i Regularized Adaptive Prediction Sets (RAPS), questi ultimi testati su classificatori ImageNet, usano probabilità cumulative così che la dimensione dell'insieme rifletta la difficoltà; la regressione quantilica conformalizzata produce intervalli che si allargano dove i dati sono rumorosi.

La predizione conformale si distingue da tre idee correlate. Un punteggio di confidenza è un singolo valore privo di garanzie. I metodi di calibrazione, come la scalatura della temperatura, fanno sì che i punteggi corrispondano meglio all'accuratezza osservata; questo riduce gli insiemi conformali, ma non offre di per sé alcuna garanzia di copertura. Un intervallo di confidenza statistico descrive l'incertezza su un parametro di popolazione, come una media, mentre un insieme conformale indica dove ricadrà un singolo nuovo risultato.

Gli insiemi di predizione nella pratica#

Ecco i passaggi precedenti con scikit-learn, usando intenzionalmente un insieme di addestramento piccolo affinché il classificatore commetta errori:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

La sola predizione più probabile è corretta nel 91,6% dei casi, mentre gli insiemi conformali contengono la cifra corretta nel 96,5% delle 1.197 immagini di test, superando l'obiettivo del 95%, con una media di 1,27 etichette. Librerie come MAPIE raccolgono questi passaggi per classificazione, regressione e serie temporali.

Applicazioni#

• Analisi di immagini mediche: Un insieme di risultati plausibili con un tasso di errore noto indica ai medici in ambito sanitario quando una scansione è ambigua; un insieme con una sola etichetta identifica i casi che il modello gestisce in modo affidabile.
• Modelli linguistici di grandi dimensioni (LLMs): I metodi conformali calibrano quanti risultati campionati restituire o quali affermazioni mantenere affinché l'output contenga una risposta corretta con una frequenza scelta, affiancando l'entropia semantica come protezione dalle allucinazioni.
• Rilevamento di oggetti: I margini conformali attorno alle bounding box predette definiscono una regione che contiene la box corretta con una frequenza scelta, utile per la pianificazione dei veicoli autonomi in prossimità dei pedoni.

I classificatori di immagini forniscono lo stesso input dell'esempio con scikit-learn. I modelli di classificazione Ultralytics YOLO26 restituiscono l'intero vettore softmax per ogni immagine in results[0].probs.data; calcolando il punteggio su un insieme tenuto da parte di immagini etichettate si ottiene qhat, e ogni classe con probabilità almeno pari a 1 - qhat entra nell'insieme di predizione.