Conformal Prediction

La prédiction conforme est un cadre de quantification de l'incertitude qui transforme les scores de n'importe quel modèle entraîné en ensembles ou intervalles de prédiction garantis de contenir la vraie réponse au taux choisi par l'utilisateur, par exemple 95 %. Un classificateur d'images conforme renvoie chaque étiquette encore plausible — une seule pour une image claire, plusieurs pour une image ambiguë — tandis qu'un régresseur conforme renvoie un intervalle. La garantie tient pour tout modèle et toute distribution de données, à condition que les données de calibration et les nouvelles données soient échangeables, comme le sont des échantillons indépendants issus de la même source. Vladimir Vovk, Alexander Gammerman et Glenn Shafer ont développé la méthode à partir de la fin des années 1990 et l'ont présentée dans leur livre de 2005 Algorithmic Learning in a Random World. Le tutoriel de 2021 d'Anastasios Angelopoulos et Stephen Bates, A Gentle Introduction to Conformal Prediction, présente les méthodes modernes utilisées en apprentissage automatique.

Fonctionnement de la prédiction conforme par partition#

La méthode conforme complète originale réentraîne le modèle pour chaque réponse candidate, ce qui est trop lent pour l’apprentissage profond. La prédiction conforme par séparation, ou inductive, introduite par Harris Papadopoulos et ses collègues en 2002, ne nécessite qu’un seul modèle entraîné et un ensemble de calibration mis de côté :

1. Entraîne le modèle sur les données d’entraînement comme d’habitude.
2. Exécute-le sur n exemples de calibration étiquetés qu’il n’a pas vus et calcule un score de non-conformité pour chacun, c’est-à-dire un nombre qui augmente quand la réponse réelle paraît moins typique au modèle. Pour un classificateur, un score courant est 1 moins la probabilité attribuée à la vraie classe.
3. Prends le quantile ceil((n + 1) x (1 - alpha)) / n de ces scores, appelé qhat. Le terme (n + 1) est une correction pour échantillon fini qui rend la garantie exacte.
4. Pour une nouvelle entrée, inclus chaque étiquette candidate dont le score est inférieur ou égal à qhat.

L’ensemble obtenu contient la vraie étiquette avec une probabilité d’au moins 1 - alpha. Comme le score du nouvel exemple est échangeable avec les n scores de calibration, il a autant de chances d’occuper n’importe quel rang parmi eux ; il se situe donc au plus à qhat dans au moins une proportion 1 - alpha des cas.

Portée de la garantie#

La garantie est marginale : elle est valable en moyenne sur l’ensemble des entrées. Un modèle peut surcouvrir les classes faciles et sous-couvrir une classe rare ; la prédiction conforme conditionnelle par classe (Mondrian) calibre donc un qhat distinct pour chaque classe. L’échangeabilité est la seule hypothèse, et elle ne tient plus en cas de dérive des données, lorsque les images en production diffèrent des images de calibration ; l’ensemble de calibration doit donc provenir des données de déploiement et être actualisé quand ces données changent. Le biais du jeu de données de l’ensemble de calibration se répercute directement sur les ensembles.

La taille de l’ensemble est le signal utile. Toute procédure valide atteint la couverture cible ; les méthodes se distinguent donc par la petitesse de leurs ensembles, et un modèle plus précis produit des ensembles plus petits. Les ensembles de prédiction adaptatifs (APS) et les ensembles de prédiction adaptatifs régularisés (RAPS), ces derniers testés sur des classificateurs ImageNet, utilisent les probabilités cumulées pour que la taille de l’ensemble reflète la difficulté, tandis que la régression quantile conformisée produit des intervalles qui s’élargissent là où les données sont bruitées.

La prédiction conforme se distingue de trois concepts connexes. Un score de confiance est un nombre unique sans garantie associée. Les méthodes de calibration, comme la mise à l’échelle de la température, font mieux correspondre les scores à la précision observée, ce qui réduit les ensembles conformes, mais ne garantit pas à elle seule la couverture. Un intervalle de confiance statistique décrit l’incertitude relative à un paramètre de population, comme une moyenne, tandis qu’un ensemble conforme décrit où se situera un seul nouveau résultat.

Les ensembles de prédiction en pratique#

Voici les étapes ci-dessus avec scikit-learn, en utilisant délibérément un petit ensemble d’entraînement pour que le classificateur commette des erreurs :

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

La prédiction la plus probable seule est correcte dans 91,6 % des cas, tandis que les ensembles conformes contiennent le vrai chiffre pour 96,5 % des 1 197 images de test, soit davantage que la cible de 95 %, avec une moyenne de 1,27 étiquette. Des bibliothèques comme MAPIE regroupent ces étapes pour la classification, la régression et les séries temporelles.

Applications#

• Analyse d’images médicales : Un ensemble de résultats plausibles assorti d’un taux d’erreur connu indique aux cliniciens du secteur de la santé quand une image est ambiguë, et un ensemble à une seule étiquette désigne les cas que le modèle traite de manière fiable.
• Grands modèles de langage (LLM) : Les méthodes conformes calibrent le nombre de réponses échantillonnées à renvoyer ou les affirmations à conserver afin que la sortie contienne une réponse correcte selon un taux choisi ; elles complètent l’entropie sémantique comme protection contre les hallucinations.
• Détection d’objets : Les marges conformes autour des boîtes englobantes prédites définissent une région qui contient la vraie boîte selon un taux choisi, ce qui est utile aux véhicules autonomes pour planifier leurs déplacements autour des piétons.

Les classificateurs d’images fournissent la même entrée que l’exemple scikit-learn. Les modèles de classification Ultralytics YOLO26 renvoient le vecteur softmax complet pour chaque image dans results[0].probs.data ; calculer les scores sur un ensemble mis de côté d’images étiquetées donne donc qhat, et chaque classe dont la probabilité est au moins égale à 1 - qhat rejoint l’ensemble de prédiction.