Conformal Prediction

La prédiction conforme est un cadre statistique de l’apprentissage automatique (ML) qui fournit des mesures de l’incertitude indépendantes de la distribution pour les prédictions des modèles. Au lieu de produire une prédiction ponctuelle unique — comme une classe spécifique —, un prédicteur conforme produit un ensemble ou un intervalle de prédictions contenant la vraie valeur avec une probabilité définie par l’utilisateur (par ex. 90 % ou 95 %). Ce cadre s’applique à n’importe quel modèle d’intelligence artificielle (AI) pour fournir des garanties statistiques formelles, sans nécessiter de modifications de l’architecture du modèle. Pour consulter une liste exhaustive d’outils et de travaux de recherche à jour, tu peux explorer le dépôt Awesome Conformal Prediction.

Fonctionnement de la prédiction conforme#

Le mécanisme fondamental repose sur l’évaluation du caractère inhabituel d’une nouvelle prédiction par rapport aux exemples passés, à l’aide d’un score de non-conformité.

• Entraînement du modèle : commence par entraîner un modèle de référence à l’aide d’un jeu de données d’entraînement standard.
• Phase de calibration : fais passer un jeu de données de calibration distinct et mis de côté dans le modèle entraîné. Calcule un score de non-conformité pour chaque prédiction, comme la probabilité inverse dans la classification d’images.
• Calcul du quantile : définis le niveau de confiance cible (par ex. 95 %) et trouve le quantile correspondant de ces scores de calibration afin de construire les ensembles de prédictions.
• Application lors de l’inférence : pendant l’inférence en temps réel, évalue les nouvelles entrées et inclus tous les libellés possibles dont les scores sont inférieurs au quantile de calibration.

Tu peux consulter les démonstrations mathématiques de cette approche dans le tutoriel A Gentle Introduction to Conformal Prediction ou découvrir les approches de prévision des séries temporelles pour gérer les incertitudes temporelles.

Différencier la prédiction conforme des termes associés#

Il est essentiel de distinguer ce cadre des métriques standard utilisées lors des tests de modèles :

• Prédiction conforme et scores de confiance : un score de confiance standard reflète la certitude interne d’un modèle, mais il est souvent mal calibré et ne fournit aucune garantie mathématique. La prédiction conforme transforme ces scores bruts en ensembles garantis. Pour les ajustements traditionnels, consulte la calibration des probabilités de scikit-learn.
• Prédiction conforme et exactitude : l’exactitude est une métrique historique globale qui décrit la fréquence à laquelle un modèle est correct sur l’ensemble d’un jeu de données, tandis que l’inférence conforme fournit un intervalle local et spécifique à chaque instance pour chaque nouvelle prédiction.

Applications concrètes#

La prédiction conforme est indispensable dans les domaines à forts enjeux, où il est essentiel de connaître les angles morts du modèle.

• Diagnostics médicaux : lorsqu’on utilise l’AI dans le domaine de la santé pour analyser des examens, un modèle peut produire un ensemble de diagnostics plausibles au lieu d’une seule classe potentiellement incorrecte. Cela garantit que les cliniciens examinent toutes les possibilités pertinentes, en s’appuyant sur les études récentes consacrées à la médecine génomique et à l’imagerie fiables.
• Conduite autonome : dans les systèmes automobiles utilisant l’AI, l’application d’intervalles de prédiction à la détection d’objets génère une zone de confiance spatiale autour d’un piéton, ce qui permet aux systèmes de freinage du véhicule de prendre en compte en toute sécurité les mouvements les plus défavorables.

Implémentation des ensembles de prédictions#

Des bibliothèques comme MAPIE (estimateur d’intervalles de prédiction indépendant du modèle) fournissent des outils intégrés pour Python, et les tâches de régression utilisent souvent la régression quantile conforme. Tu peux également implémenter une logique élémentaire de prédiction conforme à l’aide des probabilités de modèles avancés comme Ultralytics YOLO26. L’exemple suivant construit un ensemble de prédictions à l’aide des probabilités de classification de YOLO26, en reproduisant la logique qui consiste à inclure les classes les mieux classées jusqu’à atteindre un seuil cumulatif.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

Le développement de systèmes fiables nécessite des pratiques robustes en matière de données afin d’éviter que la dérive des données ne compromette la calibration. Des outils comme la plateforme Ultralytics simplifient la collecte de nouveaux jeux de données de classification, le réentraînement des modèles et la gestion sécurisée du déploiement des modèles. Tu peux en apprendre davantage sur la sélection de données équilibrées dans notre guide consacré à la compréhension du biais des jeux de données, ou suivre les dernières avancées présentées lors de la conférence COPA annuelle.