Conformal Prediction

La prédiction conforme est un cadre statistique en apprentissage automatique (ML) qui fournit des mesures d'incertitude sans distribution pour les prédictions des modèles. Au lieu de produire une prédiction ponctuelle unique — comme une étiquette de classe spécifique — un prédicteur conforme génère un ensemble ou un intervalle de prédiction qui contient la valeur réelle avec une probabilité spécifiée par l'utilisateur (par exemple, 90 % ou 95 %). Ce cadre enveloppe n'importe quel modèle d'intelligence artificielle (IA) pour fournir des garanties statistiques formelles sans nécessiter de modifications de l'architecture du modèle. Pour une liste exhaustive d'outils et de recherches actualisés, tu peux explorer le dépôt Awesome Conformal Prediction.

Link to this sectionComment fonctionne la prédiction conforme#

Le mécanisme fondamental repose sur l'évaluation du caractère inhabituel d'une nouvelle prédiction par rapport aux exemples passés, en utilisant un score de non-conformité.

• Entraînement de modèle : commence par entraîner un modèle de base en utilisant un jeu de données d'entraînement standard.
• Phase de calibration : fais passer un jeu de données de calibration distinct et mis de côté à travers le modèle entraîné. Calcule un score de non-conformité pour chaque prédiction, tel que la probabilité inverse en classification d'images.
• Calcul des quantiles : détermine le niveau de confiance cible (par exemple, 95 %) et trouve le quantile correspondant de ces scores de calibration pour construire les ensembles de prédiction.
• Application à l'inférence : lors de l'inférence en direct, évalue les nouvelles entrées et inclue toutes les étiquettes possibles dont les scores tombent en dessous du quantile de calibration.

Tu peux explorer les preuves mathématiques de cette approche dans le tutoriel A Gentle Introduction to Conformal Prediction ou en apprendre davantage sur les approches de prévision de séries temporelles pour gérer les incertitudes temporelles.

Link to this sectionDifférencier la prédiction conforme des termes associés#

Il est crucial de distinguer ce cadre des métriques standard utilisées lors du test de modèle :

• Prédiction conforme vs scores de confiance : un score de confiance standard reflète la certitude interne d'un modèle, mais il est souvent mal calibré et dépourvu de garanties mathématiques. La prédiction conforme transforme ces scores bruts en ensembles garantis. Pour des ajustements traditionnels, consulte la calibration de probabilité de scikit-learn.
• Prédiction conforme vs précision : la précision est une métrique historique globale décrivant à quelle fréquence un modèle est correct sur un jeu de données entier, alors que l'inférence conforme fournit un intervalle local et spécifique à l'instance pour chaque nouvelle prédiction.

Link to this sectionApplications concrètes#

La prédiction conforme est indispensable dans les domaines à enjeux élevés où connaître les angles morts du modèle est critique.

• Diagnostics médicaux : lorsque tu exploites l'IA dans la santé pour analyser des scans, un modèle peut sortir un ensemble de diagnostics plausibles au lieu d'une classe unique, potentiellement incorrecte. Cela garantit que les cliniciens examinent toutes les possibilités viables, soutenant les études récentes sur la médecine génomique et l'imagerie fiables.
• Conduite autonome : dans les systèmes d'IA pour l'automobile, l'application d'intervalles de prédiction à la détection d'objets génère une zone de confiance spatiale autour d'un piéton, permettant aux systèmes de freinage du véhicule de prendre en compte les mouvements les plus défavorables en toute sécurité.

Link to this sectionMise en œuvre des ensembles de prédiction#

Des bibliothèques comme MAPIE (Model Agnostic Prediction Interval Estimator) fournissent des outils intégrés pour Python, et les tâches de régression utilisent souvent la régression quantile conforme. Tu peux également mettre en œuvre une logique de prédiction conforme de base en utilisant les probabilités de modèles avancés comme Ultralytics YOLO26. L'exemple suivant construit un ensemble de prédiction en utilisant les probabilités de classification de YOLO26, imitant la logique d'inclusion des meilleures classes jusqu'à ce qu'un seuil cumulatif soit atteint.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

Le développement de systèmes fiables nécessite des pratiques de données robustes pour éviter que la dérive des données ne ruine la calibration. Des outils comme la plateforme Ultralytics simplifient le processus de collecte de nouveaux jeux de données de classification, le réentraînement des modèles et la gestion sécurisée du déploiement de modèles. Tu peux en lire plus sur la curation de données équilibrées dans notre guide sur la compréhension des biais des jeux de données, ou suivre les dernières avancées présentées à la conférence annuelle COPA conference.