Conformal Prediction

Konforme Vorhersage ist ein Rahmenwerk zur Quantifizierung von Unsicherheit, das die Scores eines beliebigen trainierten Modells in Vorhersagemengen oder -intervalle umwandelt, die mit einer vom Nutzer gewählten Häufigkeit, etwa 95 %, garantiert die richtige Antwort enthalten. Ein konformer Bildklassifikator gibt alle weiterhin plausiblen Labels zurück: ein Label für ein eindeutiges Bild, mehrere für ein mehrdeutiges. Ein konformer Regressor gibt ein Intervall zurück. Die Garantie gilt für jedes Modell und jede Datenverteilung, sofern die Kalibrierungsdaten und neue Daten austauschbar sind, wie es bei unabhängigen Stichproben aus derselben Quelle der Fall ist. Vladimir Vovk, Alexander Gammerman und Glenn Shafer entwickelten das Verfahren ab Ende der 1990er-Jahre und beschrieben es in ihrem 2005 erschienenen Buch Algorithmic Learning in a Random World. Das Tutorial von Anastasios Angelopoulos und Stephen Bates aus dem Jahr 2021, A Gentle Introduction to Conformal Prediction, behandelt die modernen Verfahren des maschinellen Lernens.

So funktioniert die geteilte konforme Vorhersage#

Das ursprüngliche vollständige konforme Verfahren trainiert das Modell für jede mögliche Antwort erneut, was für Deep Learning zu langsam ist. Die aufgeteilte oder induktive konforme Vorhersage, die Harris Papadopoulos und Kollegen 2002 eingeführt haben, benötigt nur ein trainiertes Modell und einen zurückgehaltenen Kalibrierungssatz:

1. Trainiere das Modell wie gewohnt mit den Trainingsdaten.
2. Führe es mit n beschrifteten Kalibrierungsbeispielen aus, die es noch nicht gesehen hat, und berechne für jedes einen Nichtkonformitätswert – eine Zahl, die steigt, je untypischer die tatsächliche Antwort für das Modell erscheint. Bei einem Klassifikator ist ein gängiger Wert 1 minus der Wahrscheinlichkeit, die der tatsächlichen Klasse zugewiesen wird.
3. Nimm das ceil((n + 1) x (1 - alpha)) / n-Quantil dieser Werte, qhat genannt. Der Term (n + 1) ist eine Korrektur für endliche Stichproben, die die Garantie exakt macht.
4. Nimm für eine neue Eingabe jedes mögliche Klassenlabel auf, dessen Wert höchstens qhat beträgt.

Die resultierende Menge enthält das tatsächliche Label mit einer Wahrscheinlichkeit von mindestens 1 - alpha. Da der Wert des neuen Beispiels mit den n Kalibrierungswerten austauschbar ist, kann er mit gleicher Wahrscheinlichkeit jeden Rang unter ihnen einnehmen. Daher liegt er mindestens in einem Anteil von 1 - alpha der Fälle bei oder unter qhat.

Was die Garantie abdeckt#

Die Garantie gilt marginal, also im Durchschnitt über alle Eingaben. Ein Modell kann für einfache Klassen eine zu hohe und für eine seltene Klasse eine zu niedrige Abdeckung erreichen. Bei der klassenbedingten (Mondrian-)konformen Vorhersage wird deshalb ein separates qhat pro Klasse kalibriert. Austauschbarkeit ist die einzige Annahme; sie gilt bei Datenverschiebungen nicht mehr, wenn sich Produktionsbilder von Kalibrierungsbildern unterscheiden. Der Kalibrierungssatz muss daher aus den Bereitstellungsdaten stammen und bei Änderungen dieser Daten aktualisiert werden. Verzerrungen im Datensatz wirken sich unmittelbar auf die Mengen aus.

Die Größe der Menge ist das nützliche Signal. Jedes gültige Verfahren erreicht die angestrebte Abdeckung. Daher konkurrieren die Verfahren darum, wie klein ihre Mengen ausfallen, und ein genaueres Modell liefert kleinere Mengen. Adaptive Prediction Sets (APS) und Regularized Adaptive Prediction Sets (RAPS), Letztere an ImageNet-Klassifikatoren getestet, verwenden kumulative Wahrscheinlichkeiten, sodass die Mengengröße den Schwierigkeitsgrad widerspiegelt. Die konforme Quantilregression erzeugt Intervalle, die sich dort verbreitern, wo die Daten verrauscht sind.

Die konforme Vorhersage unterscheidet sich von drei verwandten Konzepten. Ein Konfidenzwert ist eine einzelne Zahl ohne Garantie. Kalibrierungsmethoden wie die Temperaturskalierung sorgen dafür, dass die Werte besser mit der beobachteten Genauigkeit übereinstimmen. Dadurch werden konforme Mengen kleiner, aber für sich genommen wird keine Abdeckung garantiert. Ein statistisches Konfidenzintervall beschreibt die Unsicherheit eines Populationsparameters wie eines Mittelwerts, während eine konforme Menge angibt, in welchem Bereich ein einzelnes neues Ergebnis liegen wird.

Vorhersagemengen in der Praxis#

Die obigen Schritte mit scikit-learn, wobei der Trainingssatz bewusst klein gehalten wird, damit der Klassifikator Fehler macht:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

Die alleinige Top-Vorhersage ist in 91,6 % der Fälle richtig, während die konformen Mengen bei 96,5 % der 1.197 Testbilder die richtige Ziffer enthalten – mehr als die angestrebten 95 % – und durchschnittlich 1,27 Labels umfassen. Bibliotheken wie MAPIE bündeln diese Schritte für Klassifikation, Regression und Zeitreihen.

Anwendungen#

• Medizinische Bildanalyse: Eine Menge plausibler Befunde mit bekannter Fehlerrate zeigt Klinikern im Gesundheitswesen, wann ein Scan mehrdeutig ist. Eine Menge mit einem Label kennzeichnet Fälle, die das Modell zuverlässig bewältigt.
• Große Sprachmodelle (LLMs): Konforme Verfahren kalibrieren, wie viele der gezogenen Antworten zurückgegeben oder welche Aussagen beibehalten werden sollen, damit die Ausgabe mit einer festgelegten Wahrscheinlichkeit eine richtige Antwort enthält. Sie ergänzen die semantische Entropie als Schutz vor Halluzinationen.
• Objekterkennung: Konforme Randbereiche um vorhergesagte Begrenzungsrahmen ergeben einen Bereich, der den tatsächlichen Rahmen mit einer festgelegten Wahrscheinlichkeit enthält. Das ist nützlich, wenn autonome Fahrzeuge ihre Fahrten um Fußgänger herum planen.

Bildklassifikatoren liefern dieselbe Eingabe wie das scikit-learn-Beispiel. Ultralytics YOLO26-Klassifikationsmodelle geben für jedes Bild in results[0].probs.data den vollständigen Softmax-Vektor zurück. Die Berechnung von qhat anhand eines zurückgehaltenen Satzes beschrifteter Bilder bedeutet also, dass jede Klasse mit einer Wahrscheinlichkeit von mindestens 1 - qhat in die Vorhersagemenge aufgenommen wird.