Conformal Prediction

Konforme Vorhersage ist ein statistischer Rahmen im maschinellen Lernen (ML), der verteilungsfreie Unsicherheitsmaße für Modellvorhersagen bereitstellt. Anstatt eine einzelne Punktvorhersage auszugeben – etwa ein bestimmtes Klassenlabel –, gibt ein konformer Prädiktor eine Vorhersagemenge oder ein Intervall aus, die bzw. das den wahren Wert mit einer vom Benutzer festgelegten Wahrscheinlichkeit (z. B. 90 % oder 95 %) enthält. Dieser Rahmen lässt sich um jedes Modell der künstlichen Intelligenz (AI) legen, um formale statistische Garantien bereitzustellen, ohne Änderungen an der Modellarchitektur zu erfordern. Eine umfassende Liste aktueller Werkzeuge und Forschungsergebnisse findest du im Repository Awesome Conformal Prediction.

So funktioniert konforme Vorhersage#

Der grundlegende Mechanismus beruht darauf, mithilfe eines Nichtkonformitätswerts zu bewerten, wie ungewöhnlich eine neue Vorhersage im Vergleich zu früheren Beispielen ist.

• Modelltraining: Trainiere zunächst ein Basismodell mit einem standardmäßigen Trainingsdatensatz.
• Kalibrierungsphase: Führe einen separaten, zurückgehaltenen Kalibrierungsdatensatz durch das trainierte Modell. Berechne für jede Vorhersage einen Nichtkonformitätswert, beispielsweise die inverse Wahrscheinlichkeit bei der Bildklassifizierung.
• Quantilberechnung: Lege das gewünschte Konfidenzniveau (z. B. 95 %) fest und ermittle das entsprechende Quantil dieser Kalibrierungswerte, um die Vorhersagemengen zu erstellen.
• Anwendung bei der Inferenz: Werte während der Inferenz im laufenden Betrieb neue Eingaben aus und schließe alle möglichen Labels ein, deren Werte unter dem Kalibrierungsquantil liegen.

Mathematische Beweise für diesen Ansatz findest du im Tutorial A Gentle Introduction to Conformal Prediction. Außerdem kannst du dich über Ansätze zur Zeitreihenprognose informieren, um zeitliche Unsicherheiten zu berücksichtigen.

Abgrenzung der konformen Vorhersage von verwandten Begriffen#

Es ist entscheidend, diesen Rahmen von Standardmetriken zu unterscheiden, die beim Testen von Modellen verwendet werden:

• Konforme Vorhersage im Vergleich zu Konfidenzwerten: Ein standardmäßiger Konfidenzwert spiegelt die interne Sicherheit eines Modells wider, ist jedoch häufig schlecht kalibriert und bietet keine mathematischen Garantien. Die konforme Vorhersage wandelt diese Rohwerte in garantierte Mengen um. Für herkömmliche Anpassungen siehe die Wahrscheinlichkeitskalibrierung von scikit-learn.
• Konforme Vorhersage im Vergleich zur Genauigkeit: Die Genauigkeit ist eine globale historische Metrik, die beschreibt, wie oft ein Modell über einen gesamten Datensatz hinweg richtig liegt, während die konforme Inferenz für jede einzelne neue Vorhersage ein lokales, instanzspezifisches Intervall bereitstellt.

Anwendungen in der Praxis#

Konforme Vorhersage ist in Bereichen mit hohen Risiken unverzichtbar, in denen es entscheidend ist, die blinden Flecken des Modells zu kennen.

• Medizinische Diagnostik: Beim Einsatz von AI im Gesundheitswesen zur Analyse von Aufnahmen kann ein Modell eine Menge plausibler Diagnosen statt einer einzelnen, möglicherweise falschen Klasse ausgeben. Dadurch stellen Ärztinnen und Ärzte sicher, dass sie alle realistischen Möglichkeiten untersuchen, und unterstützen aktuelle Studien zu zuverlässiger Genommedizin und Bildgebung.
• Autonomes Fahren: Beim Einsatz von AI in Fahrzeugsystemen erzeugt die Anwendung von Vorhersageintervallen auf die Objekterkennung eine räumliche Konfidenzregion um eine Fußgängerin oder einen Fußgänger. So können die Bremssysteme des Fahrzeugs mögliche Bewegungen im schlimmsten Fall sicher berücksichtigen.

Vorhersagemengen implementieren#

Bibliotheken wie MAPIE (Modellunabhängiger Schätzer für Vorhersageintervalle) stellen integrierte Werkzeuge für Python bereit, und bei Regressionsaufgaben wird häufig die konforme Quantilsregression eingesetzt. Du kannst eine grundlegende Logik für konforme Vorhersagen auch mithilfe von Wahrscheinlichkeiten aus fortgeschrittenen Modellen wie Ultralytics YOLO26 implementieren. Das folgende Beispiel erstellt mithilfe der Klassifizierungswahrscheinlichkeiten von YOLO26 eine Vorhersagemenge und bildet dabei die Logik nach, die obersten Klassen einzubeziehen, bis ein kumulativer Schwellenwert erreicht ist.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

Die Entwicklung zuverlässiger Systeme erfordert robuste Datenpraktiken, damit Daten-Drift die Kalibrierung nicht beeinträchtigt. Werkzeuge wie die Ultralytics Platform vereinfachen das Erfassen neuer Klassifizierungsdatensätze, das erneute Trainieren von Modellen und die sichere Verwaltung der Modellbereitstellung. In unserem Leitfaden zum Verständnis von Datensatzverzerrungen erfährst du mehr über die Zusammenstellung ausgewogener Daten. Außerdem kannst du die neuesten Entwicklungen verfolgen, die auf der jährlichen COPA-Konferenz vorgestellt werden.