Confidence

Ein Konfidenzwert ist eine Zahl zwischen 0 und 1, die ein Modell einer Vorhersage zuordnet, um auszudrücken, wie wahrscheinlich die Vorhersage korrekt ist. Klassifikatoren weisen jedem Klassenlabel einen solchen Wert zu. Bei Modellen zur Objekterkennung erhält jede Bounding Box einen eigenen Wert. Er beantwortet eine engere Frage: Wie wahrscheinlich ist es, dass sich in dieser Box ein Objekt dieser Klasse befindet? Anwendungen nutzen Konfidenzwerte, um zu entscheiden, welche Vorhersagen beibehalten und in welcher Reihenfolge sie sortiert werden und welche zur Überprüfung an eine Person weitergeleitet werden.

Wie Modelle Konfidenzwerte erzeugen#

Der Konfidenzwert stammt aus der letzten Schicht des Netzes. Ein Klassifikator mit genau einem Label leitet seine unverarbeiteten Ausgaben, die Logits, durch eine Softmax-Funktion, die dafür sorgt, dass die Klassenwerte zusammen 1 ergeben, und gibt den höchsten Wert aus. Detektoren wenden normalerweise unabhängig voneinander eine Sigmoid-Funktion auf jede Klasse an. Daher kann eine Box für zwei verwandte Klassen hohe Werte erhalten, und die Werte müssen zusammen nicht 1 ergeben. Detektoren mit einer separaten Objektheitsausgabe, etwa YOLOv5, multiplizierten sie mit der Klassenwahrscheinlichkeit. Viele anchor-freie Detektoren, darunter aktuelle YOLO-Modelle, verzichten auf die Objektheit und verwenden den höchsten Klassenwert als Konfidenzwert der Box.

Konfidenzschwellen#

Ein Konfidenzschwellenwert wandelt Scores in Entscheidungen um: Vorhersagen oberhalb des Schwellenwerts werden beibehalten, der Rest wird verworfen. Ein höherer Schwellenwert entfernt falsch-positive Ergebnisse und steigert die Präzision. Ein niedrigerer Schwellenwert erfasst schwach erkennbare, kleine oder teilweise verdeckte Objekte und steigert den Recall, erhöht jedoch die Zahl der Fehlalarme. Der Schwellenwert am höchsten Punkt der F1-Score-Kurve bringt beides ins Gleichgewicht. Standardmäßig behält YOLO26 zur Vorhersagezeit Boxen mit einem Score über 0,25 bei. Bei der Validierung wird der Schwellenwert auf 0,001 gesenkt, damit die Präzisions-Recall-Kurven nahezu jeden möglichen Betriebspunkt abdecken.

from ultralytics import YOLO

# Load a pretrained YOLO26 nano detector
model = YOLO("yolo26n.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Run the same image at a low and a high confidence threshold
for threshold in (0.1, 0.6):
    results = model(image, conf=threshold)
    scores = results[0].boxes.conf.tolist()
    print(f"conf={threshold}: {len(scores)} boxes, scores {[round(s, 2) for s in scores]}")

Der Lauf mit 0.1 liefert alle Boxen aus dem Lauf mit 0.6 sowie alle schwächeren Kandidaten. Wenn du die Schwelle erhöhst, werden daher nur Erkennungen entfernt, beginnend mit den unsichersten.

Konfidenz in Anwendungen nutzen#

Viele Systeme verwenden zwei Schwellen. Vorhersagen unterhalb einer niedrigen Schwelle werden verworfen, Vorhersagen oberhalb einer hohen Schwelle lösen automatisch eine Aktion aus und der Bereich dazwischen wird einer Person, einem zweiten Modell oder einem anderen Sensor vorgelegt. Ein medizinisches Screening-Tool kann Befunde mit hoher Konfidenz sofort markieren und unsichere Befunde für eine Radiologin oder einen Radiologen vormerken. Eine Active-Learning-Schleife leitet den unsicheren Bereich an Annotierende weiter – eine Strategie, die als Unsicherheitsstichprobe bezeichnet wird.

Konfidenz und Kalibrierung#

Ein Score von 0.9 ist nur dann eine brauchbare Wahrscheinlichkeit, wenn das Modell kalibriert ist, das heißt, dass etwa 90 % aller Vorhersagen mit dem Score 0.9 korrekt sind. Moderne tiefe neuronale Netze sind häufig übermäßig selbstsicher und vergeben Scores, die über ihrer tatsächlichen Trefferquote liegen. Temperature Scaling korrigiert dies weitgehend, indem die Logits durch eine auf zurückgehaltenen Daten angepasste Konstante geteilt werden. Die Kalibrierungswerkzeuge von scikit-learn passen Platt- (Sigmoid-) oder isotone Abbildungen an und stellen Zuverlässigkeitskurven dar. Kalibrierung ist immer dann wichtig, wenn ein Score als Wahrscheinlichkeit interpretiert wird, etwa bei einem Risikoschwellenwert. Rangbasierte Metriken wie die mittlere durchschnittliche Präzision (mAP) hängen nur von der Reihenfolge der Scores ab.

Konfidenz und verwandte Begriffe#

• Genauigkeit: Anteil korrekter Vorhersagen auf Datensatzebene. Bei einem kalibrierten Modell entspricht die durchschnittliche Konfidenz der Genauigkeit.
• Statistische Konfidenzintervalle: ein eigenständiges Konzept mit derselben Bezeichnung. Ein Konfidenzniveau von 95 % beschreibt, wie oft ein Verfahren zur Intervallbildung bei wiederholten Stichproben einen wahren Wert erfasst.
• Konforme Vorhersage: Wandelt Rohwerte in Vorhersagemengen mit einer Abdeckungsgarantie um, sodass die Menge bei einem Zielwert von 90 % bei austauschbaren Daten mindestens 90 % der Zeit das wahre Label enthält.