Precision-Recall Curve
Die Precision-Recall-Kurve stellt die Precision in Abhängigkeit vom Recall über verschiedene Schwellenwerte hinweg dar und zeigt die Modellleistung sowie den Zielkonflikt zwischen Fehlalarmen und übersehenen Fällen.
Eine Precision-Recall-Kurve zeigt, wie sich Precision und Recall eines Modells mit dem Entscheidungsschwellenwert verändern. Der Recall ist auf der horizontalen Achse und die Precision auf der vertikalen Achse aufgetragen. Jeder gemessene Betriebspunkt ergibt sich aus einem Schwellenwert: Er zeigt, wie viele positive Fälle das Modell erkennt und wie zuverlässig seine positiven Vorhersagen sind. Die Kurve hilft bei der Bewertung von Klassifikatoren und Detektoren, wenn Fehlalarme und übersehene Fälle unterschiedlich schwer wiegen.
So funktioniert eine Precision-Recall-Kurve#
Precision ist der Anteil der positiven Vorhersagen, die korrekt sind: TP / (TP + FP). Recall, auch Sensitivität genannt, ist der Anteil der tatsächlich positiven Fälle, die erkannt werden: TP / (TP + FN). TP steht für richtig positive Fälle, FP für falsch positive Fälle und FN für falsch negative Fälle – die Ergebnisse, die in einer Konfusionsmatrix erfasst werden.
Wenn du den Konfidenz-Schwellenwert über die Vorhersagewerte hinweg variierst, erhältst du Precision-Recall-Paare. Wird der Schwellenwert gesenkt, werden mehr Vorhersagen berücksichtigt, sodass der Recall steigt oder gleich bleibt. Die Precision kann sich in beide Richtungen verändern, wenn korrekte und inkorrekte Vorhersagen in die Menge aufgenommen werden. Dadurch entsteht eine treppenförmige Kurve.
Cyril Cleverdon führte in seinem Cranfield-Bericht von 1962 Diagramme zu Recall und Relevanz ein und begründete damit die Wurzeln der Precision-Recall-Bewertung in der Informationssuche. Bei der Dokumentsuche sind relevante abgerufene Dokumente richtig positive Fälle; irrelevante abgerufene Dokumente sind falsch positive Fälle.
Die Kurve und ihre Basislinie interpretieren#
Eine Kurve, die eine hohe Precision beibehält, wenn sich der Recall 1 nähert, deutet auf eine starke Leistung hin. Wenn sich Kurven kreuzen, ist jedes Modell in einem anderen Betriebsbereich besser. Ein starker Abfall der Precision zeigt, ab wann zusätzliche Vorhersagen zu vielen Fehlalarmen führen.
Die Basislinie für eine nicht aussagekräftige zufällige Rangfolge entspricht dem Anteil der positiven Klasse – dem Anteil der Beispiele, die als positiv gekennzeichnet sind. Bei 1 % positiven Beispielen beträgt die Basislinien-Precision 0,01. Eine veränderte Häufigkeit positiver Beispiele verändert die Precision, weshalb die ausgewertete Population Teil des Ergebnisses ist.
Eine ROC-Kurve (Betriebscharakteristik) stellt stattdessen den Recall der Falsch-Positiv-Rate gegenüber: FP / (FP + TN), wobei TN für richtig negative Fälle steht. Die Precision-Recall-Bewertung zeigt direkt den Anteil der korrekten Alarme und eignet sich daher für seltene positive Fälle. Die Accuracy kann von der Mehrheitsklasse dominiert werden.
Einen Betriebsschwellenwert auswählen#
Wähle anhand der Fehlerkosten einen Betriebspunkt auf den Validierungsdaten aus. Bei einem geforderten Mindest-Recall wählst du den zulässigen Punkt mit der höchsten Precision; bei einer geforderten Mindest-Precision den zulässigen Punkt mit dem höchsten Recall. Wird der F1-Wert, das harmonische Mittel aus Precision und Recall, maximiert, erhalten beide Kennzahlen dasselbe Gewicht. Die Schwellenwerte ergeben sich aus den zugrunde liegenden Werten oder aus Precision-Konfidenz- und Recall-Konfidenz-Diagrammen.
Bei der Vorhersage mit Ultralytics YOLO kannst du diese Auswahl über conf steuern, womit Erkennungen anhand ihrer Bewertungswerte gefiltert werden. Bei einer Bewertung in der Academy von YOLO26n auf vier COCO8-Validierungsbildern bei IoU 0.50 änderte sich die interpolierte Precision/Recall der Personenklasse von 0.63/0.80 auf 1.00/0.54, als conf von 0.10 auf 0.25 erhöht wurde: Es gab weniger Fehlalarme, aber mehr übersehene Personen.
Behalte den ausgewählten Schwellenwert bei der Auswertung separater Testdaten unverändert bei.
Eine Precision-Recall-Kurve in Python darstellen#
Dieses Beispiel unterscheidet handschriftliche Ziffern 9 von anderen Ziffern anhand der mitgelieferten Bilder und einer logistischen Regression. Installiere die Abhängigkeiten mit pip install scikit-learn matplotlib und verwende anschließend die Precision-Recall-Darstellungs-API von scikit-learn.
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import PrecisionRecallDisplay
from sklearn.model_selection import train_test_split
X, digits = load_digits(return_X_y=True)
y = digits == 9
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)
model = LogisticRegression(max_iter=2000)
model.fit(X_train, y_train)
PrecisionRecallDisplay.from_estimator(model, X_test, y_test)
plt.savefig("precision_recall_curve.png", bbox_inches="tight")Das gespeicherte Diagramm zeigt die Precision für jede erreichbare Recall-Stufe bei zurückgehaltenen Ziffernbildern.
Objekterkennung und Average Precision#
Bei der Objekterkennung zählt eine vorhergesagte Bounding Box als richtig positiver Fall, wenn sie einem noch nicht zugeordneten annotierten Objekt derselben Klasse entspricht und den IoU-Schwellenwert (Schnittmenge geteilt durch Vereinigungsmenge) erreicht oder überschreitet. Nicht zugeordnete Vorhersagen, einschließlich Duplikaten, zählen als falsch positive Fälle. Für jede Klasse gibt es eine eigene Kurve, wobei die IoU-Anforderung unverändert bleibt.
Die Average Precision (AP) fasst die Kurve über die Recall-Stufen hinweg zusammen. Die trapezförmige PR-AUC und die nicht interpolierte AP verwenden unterschiedliche Integrationsregeln. Die mittlere Average Precision (mAP) ist der Mittelwert der AP-Werte der einzelnen Klassen. Bei den Kennzahlen zur Erkennungsleistung verwendet mAP50 eine IoU von 0.50, während mAP50–95 den Mittelwert über zehn IoU-Schwellenwerte von 0.50 bis 0.95 in Schritten von 0.05 bildet.
