Precision

Präzision ist der Anteil der positiven Vorhersagen eines Modells, die korrekt sind. Sie beantwortet die Frage: „Wie oft liegt das Modell richtig, wenn es mit Ja antwortet?“ Berechnet wird sie als die Zahl richtig positiver Ergebnisse geteilt durch alle positiven Vorhersagen: precision = TP / (TP + FP). Ein falsch positives Ergebnis (FP) ist dabei ein negativer Fall, den das Modell fälschlich markiert hat. Die Präzision liegt zwischen 0 und 1. Eine Präzision von 0.95 bedeutet also, dass eine von 20 Meldungen ein Fehlalarm ist. Positiver Vorhersagewert (PPV) ist ein in der Medizin verwendetes Synonym; die Rate falsch positiver Entdeckungen entspricht 1 minus Präzision. Präzision ist besonders wichtig, wenn Fehlalarme kostspielig sind, etwa bei einem Spamfilter, der echte E-Mails ausblendet, einem Inspektionssystem, das einwandfreie Teile aussortiert, oder einer Überwachungskamera, die wegen Schatten den Sicherheitsdienst alarmiert.

So wird Präzision berechnet#

Für die Präzision werden zwei Zellen der Konfusionsmatrix herangezogen: die richtig positiven und die falsch positiven Ergebnisse. Zusammen ergeben sie alle positiven Vorhersagen. Übersehene positive Fälle gehen nicht in die Formel ein. Deshalb kann ein Modell, das nur seinen einzigen sichersten Fall markiert, eine Präzision von 1.0 erreichen und dennoch fast alles übersehen. Präzision wird daher zusammen mit dem Recall angegeben, TP / (TP + FN), der genau diese übersehenen Fälle berücksichtigt. Der F1-Wert fasst beide Kennzahlen in einer Zahl zusammen. Wenn ein Modell überhaupt keine positiven Vorhersagen macht, ist die Präzision 0 / 0 und somit nicht definiert. Bibliotheken wie scikit-learn geben sie mit einer Warnung als 0 aus.

Bei mehr als zwei Klassen wird die Präzision für jede Klasse einzeln berechnet, wobei diese Klasse als positiv und alles andere als negativ gilt. Anschließend werden die Werte gemittelt. Bei der Makropräzision zählt jede Klasse gleich viel. Bei Mehrklassenaufgaben mit genau einer Kennzeichnung pro Beispiel entspricht die mikro-gemittelte Präzision der Genauigkeit.

Präzision hängt von der Häufigkeit ab#

Recall und Spezifität beschreiben getrennt, wie ein Modell mit positiven und negativen Fällen umgeht. Deshalb bleiben sie gleich, wenn positive Fälle seltener werden. Präzision berücksichtigt beide Gruppen und sinkt mit abnehmender Häufigkeit positiver Fälle, denn dieselbe Falsch-Positiv-Rate führt bei mehr negativen Fällen zu mehr Fehlalarmen pro echter Erkennung. Das folgende Skript mit scikit-learn bewertet dasselbe Screening-Modell bei zwei unterschiedlichen Häufigkeiten positiver Fälle:

import numpy as np
from sklearn.metrics import accuracy_score, precision_score, recall_score

# One screening model at two prevalences: it finds 90% of positives and flags 1% of negatives
for positives in (1000, 100):
    negatives = 10_000 - positives
    tp, fp = int(0.9 * positives), int(0.01 * negatives)
    counts = [tp, positives - tp, fp, negatives - fp]  # TP, FN, FP, TN

    # Rebuild labels and predictions for 10,000 cases from the confusion-matrix counts
    y_true = np.repeat([1, 1, 0, 0], counts)
    y_pred = np.repeat([1, 0, 1, 0], counts)
    accuracy = accuracy_score(y_true, y_pred)
    recall = recall_score(y_true, y_pred)
    precision = precision_score(y_true, y_pred)
    print(f"{positives} positives: accuracy {accuracy:.3f}, recall {recall:.2f}, precision {precision:.2f}")

Bei 1.000 positiven Fällen unter 10.000 Fällen erreicht das Modell eine Präzision von 0.91. Bei 100 positiven Fällen bleibt sein Recall bei 0.90 und seine Genauigkeit steigt sogar auf 0.989. Doch nun stehen 99 Fehlalarme neben 90 richtigen Erkennungen, und die Präzision sinkt auf 0.48. Eine auf einem ausgeglichenen Testsatz gemessene Präzision überschätzt daher die Präzision, die ein Modell bei der Bereitstellung tatsächlich erzielt, wenn positive Fälle seltener sind, etwa bei der Untersuchung auf eine seltene Krankheit.

Präzision bei der Objekterkennung#

Bei der Objekterkennung ist jede vorhergesagte Box oberhalb des Konfidenzschwellenwerts eine positive Vorhersage. Die Vorhersagen werden in absteigender Reihenfolge ihrer Konfidenz zugeordnet. Eine Box gilt nur dann als richtig positiv, wenn sie ein beschriftetes Objekt derselben Klasse mit einer Schnittmenge über Vereinigungsmenge (IoU) mindestens in Höhe des Schwellenwerts überlappt und dieses Objekt nicht bereits einer Box mit höherer Bewertung zugeordnet wurde. Boxen auf dem Hintergrund, Boxen mit falscher Klasse, ungenau platzierte Boxen und doppelte Boxen für ein bereits zugeordnetes Objekt zählen allesamt als falsch positive Ergebnisse.

Wird der Konfidenzschwellenwert erhöht, fallen schwach bewertete Boxen weg, die häufiger falsch sind. Deshalb steigt die Präzision meist, während der Recall sinkt. Werden Präzision und Recall über alle Schwellenwerte hinweg aufgezeichnet, ergibt sich die Präzisions-Recall-Kurve. Die Fläche unter dieser Kurve ist die durchschnittliche Genauigkeit (AP), die der mittlere durchschnittliche Genauigkeitswert (mAP) über Klassen und bei mAP_50-95 über zehn IoU-Schwellenwerte mittelt. Die Validierung mit YOLO26 speichert die Präzision jeder Klasse für jeden Konfidenzschwellenwert als BoxP_curve.png und gibt die Präzision (P) bei dem Konfidenzwert an, bei dem der mittlere F1-Wert seinen Höchststand erreicht, zusammen mit Recall und mAP.

Präzision verbessern#

• Konfidenzschwellenwert erhöhen: Die schnellste Lösung, allerdings auf Kosten eines niedrigeren Recalls.
• Schwierige Negativbeispiele hinzufügen: Ergänze die Trainingsdaten um ähnlich aussehende Objekte und leere Szenen, die Fehlalarme auslösen, damit das Modell lernt, was es nicht markieren soll. Die gezielte Auswahl der verwirrendsten Negativbeispiele heißt Hard-Negative-Mining.
• Fehlende Labels korrigieren: Wird ein Objekt korrekt erkannt, das die annotierende Person übersehen hat, zählt das als falsch positives Ergebnis. Unvollständige Ground-Truth-Labels lassen die Präzision daher schlechter erscheinen, als sie tatsächlich ist.
• Verwechselte Klassen trennen: Die Konfusionsmatrix zeigt, welche Klassen das Modell verwechselt. Weitere Beispiele oder klarere Klassendefinitionen für diese Paare beseitigen falsch positive Ergebnisse der falschen Klasse.

Präzision und verwandte Begriffe#

• Recall: Der Anteil der tatsächlichen positiven Fälle, die das Modell findet: TP / (TP + FN). Der Recall erfasst übersehene Fälle, die Präzision Fehlalarme.
• Spezifität: Der Anteil der tatsächlichen negativen Fälle, die korrekt verworfen werden: TN / (TN + FP). Eine Spezifität von 0,99 kann dennoch zu einer Präzision unter 0,5 führen, wenn positive Fälle selten sind, wie das Screening-Skript zeigt.
• Genauigkeit: Der Anteil aller Vorhersagen, die korrekt sind. Bei unausgewogenen Daten wird die Genauigkeit von der Mehrheitsklasse dominiert.
• Numerische Präzision: Die Anzahl der Bits, mit denen jeder Wert gespeichert wird, etwa bei 32-Bit- oder 16-Bit-Gleitkommazahlen. Das ist eine andere Bedeutung desselben Wortes.
• Messpräzision: Gibt an, wie gut wiederholte Messungen miteinander übereinstimmen. Die Genauigkeit beschreibt dagegen, wie nahe sie am tatsächlichen Wert liegen. Eine Waage, die stets 2 kg zu viel anzeigt, ist präzise, aber ungenau.