Recall

Der Recall ist der Anteil der tatsächlichen positiven Fälle, die ein Modell korrekt erkennt. Er beantwortet die Frage: „Wie viel von dem, was hätte gefunden werden sollen, hat das Modell gefunden?“ Berechnet wird er, indem die richtig positiven Fälle durch alle tatsächlichen positiven Fälle geteilt werden: Recall = TP / (TP + FN). Ein falsch negativer Fall (FN) ist dabei ein positiver Fall, den das Modell übersehen hat. Der Recall reicht von 0 bis 1. Ein Recall von 0,90 bedeutet also, dass das Modell einen von zehn positiven Fällen übersieht. Sensitivität, richtig positive Rate (TPR) und Trefferquote sind Synonyme. Die Rate übersehener Fälle, auch falsch negative Rate genannt, entspricht 1 minus Recall. Der Recall ist besonders wichtig, wenn ein übersehener Fall schwerwiegende Folgen hat, etwa bei einem auf einer Vorsorgeuntersuchung nicht erkannten Tumor oder einem Eindringling, den eine Alarmanlage nicht meldet.

So wird der Recall berechnet#

Der Recall berücksichtigt zwei Zellen der Konfusionsmatrix: die richtig positiven und die falsch negativen Fälle, die zusammen alle tatsächlichen positiven Fälle ergeben. Falsch positive und richtig negative Fälle gehen nicht in die Formel ein. Ein Modell, das alles als positiv einstuft, erzielt daher einen perfekten Recall von 1,0, ist aber nutzlos. Der Recall wird deshalb zusammen mit der Präzision angegeben: TP / (TP + FP). Diese bestraft genau solche Fehlalarme. Ein Screening-Modell, das 90 von 100 Tumoren in einem Testsatz erkennt, hat beispielsweise einen Recall von 0,90 – unabhängig davon, wie viele gesunde Aufnahmen es ebenfalls als positiv einstuft. Die Präzision zeigt, wie viele dieser Treffer tatsächlich positiv waren.

Bei mehr als zwei Klassen wird der Recall für jede Klasse einzeln berechnet, indem diese Klasse als positiv und alles andere als negativ behandelt wird. Anschließend wird der Mittelwert gebildet. Der Makro-Recall gewichtet alle Klassen gleich stark und macht so eine schwache Leistung bei seltenen Klassen sichtbar. Bei Mehrklassenaufgaben mit genau einem Label pro Beispiel entspricht der gemittelte Mikro-Recall der Genauigkeit.

Der Zielkonflikt zwischen Präzision und Recall#

Die meisten Modelle geben einen Score aus, den ein Entscheidungsschwellenwert in Ja oder Nein umwandelt. Wird der Schwellenwert gesenkt, werden mehr Fälle markiert. Dadurch steigt der Recall, während die Präzision normalerweise sinkt. Das folgende scikit-learn-Skript bewertet 15 Werkstücke, davon 5 fehlerhaft, anhand von drei Schwellenwerten:

import numpy as np
from sklearn.metrics import precision_score, recall_score

# 5 defective parts (1) and 10 good parts (0), with the model's defect score for each
y_true = np.array([1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])
scores = np.array([0.95, 0.80, 0.55, 0.40, 0.20, 0.60, 0.35, 0.30, 0.15, 0.10, 0.10, 0.05, 0.05, 0.05, 0.02])

# Lowering the decision threshold flags more parts as defective
for threshold in (0.7, 0.5, 0.3):
    y_pred = scores >= threshold
    recall = recall_score(y_true, y_pred)
    precision = precision_score(y_true, y_pred)
    print(f"threshold {threshold}: recall {recall:.2f}, precision {precision:.2f}")

Bei einem Schwellenwert von 0.7 findet das Modell 2 der 5 Fehler, ohne Fehlalarme zu erzeugen. Der Recall beträgt 0.40 und die Präzision 1.00. Wird der Schwellenwert auf 0.3 gesenkt, findet das Modell 4 Fehler. Der Recall beträgt dann 0.80, doch 3 der 7 markierten Werkstücke sind einwandfrei, sodass die Präzision auf 0.57 sinkt. Werden alle Schwellenwerte dargestellt, ergibt sich eine Präzisions-Recall-Kurve. Der F1-Wert oder ein Recall-gewichteter F2-Wert wählt darauf einen einzelnen Betriebspunkt aus. Bei YOLO26 legt der Schwellenwert conf für die Vorhersage diesen Zielkonflikt fest; standardmäßig beträgt er 0.25. Wird der Wert beispielsweise auf conf=0.1 gesenkt, werden schwächer sichtbare, kleinere und teilweise verdeckte Objekte wiedererkannt, allerdings um den Preis zusätzlicher Fehldetektionen.

Recall bei der Objekterkennung#

Bei der Objekterkennung sind die beschrifteten Objekte in jedem Bild die positiven Fälle. Ein beschriftetes Objekt gilt nur dann als gefunden, wenn eine Vorhersage derselben Klasse es mit einem Schnittmengen-Verbund (IoU) überlappt, der mindestens einem festgelegten Schwellenwert entspricht, häufig 0.5. Jede Vorhersage kann nur einem Objekt zugeordnet werden. Eine einzelne Box, die zwei Personen in einer Menschenmenge abdeckt, findet daher nur eine von ihnen; die andere gilt als falsch negativer Fall.

Der Recall eines Detektors hängt daher vom Konfidenzschwellenwert, dem IoU-Schwellenwert und der Nachverarbeitung ab. Ein strengerer IoU-Schwellenwert wie 0.75 senkt den Recall bei ungenau platzierten Boxen. Die Nichtmaximumunterdrückung (NMS) kann korrekte Boxen bei stark überlappenden Objekten löschen. Außerdem begrenzt eine maximale Anzahl von Detektionen pro Bild den Recall in dicht bevölkerten Szenen. Die mittlere durchschnittliche Präzision (mAP) fasst die Präzision über alle Recall-Stufen hinweg zusammen. Jedes Objekt, das das Modell nie findet, senkt daher den Wert. Bei der COCO-Auswertung wird außerdem der durchschnittliche Recall (AR) angegeben: der maximale Recall, der bei einer festgelegten Anzahl von Detektionen pro Bild erreicht wird, gemittelt über IoU-Schwellenwerte von 0.50 bis 0.95, als AR@1, AR@10 und AR@100.

Recall verbessern#

• Konfidenzschwellenwert senken: Die schnellste Lösung, allerdings auf Kosten einer geringeren Präzision.
• Übersehene Fälle erfassen und beschriften: Füge Trainingsbeispiele für Bedingungen hinzu, unter denen das Modell versagt, etwa kleine, verdeckte oder bei Nacht aufgenommene Objekte. Durch die Überprüfung falsch negativer Fälle in den Validierungsdaten wird sichtbar, welche Fälle das sind.
• Eingabeauflösung erhöhen: Kleine Objekte, die bei geringer Auflösung nur wenige Pixel groß sind, werden bei höherer Auflösung erkennbar.
• Klassenungleichgewicht ausgleichen: Verlustfunktionen wie Focal Loss und das erneute Abtasten seltener Klassen verhindern, dass das Modell die Minderheitsklasse ignoriert.

Recall und verwandte Begriffe#

• Precision: Der Anteil der positiven Vorhersagen, die korrekt sind. Recall gibt an, wie viel vom Ziel das Modell gefunden hat, und Precision, wie viel von dem Gefundenen richtig war.
• Spezifität: Die Rate der richtig negativen Ergebnisse, TN / (TN + FP), also der Anteil der negativen Fälle, die korrekt verworfen werden. Bei medizinischen Tests wird das Wertepaar als Sensitivität und Spezifität angegeben.
• ROC-Kurve (Receiver Operating Characteristic): Trägt Recall als Rate der richtig positiven Ergebnisse gegen die Rate der falsch positiven Ergebnisse für verschiedene Schwellenwerte auf. Die Fläche unter der Kurve (AUC) fasst sie in einer einzigen Zahl zusammen.
• Accuracy: Der Anteil aller Vorhersagen, die korrekt sind. Bei 1 % positiven Fällen erzielt ein Modell, das immer negativ vorhersagt, 99 % Accuracy und 0 % Recall.