Recall (Trefferquote)

Recall, auch bekannt als Sensitivität oder True-Positive-Rate, ist eine grundlegende Bewertungsmaßstab, der zur Messung der Fähigkeit eines Modells für maschinelles Lernen (ML), alle alle relevanten Instanzen innerhalb eines Datensatzes zu identifizieren. Im Wesentlichen beantwortet die Wiederfindungsrate die spezifische Frage: "Von allen der tatsächlich positiven Fälle, wie viele hat das Modell erfolgreich detect? Diese Metrik ist besonders auf Folgendes ausgerichtet Minimierung falsch negativer Ergebnisse, um sicherzustellen, dass kritische Ereignisse oder Objekte nicht übersehen werden. Während Genauigkeit einen allgemeinen Überblick über die Leistung bietet, wird der Rückruf zum Hauptindikator für den Erfolg in Szenarien, in denen das Verfehlen eines Ziels höhere Kosten verursacht als ein falscher Alarm.

Die Bedeutung des Rückrufs in der KI

Bei vielen Aufgaben der Computer Vision (CV) und Datenanalyse sind die Kosten von Fehlern nicht einheitlich. Wird ein positiver Fall nicht detect (Fehler vom Typ II), kann dies manchmal gefährlich oder teuer sein. Eine hohe Trefferquote stellt sicher, dass das System ein weites Netz auswirft, um so viele echte positive Fälle wie möglich zu erfassen. wie möglich. Dies wird häufig durch die Anpassung der Konfidenzschwelle während der Inferenz; eine Senkung der Schwellenwert erhöht in der Regel die Auffindbarkeit, kann aber zu mehr falsch positiven Ergebnissen führen.

Ingenieure analysieren oft die Präzisions-Rückruf-Kurve um die Kompromisse zu verstehen, die ihren Modellen innewohnen. Ein Modell mit 100 % Wiedererkennungswert hat jedes einzelne Zielobjekt gefunden, obwohl es möglicherweise auch einige Hintergrundgeräusche fälschlicherweise als Zielobjekte identifiziert hat.

Anwendungsfälle in der Praxis

Der Rückruf ist die treibende Kraft hinter vielen sicherheitskritischen KI-Lösungen. Hier sind zwei prominente Beispiele, bei denen die Rückrufquote Vorrang hat:

• Medizinische Diagnostik: Auf dem Gebiet der der medizinischen Bildanalyse, z. B. bei der Untersuchung auf Krankheiten mittels Röntgenstrahlen oder MRTs, ist ein hoher Rückruf nicht verhandelbar. Wenn ein KI-Modell für die Tumorerkennung Scans analysiert, ist es für das System weitaus besser, einen verdächtigen Schatten zu markieren, der sich als gutartig erweist (ein falsches positiv), als einen bösartigen Tumor gänzlich zu übersehen (ein falsches Negativ). Ärzte verlassen sich auf diese KI im Gesundheitswesen, um als Sicherheitsnetz zu fungieren, um sicherzustellen, dass keine potenziellen Gesundheitsrisiken übersehen werden.
• Sicherheit und Bewachung: Bei einer Sicherheitsalarmsystem besteht das primäre Ziel darin jeden Einbruchsversuch detect . Ein System, das für eine hohe Rückrufquote optimiert ist, stellt sicher, dass der Alarm ausgelöst wird, wenn eine Person eine Sperrzone betritt. Zone betritt, den Alarm auslöst. Dies kann zwar zu gelegentlichen Fehlalarmen führen, die durch Tiere oder Schatten verursacht werden, ist aber Dies ist jedoch besser, als wenn das System einen tatsächlichen Eindringling nicht detect . Die Objekterkennungsmodelle in diesen Szenarien sind abgestimmt, um eine maximale Empfindlichkeit gegenüber potenziellen Bedrohungen zu gewährleisten.

Recall vs. Präzision und Genauigkeit

Das Verständnis des Unterschieds zwischen Recall und verwandten Metriken ist entscheidend für die Interpretation der Erkenntnisse der Modellevaluation.

• Rückruf vs. Präzision: Während Recall die Anzahl der gefundenen True Positives misst, misst die Präzision die Qualität oder Zuverlässigkeit dieser positiven Vorhersagen. Bei der Präzision stellt sich die Frage: "Wie viele der als positiv gekennzeichneten Elemente waren tatsächlich positiv?" Oft gibt es einen Kompromiss; die Erhöhung der Wiederauffindbarkeit durch die Akzeptanz von Erkennungen mit geringerer Konfidenz senkt die Präzision. Der F1-Score ist eine Metrik, die beide kombiniert, um ein ausgewogenes Bild zu erhalten.
• Rückruf vs. Genauigkeit: Die Genauigkeit misst den Gesamtprozentsatz der richtigen Vorhersagen (sowohl positiv und negativ). Allerdings kann bei unausgewogenen Datensätzen - z.B. einer Fertigungsstraße, in der 99 % der Teile gut und nur 1 % fehlerhaft sind - könnte ein Modell einfach jedes Mal jedes Mal "gut" vorhersagen und eine Genauigkeit von 99 % erreichen, während die Rückrufquote für Fehler 0 % beträgt. Bei solchen Aufgaben zur Erkennung von Anomalien ist der Recall eine viel ehrliche Metrik als die Genauigkeit.

Messung des Rückrufs mit Ultralytics YOLO

Bei der Entwicklung von Modellen mit dem Ultralytics YOLO11 Architektur wird der Rückruf automatisch während des Validierungsprozesses automatisch berechnet. Das Framework berechnet die Rückrufquote für jede Klasse und die durchschnittliche Präzision (mAP) und hilft Entwickler, wie gut das Modell Objekte findet.

Mit Python können Sie ein trainiertes Modell leicht validieren und seine Recall-Metriken anzeigen:

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Validate the model on a standard dataset like COCO8
# The results will include Precision (P), Recall (R), and mAP
metrics = model.val(data="coco8.yaml")

# Access the mean recall score from the results
print(f"Mean Recall: {metrics.results_dict['metrics/recall(B)']}")

Dieses Codeschnipsel lädt eine YOLO11 Modell und führt die Validierung für den COCO8 durch. Die Ausgabe bietet eine umfassende Aufschlüsselung der Leistung, so dass Sie beurteilen können, ob Ihr Modell die notwendigen Anforderungen für Ihre spezifische Anwendung erfüllt. Wenn die Rückrufquote zu niedrig ist, können Sie Techniken in Betracht ziehen wie Datenerweiterung oder Hyperparameter-Tuning in Betracht ziehen, um die Empfindlichkeit zu verbessern.