F1-Score

Der F1-Score ist eine entscheidende Leistungsmetrik im maschinellen Lernen, die Präzision und Recall zu einem einzigen harmonischen Mittelwert kombiniert. Er ist besonders nützlich für die Evaluierung von Klassifizierungsmodellen, bei denen der Datensatz unausgewogen ist oder bei denen False Positives und False Negatives unterschiedliche Kosten verursachen. Im Gegensatz zur einfachen Genauigkeit, die irreführend sein kann, wenn eine Klasse den Datensatz dominiert, bietet der F1-Score eine ausgewogenere Sicht auf die Fähigkeit eines Modells, relevante Instanzen korrekt zu identifizieren und gleichzeitig Fehler zu minimieren. Durch die Bestrafung extremer Werte stellt er sicher, dass ein hoher Score nur erreicht wird, wenn sowohl Präzision als auch Recall ausreichend hoch sind, was ihn zu einer Standardmetrik in Bereichen von der medizinischen Diagnostik bis hin zum Information Retrieval macht.

Link to this sectionWarum der F1-Score im maschinellen Lernen wichtig ist#

In vielen realen Szenarien reicht es nicht aus, einfach den Prozentsatz der korrekten Vorhersagen (Genauigkeit) zu kennen. Zum Beispiel überwiegen in der Anomalieerkennung normale Fälle die Anomalien bei weitem. Ein Modell, das für jede einzelne Eingabe "normal" vorhersagt, erreicht möglicherweise 99 % Genauigkeit, wäre aber für das Erkennen tatsächlicher Probleme nutzlos. Der F1-Score begegnet diesem Problem durch den Ausgleich zweier konkurrierender Metriken:

• Präzision: Dies misst die Qualität der positiven Vorhersagen. Sie beantwortet die Frage: "Von allen Instanzen, die das Modell als positiv markiert hat, wie viele waren tatsächlich positiv?"
• Recall: Dies misst die Quantität der positiven Vorhersagen. Er beantwortet die Frage: "Von allen tatsächlichen positiven Instanzen, wie viele hat das Modell korrekt identifiziert?"

Da es oft einen Zielkonflikt gibt – eine Verbesserung der Präzision senkt meist den Recall und umgekehrt –, fungiert der F1-Score als einheitliche Metrik, um einen optimalen Gleichgewichtspunkt zu finden. Dies ist entscheidend bei der Feinabstimmung von Modellen mittels Hyperparameter-Optimierung, um eine robuste Leistung unter verschiedenen Bedingungen sicherzustellen.

Link to this sectionPraxisanwendungen#

Der Nutzen des F1-Scores erstreckt sich über verschiedene Branchen, in denen die Kosten eines Fehlers signifikant sind.

• Medical Diagnostics: In AI in healthcare, specifically for tasks like tumor detection, a false negative (missing a tumor) is life-threatening, while a false positive (flagging benign tissue) causes unnecessary anxiety. The F1-Score helps researchers optimize models like YOLO26 to ensure that the system is sensitive enough to catch diseases without overwhelming doctors with false alarms.
• Information Retrieval und Suche: Suchmaschinen und Dokumentenklassifizierungssysteme nutzen den F1-Score zur Bewertung der Relevanz. Nutzer möchten alle relevanten Dokumente sehen (hoher Recall), aber keine irrelevanten Ergebnisse durchsuchen (hohe Präzision). Ein hoher F1-Score zeigt an, dass die Engine die richtigen Informationen effektiv abruft, ohne Ballast.
• Spam Filtering: Email services use text classification to segregate spam. The system must catch spam emails (recall) but crucially must not label important work emails as junk (precision). The F1-Score serves as the primary benchmark for these filters.

Link to this sectionBerechnung des F1-Scores mit Ultralytics#

Moderne Computer-Vision-Frameworks vereinfachen die Berechnung dieser Metriken. Beim Training von Objekterkennungsmodellen wird der F1-Score automatisch während der Validierungsphase berechnet. Die Ultralytics Plattform visualisiert diese Metriken in Echtzeit-Charts, sodass Nutzer den Verlauf des F1-Scores bei verschiedenen Konfidenzschwellen einsehen können.

Hier erfährst du, wie du über die Python API auf Validierungsmetriken, einschließlich der Komponenten des F1-Scores, zugreifen kannst:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

Link to this sectionF1-Score vs. verwandte Metriken#

Zu verstehen, wie sich der F1-Score von anderen Bewertungskriterien unterscheidet, ist wichtig, um das richtige Tool für dein Projekt auszuwählen.

• Unterschied zur Genauigkeit (Accuracy): Die Genauigkeit behandelt alle Fehler gleich. Der F1-Score ist bei unausgewogenen Datensätzen überlegen, da er sich auf die Leistung der positiven Klasse (die relevante Minderheitenklasse) konzentriert.
• Verhältnis zum mAP: Mean Average Precision (mAP) ist der Standard für den Vergleich von Objekterkennungsmodellen über alle Konfidenzschwellen hinweg. Der F1-Score wird jedoch häufig verwendet, um die optimale Konfidenzschwelle für den Einsatz zu bestimmen. Du könntest die Schwelle wählen, bei der die F1-Kurve ihren Höchststand erreicht, um deine Anwendung bereitzustellen.
• Konfusionsmatrix: Die Konfusionsmatrix liefert die Rohzahlen (True Positives, False Positives usw.), aus denen der F1-Score abgeleitet wird. Während die Matrix granulare Details liefert, bietet der F1-Score eine zusammenfassende Statistik für einen schnellen Vergleich.
• ROC-AUC: Die Area Under the Curve (AUC) misst die Trennbarkeit über alle Schwellenwerte hinweg. Der F1-Score wird allgemein gegenüber ROC-AUC bevorzugt, wenn eine stark verzerrte Klassenverteilung vorliegt (z. B. bei der Betrugserkennung, wo Betrug selten ist).

Link to this sectionVerbesserung deines F1-Scores#

Wenn dein Modell unter einem niedrigen F1-Score leidet, können verschiedene Strategien helfen. Datenaugmentation kann die Vielfalt positiver Beispiele erhöhen und dem Modell helfen, besser zu generalisieren. Der Einsatz von Transfer Learning von robusten Basismodellen ermöglicht es dem Netzwerk, bereits erlernte Merkmale zu nutzen. Zudem kann die Anpassung der Konfidenzschwelle während der Inferenz das Gleichgewicht zwischen Präzision und Recall manuell verschieben, um den F1-Score für deinen spezifischen Anwendungsfall zu maximieren.