F1-Score

Der F1-Score ist eine wichtige Leistungskennzahl beim maschinellem Lernen (ML), die zur Bewertung der Genauigkeit von Klassifikationsmodellen. Im Gegensatz zur einfachen Genauigkeit, die den Prozentsatz der richtigen Vorhersagen berechnet, kombiniert der F1-Score zwei weitere wichtige Metriken - Präzision und Recall - zu einemeinzigen Wert. Er ist definiert als das harmonische Mittelwert von Precision und Recall. Dies macht den F1-Score besonders nützlich für die Bewertung von Modellen, die auf unausgewogenen Datensätzen trainiert wurden, bei denen die Anzahl der Stichproben in einer Klasse deutlich höher ist als in den anderen. In solchen Fällen kann ein Modell eine hohe Genauigkeit erreichen, indem es einfach die Mehrheitsklasse vorhersagt, während es die Minderheitsklasse, die oft von größerem Interesse ist, nicht erkennt. größerem Interesse ist.

Das Gleichgewicht zwischen Precision und Recall

Um den F1-Score zu verstehen, ist es notwendig, das Spannungsverhältnis zwischen seinen Komponenten zu begreifen. Die Präzision misst die Qualität der positiven Vorhersagen (Minimierung von Falsch-Positiven), während der Recall die Anzahl der echten Positiven (Minimierung falsch negativer Ergebnisse). Häufig führt die Erhöhung einer dieser Kennzahlen zu einer Verringerung der anderen, ein Phänomen, das als Präzision-Rückruf-Abwägung. Der F1-Score bietet eine ausgewogene Sichtweise, indem er Extremwerte bestraft. Er erreicht seinen besten Wert bei 1 (perfekte Präzision und Recall) und den schlechtesten bei 0. Dieses Gleichgewicht ist für die Entwicklung robuster prädiktiver Modellierungssysteme, bei denen sowohl verpasste Entdeckungen und Fehlalarme erhebliche Kosten verursachen.

Anwendungsfälle in der Praxis

Der F1-Score ist unverzichtbar in Szenarien, in denen die Fehlerkosten hoch sind oder die Datenverteilung schief ist.

• Medizinische Bildanalyse: Im Gesundheitswesen erfordert die Diagnose von Krankheiten wie Tumoren eine hohe Empfindlichkeit. Ein falsches Negativ (Übersehen eines Tumors) ist gefährlich, während ein falsches positives Ergebnis (Erkennen von gesundem Gewebe als Tumor) unnötigen Stress verursacht. Lösungen die KI im Gesundheitswesen einsetzen, stützen sich auf den F1-Score, um sicherzustellen, dass das Modell ein sicheres Gleichgewicht beibehält und so viele richtige Fälle wie möglich erkennt, ohne Ärzte mit falschen Alarmen zu überfordern. Ärzte mit Fehlalarmen zu überfordern.
• Erkennung von Anomalien im Finanzwesen: Finanzinstitute nutzen KI, um betrügerische Transaktionen detect . Da tatsächlicher Betrug im Vergleich zu legitimen Transaktionen selten ist Transaktionen selten ist, könnte ein Modell eine Genauigkeit von 99,9 % erreichen, indem es einfach alles als rechtmäßig einstuft. Dies wäre jedoch nutzlos für die Aufdeckung von Betrug. Durch Optimierung auf den F1-Score, KI im Finanzwesen Systeme im Finanzwesen verdächtige Aktivitäten effektiv erkennen und gleichzeitig die durch die Sperrung gültiger Karten verursachte Störung minimieren.

F1-Score in Ultralytics YOLO11

Bei Computer-Vision-Aufgaben (CV) wie der Objekterkennung, hilft der F1-Score zu bestimmen, wie gut ein Modell Grenzen definiert und Objekte bei bestimmten Vertrauensschwellen klassifiziert. Beim Training von Modellen wie Ultralytics YOLO11berechnet der Validierungsprozess die Präzision, Recall und F1-Scores, um die Ingenieure bei der Auswahl der besten Modellgewichte zu unterstützen.

Der folgende Python veranschaulicht, wie man ein vortrainiertes YOLO11 validiert und auf Leistungsdaten zugreift.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

Unterscheidung zwischen F1-Score und verwandten Metriken

Die Auswahl der richtigen Metrik hängt von den spezifischen Zielen des KI-Projekts ab.

• Genauigkeit: Sie misst die allgemeine Korrektheit der Vorhersagen. Sie wird am besten verwendet, wenn die Klassenverteilungen ungefähr gleich sind. Im Gegensatz dazu ist der F1-Score die bevorzugte Metrik für ungleiche Klassenverteilungen.
• Mittlere durchschnittliche PräzisionmAP): Während der F1-Score oft bei einer bestimmten Konfidenzschwelle berechnet wird, wertet mAP die durchschnittliche mAP ist der Standard für den Vergleich von Objekterkennungsmodellen, während F1 für die Optimierung eines für die Optimierung eines bestimmten Arbeitspunktes nützlich ist.
• Fläche unter der Kurve (AUC): Die AUC stellt die Fläche unter der Receiver Operating Characteristic (ROC)-Kurve. AUC misst die Fähigkeit eines Klassifikators, zwischen den Klassen über alle Schwellenwerte hinweg zu unterscheiden, während der F1-Score sich speziell auf die positive Klassenleistung bei einem einzigen Schwellenwert konzentriert.

Verbesserung des Modells F1-Score

Die Verbesserung des F1-Scores erfordert häufig iterative Verbesserungen des Modells und der Daten.

• Hyperparameter-Abstimmung: Die Anpassung von Einstellungen wie der Lernrate, Stapelgröße oder Verlustfunktionen kann dem Modell helfen zu einer Lösung zu konvergieren, die ein besseres Gleichgewicht zwischen Präzision und Wiedererkennung herstellt.
• Datenerweiterung: Techniken wie Spiegeln, Skalieren oder Hinzufügen von Rauschen zu Trainingsdaten setzen das Modell vielfältigeren Beispielen aus Beispielen aus, was seine Fähigkeit zur Generalisierung und zur korrekten Identifizierung schwieriger positiver Fälle verbessert.
• Lernen übertragen: Wenn man mit einem Modell beginnt, das zuvor auf einem großen, vielfältigen Datensatz trainiert wurde, kann das Netz die gelernten Merkmalsextraktoren nutzen. Extraktoren zu nutzen, was oft zu höheren F1-Ergebnissen bei speziellen Aufgaben mit begrenzten Daten führt.