Fläche unter der Kurve (AUC)

Der Bereich unter der Kurve (AUC) ist eine grundlegende Metrik zur Quantifizierung der Leistung von Klassifizierungsmodellen, insbesondere auf dem Gebiet des maschinellen Lernens (ML). Sie misst die Fähigkeit eines Modells, zwischen Klassen zu unterscheiden, z. B. positive Instanzen von negativen zu trennen. Im Gegensatz zu Metriken die sich auf eine einzige Entscheidungsschwelle stützen, bietet AUC einen umfassenden Überblick über die Leistung bei allen möglichen Schwellenwerte. Dies macht ihn zu einem unverzichtbaren Instrument für die Bewertung von Algorithmen des überwachten Lernens, um sicherzustellen, dass dass die Vorhersagefähigkeiten des Modells robust sind und nicht durch einen bestimmten Schwellenwert beeinflusst werden. Ein höherer AUC-Wert deutet im Allgemeinen weist im Allgemeinen auf ein leistungsfähigeres Modell hin, wobei ein Wert von 1,0 eine perfekte Klassifizierung bedeutet.

Die Beziehung zwischen AUC und ROC

Der Begriff AUC bezieht sich speziell auf die Fläche unter der Receiver Operating Characteristic (ROC)-Kurve. Die ROC-Kurve ist eine grafische Darstellung, die die Diagnosefähigkeit eines binären Klassifizierungssystems veranschaulicht. Sie stellt dar die Rate der wahren Positiven (TPR), auch als Recall bezeichnet, gegen die Falsch-Positiv-Rate (FPR) bei verschiedenen Schwellenwerten.

• Wahr-Positiv-Rate: Der Anteil der tatsächlich positiven Fälle, die das Modell tatsächlich identifiziert.
• Falsch-Positiv-Rate: Der Anteil der tatsächlich negativen Fälle, die fälschlicherweise als positiv identifiziert werden. positiv.

Durch die Berechnung der AUC verdichten die Datenwissenschaftler die in der ROC-Kurve enthaltenen Informationen zu einer einzigen Zahl. Diese vereinfacht die Modellbewertung und ermöglicht leichteren Vergleich zwischen verschiedenen Architekturen, z. B. zwischen einem ResNet-50 Backbone gegen eine leichtere Alternative.

Interpretation des Ergebnisses

Der AUC-Wert reicht von 0 bis 1 und bietet eine probabilistische Interpretation der Qualität des Modells.

• AUC = 1,0: Ein perfekter Klassifikator. Er kann in 100 % der Fälle korrekt zwischen positiven und negativen Klassen der Zeit unterscheiden.
• 0.5 < AUC < 1.0: The model has a better-than-random chance of classifying instances correctly. This is the target range for most predictive modeling tasks.
• AUC = 0,5: Das Modell hat kein Unterscheidungsvermögen, was einem zufälligen Raten entspricht (wie das Werfen einer Münze).
• AUC < 0.5: This suggests the model is performing worse than random chance, often indicating that the predictions are inverted or there is a significant issue with the training data.

Für ein tieferes Eintauchen in die Klassifizierungsmechanismen bieten sich Ressourcen wie der Google Crash-Kurs Maschinelles Lernen hervorragende visuelle Erklärungen bieten.

Anwendungsfälle in der Praxis

AUC ist besonders wertvoll in Szenarien, in denen die Folgen von falsch-positiven und falsch-negativen Ergebnissen erheblich unterscheiden.

1. Medizinische Diagnostik: Unter KI im Gesundheitswesen werden oft Modelle trainiert, um Anomalien wie Tumore in Röntgenbildern oder MRI-Scans detect . Ein hoher AUC-Wert stellt sicher, dass das Modell bösartige bösartige Fälle höher einstuft als gutartige. Diese Zuverlässigkeit ist entscheidend für klinische Entscheidungshilfesysteme, die von Radiologen. Wenn man zum Beispiel sieht, wie YOLO11 bei der Tumorerkennung hilft zeigt, wie wichtig robuste Bewertungsmetriken für lebenswichtige Anwendungen sind.
2. Aufdeckung von Finanzbetrug: Finanzinstitute verwenden Computer Vision (CV) und Mustererkennung um betrügerische Transaktionen zu erkennen. Da die Zahl der rechtmäßigen Transaktionen die der betrügerischen bei weitem übersteigt, sind die Daten sehr unausgewogen. AUC wird hier bevorzugt, weil es die Rangfolge der Betrugswahrscheinlichkeiten bewertet, ohne durch die große Anzahl legitimer Negative verzerrt zu werden. durch die große Anzahl legitimer Negative verzerrt wird, im Gegensatz zur Genauigkeit. Dies hilft bei der Entwicklung von Systemen, die die Reibungsverluste für den Kunden minimieren und gleichzeitig die Sicherheit, eine Kernkomponente von KI im Finanzwesen.

AUC vs. andere Metriken

Der Schlüssel zum erfolgreichen Einsatz eines Modells liegt darin, zu verstehen, wann AUC und wann andere Metriken verwendet werden sollten. Einsatz des Modells.

• AUC vs. Genauigkeit: Die Genauigkeit misst den Prozentsatz der richtigen Vorhersagen. Bei unausgewogenen Datensätzen (z. B. 99 % negative Klasse) kann ein Modell jedoch eine 99 % Genauigkeit erreichen, indem es für alles "negativ" vorhersagt, obwohl es keine Vorhersagekraft hat. AUC ist unabhängig von der Unausgewogenheit der Klassen, was ihn zu einer ehrlicheren Metrik für diese Probleme macht.
• AUC vs. Präzision-Rückruf: Während ROC AUC sowohl TPR als auch FPR berücksichtigt, Precision und Recall speziell auf die positive Klasse. In Fällen Fällen, in denen falsch-positive Ergebnisse akzeptabel sind, falsch-negative jedoch nicht (z. B. bei der Erstuntersuchung auf Krankheiten), ist die Analyse des Abwägung zwischen Präzision und Recall informativer sein als die ROC AUC.
• AUC vs. mAP: Für Objekterkennungsaufgaben, die von Modellen wie YOLO11durchgeführt werden, ist die Standardmetrik Mittlere durchschnittliche Präzision (mAP). mAP berechnet im Wesentlichen die Fläche unter der Precision-Recall-Kurve für Bounding Boxes bei bestimmten Intersection over UnionIoU) Schwellenwerte, während AUC normalerweise für die Klassifizierungssicherheit der Objekte verwendet wird.

Berechnen von Klassenwahrscheinlichkeiten

Zur Berechnung des AUC benötigen Sie die Wahrscheinlichkeitswerte der positiven Klasse und nicht nur die endgültigen Klassenbezeichnungen. Das folgende Beispiel zeigt, wie man diese Wahrscheinlichkeiten mithilfe eines Bildklassifizierung Modell aus dem ultralytics Bibliothek.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Access the probability scores for all classes
# These scores are the inputs needed to calculate AUC against ground truth
probs = results[0].probs.data
print(f"Class Probabilities: {probs}")

Sobald Sie die Wahrscheinlichkeiten für einen Datensatz haben, können Sie Standardbibliotheken wie Scikit-learn verwenden, um um den endgültigen AUC-Wert zu berechnen.