Area Under the Curve (AUC)

Die Fläche unter der Kurve (AUC) ist eine umfassende Leistungskennzahl im Bereich des maschinellen Lernens (ML), mit der die Trennschärfe eines Klassifikationsmodells bewertet wird. Konkret misst sie die zweidimensionale Fläche unter der Kurve der Receiver Operating Characteristic (ROC) und liefert damit einen einzelnen skalaren Wert zwischen 0 und 1. Eine AUC von 1,0 weist auf einen perfekten Klassifikator hin, während eine AUC von 0,5 bedeutet, dass das Modell nicht besser als der Zufall abschneidet. Da sie die Leistung über alle möglichen Klassifikationsschwellenwerte hinweg zusammenfasst, eignet sich die AUC besonders gut zur Bewertung der Fähigkeiten prädiktiver Modellierung in Szenarien, in denen die optimale Entscheidungsgrenze unbekannt oder variabel ist.

Die Beziehung zwischen ROC und AUC#

Um die AUC vollständig zu verstehen, muss man die zugrunde liegende ROC-Kurve verstehen. Dieses Diagramm stellt die Rate der richtig Positiven (Recall) der Rate der falsch Positiven bei verschiedenen Schwellenwerteinstellungen gegenüber. Die AUC quantifiziert im Wesentlichen die Wahrscheinlichkeit, dass das Modell eine zufällig ausgewählte positive Instanz höher einstuft als eine zufällig ausgewählte negative Instanz.

• Trennschärfe: Die AUC misst, wie gut das Modell zwischen Klassen unterscheidet (z. B. „Hund“ und „Katze“). Eine höhere Trennschärfe bedeutet bessere Vorhersagen.
• Unabhängigkeit vom Schwellenwert: Im Gegensatz zum F1-Score, der von einem bestimmten Grenzwert abhängt, bietet die AUC einen umfassenden Überblick über die Qualität des Modells.
• Skalenunabhängigkeit: Sie misst, wie gut Vorhersagen eingestuft werden, und nicht ihre absoluten Wahrscheinlichkeitswerte.

Anwendungen in der Praxis#

Die AUC ist eine bevorzugte Kennzahl in Branchen, in denen kritische Entscheidungen getroffen werden und unausgewogene Datensätze vorkommen, bei denen eine Klasse deutlich seltener ist als die andere.

1. Medizinische Diagnostik: Im Bereich der KI im Gesundheitswesen werden Modelle darauf trainiert, anhand der Analyse medizinischer Bilder krankhafte Veränderungen zu erkennen. Ein Modell zur Erkennung seltener Tumoren muss beispielsweise die Sensitivität priorisieren. Eine hohe AUC stellt sicher, dass das System tatsächlichen Patienten zuverlässig höhere Risikowerte zuweist als gesunden Personen, wodurch gefährliche falsch negative Ergebnisse reduziert werden.

2. Erkennung von Finanzbetrug: Finanzinstitute nutzen KI im Finanzwesen, um betrügerische Transaktionen zu erkennen. Da legitime Transaktionen betrügerische Transaktionen zahlenmäßig deutlich übertreffen, könnte ein Modell eine Genauigkeit von 99 % erreichen, indem es einfach alles als „legitim“ einstuft. Die AUC verhindert dies, indem sie bewertet, wie gut das Modell tatsächliche Betrugsversuche von normalem Verhalten unterscheidet, unabhängig von der Klassenverteilung.

AUC von verwandten Kennzahlen unterscheiden#

Es ist entscheidend, die AUC von anderen Erkenntnissen zur Modellbewertung zu unterscheiden, um das richtige Werkzeug für dein Projekt auszuwählen.

• AUC im Vergleich zur Genauigkeit: Genauigkeit ist einfach das Verhältnis der korrekten Vorhersagen zu allen Vorhersagen. Bei stark unausgewogenen Datensätzen kann die Genauigkeit irreführend hoch sein. Die AUC ist robust gegenüber einem Klassenungleichgewicht und ermöglicht dadurch eine realistischere Bewertung der Leistung des Klassifikators.
• AUC im Vergleich zu Precision-Recall: Während ROC-AUC der Standard bei ausgewogenen Ergebnissen ist, wird die Fläche unter der Precision-Recall-Kurve (AUPRC) häufig bevorzugt, wenn die „positive“ Klasse extrem selten ist und falsch positive Ergebnisse ein großes Problem darstellen.
• AUC im Vergleich zu mAP: Bei Aufgaben zur Objekterkennung mit Modellen wie YOLO26 ist die Standardkennzahl die mittlere durchschnittliche Präzision (mAP). Obwohl mAP konzeptionell ähnlich ist – dabei wird die Fläche unter der Precision-Recall-Kurve über verschiedene Schwellenwerte der Intersection over Union (IoU) hinweg berechnet –, bezieht sich AUC bei der binären oder Mehrklassenklassifikation ausschließlich auf die ROC-Kurve.

Codebeispiel#

Das folgende Beispiel zeigt, wie ein vortrainiertes YOLO26-Klassifikationsmodell geladen und eine Validierung ausgeführt wird. Während YOLO-Modelle hauptsächlich die Genauigkeit top-1 und top-5 ausgeben, erzeugt der Validierungsprozess die für die Analyse kurvenbasierter Kennzahlen erforderlichen Vorhersagedaten.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Für ein umfassendes Lebenszyklusmanagement, einschließlich der Annotation von Datensätzen und des Trainings in der Cloud, bei dem diese Kennzahlen automatisch visualisiert werden, können Entwickler die Ultralytics Platform nutzen. Dadurch wird die Interpretation komplexer Kennzahlen wie der AUC ohne manuelle Berechnung vereinfacht.