Confusion Matrix

Eine Konfusionsmatrix ist ein Leistungsmesswerkzeug für Klassifizierungsprobleme im maschinellen Lernen, bei denen die Ausgabe zwei oder mehr Klassen umfassen kann. Sie ist eine Tabelle mit vier verschiedenen Kombinationen vorhergesagter und tatsächlicher Werte und dient als grundlegendes Element für die Datenvisualisierung bei der Modellevaluierung. Im Gegensatz zu einfacher Genauigkeit, die irreführend sein kann, wenn der Datensatz unausgewogen ist, bietet eine Konfusionsmatrix eine detaillierte Aufschlüsselung darüber, wo ein Computer Vision (CV)-Modell Fehler macht. Durch den Vergleich der Vorhersagen mit den Ground Truth-Labels können Entwickler feststellen, ob das System zwei bestimmte Klassen verwechselt oder ein Objekt gar nicht erkennt.

Kernkomponenten der Matrix#

Die Matrix selbst ist bei binären Klassifizierungen typischerweise in vier Quadranten unterteilt, erweitert sich jedoch bei Multiklassenproblemen, wie sie von Ultralytics YOLO26 verarbeitet werden. Diese vier Komponenten repräsentieren die Schnittmenge dessen, was das Modell vorhergesagt hat, im Vergleich zu dem, was tatsächlich im Bild existiert.

• True Positives (TP): Das Modell sagt die positive Klasse korrekt voraus. Zum Beispiel zeichnet das Modell bei einer Objekterkennung-Aufgabe erfolgreich einen Bounding Box um eine Person, die sich tatsächlich im Bild befindet.
• True Negatives (TN): Das Modell sagt die negative Klasse korrekt voraus. Dies ist in Szenarien wie der Anomalieerkennung von entscheidender Bedeutung, bei denen das System korrekt erkennt, dass ein hergestelltes Teil keine Defekte aufweist.
• False Positives (FP): Das Modell sagt die positive Klasse inkorrekt voraus. Dies wird oft als „Typ-I-Fehler“ bezeichnet und tritt auf, wenn das System ein Objekt erkennt, das nicht da ist, etwa wenn eine Überwachungskamera einen Schatten als Eindringling markiert.
• False Negatives (FN): Das Modell sagt die negative Klasse inkorrekt voraus. Bekannt als „Typ-II-Fehler“, passiert dies, wenn das Modell ein vorhandenes Objekt nicht erkennt und das Ziel im Wesentlichen „verfehlt“.

Abgeleitete Metriken und Bedeutung#

Die Rohzahlen in einer Konfusionsmatrix werden verwendet, um fortgeschrittenere Metriken zu berechnen, die die Modellleistung beschreiben. Das Verständnis dieser abgeleiteten Werte ist für die Optimierung neuronaler Netze unerlässlich.

• Precision: Berechnet als TP / (TP + FP), zeigt diese Metrik, wie genau die positiven Vorhersagen sind. Hohe Präzision bedeutet weniger Fehlalarme.
• Recall (Sensitivity): Berechnet als TP / (TP + FN), misst dies die Fähigkeit des Modells, alle positiven Instanzen zu finden. Ein hoher Recall ist entscheidend, wenn das Übersehen eines Objekts schwerwiegende Folgen hat.
• F1 Score: Das harmonische Mittel aus Präzision und Recall. Es liefert einen einzigen Wert, der den Kompromiss zwischen beiden ausgleicht, was für den Vergleich verschiedener YOLO26-Modelle nützlich ist.

Praxisanwendungen#

Die spezifischen Kosten von Fehlern, die durch die Konfusionsmatrix definiert werden, bestimmen, wie Modelle für verschiedene Branchen abgestimmt werden.

Im Bereich der KI im Gesundheitswesen ist die Konfusionsmatrix eine Frage der Sicherheit. Beim Training eines Modells zur medizinischen Bildanalyse zur Erkennung von Tumoren ist ein False Negative (das Übersehen eines Tumors) weitaus schlimmer als ein False Positive (das Markieren eines gutartigen Flecks zur Überprüfung durch einen Arzt). Daher priorisieren Ingenieure in diesen Matrizen den Recall gegenüber der Präzision, um sicherzustellen, dass keine potenziellen gesundheitlichen Risiken übersehen werden.

Umgekehrt ist in der Qualitätskontrolle in der Fertigung Effizienz der Schlüssel. Wenn ein System zur Klassifizierung von Fließbandteilen zu viele False Positives generiert (gute Teile als defekt markiert), verursacht dies unnötigen Abfall und verlangsamt die Produktion. Hier hilft die Konfusionsmatrix den Ingenieuren, das Modell so abzustimmen, dass die Präzision maximiert wird, um sicherzustellen, dass das, was aussortiert wird, wirklich defekt ist, und automatisierte Machine Learning-Workflows zu optimieren.

Erstellen einer Confusion Matrix mit Ultralytics YOLO26#

Bei der Verwendung moderner Frameworks ist die Generierung dieser Matrix oft Teil der Standard-Validierungspipeline. Das folgende Beispiel veranschaulicht, wie man ein YOLO26-Modell validiert und mithilfe des Pakets ultralytics auf die Daten der Konfusionsmatrix zugreift.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Unterscheidung verwandter Konzepte#

Es ist wichtig, die Konfusionsmatrix von ähnlichen Bewertungsbegriffen zu unterscheiden.

• Vs. Accuracy: Die Genauigkeit ist einfach das Verhältnis korrekter Vorhersagen zu allen Vorhersagen. Obwohl sie nützlich ist, kann die Genauigkeit bei unausgewogenen Datensätzen stark täuschen. Wenn zum Beispiel 95 % der E-Mails kein Spam sind, hat ein Modell, das für jede E-Mail „kein Spam“ voraussagt, eine Genauigkeit von 95 %, ist aber nutzlos. Die Konfusionsmatrix offenbart diesen Mangel, indem sie null True Positives für die Spam-Klasse anzeigt.
• Vs. ROC Curve: Die Konfusionsmatrix liefert eine Momentaufnahme der Leistung bei einem einzigen spezifischen Konfidenzschwellenwert. Im Gegensatz dazu visualisiert die Receiver Operating Characteristic (ROC)-Kurve, wie sich die True Positive Rate und die False Positive Rate bei Änderung dieses Schwellenwerts verändern. Tools wie die Ultralytics Platform ermöglichen es Benutzern, beide Visualisierungen zu erkunden, um den optimalen Arbeitspunkt für ihre Bereitstellung auszuwählen.