Confusion Matrix

Eine Verwechslungsmatrix ist ein Tool zur Leistungsmessung für Klassifizierungsprobleme im maschinellen Lernen, bei denen die Ausgabe aus zwei oder mehr Klassen bestehen kann. Es handelt sich um eine Tabelle mit vier verschiedenen Kombinationen aus vorhergesagten und tatsächlichen Werten, die als Grundelement für die Datenvisualisierung bei der Modellbewertung dient. Im Gegensatz zur einfachen Genauigkeit, die bei einem unausgewogenen Datensatz irreführend sein kann, bietet eine Verwechslungsmatrix eine detaillierte Aufschlüsselung, wo ein Computer-Vision-Modell (CV) Fehler macht. Durch den Vergleich der Vorhersagen mit den Ground-Truth-Labels können Entwickler feststellen, ob das System zwei bestimmte Klassen verwechselt oder detect Objekt überhaupt nicht detect .

Kernkomponenten der Matrix

Die Matrix selbst ist in der Regel für die binäre Klassifizierung in vier Quadranten unterteilt, erweitert sich jedoch für Mehrklassenprobleme, wie sie beispielsweise von Ultralytics behandelt werden. Diese vier Komponenten stellen die Schnittmenge zwischen der Vorhersage des Modells und dem tatsächlichen Bildinhalt dar.

• Echte Positive (TP): Das Modell sagt die positive Klasse richtig voraus. Bei einer Objekterkennungsaufgabe zeichnet das Modell zum Beispiel erfolgreich ein Begrenzungsrahmen um eine Person, die sich tatsächlich im Bild befindet.
• Echte Negative (TN): Das Modell sagt die negative Klasse korrekt voraus. Dies ist entscheidend in Szenarien wie der Anomalieerkennung, bei der das System korrekt feststellt, dass ein gefertigtes Teil keine Mängel aufweist.
• False Positives (FP): Das Modell sagt die positive Klasse falsch voraus. Dies wird oft als „Fehler vom Typ I“ bezeichnet und tritt auf, wenn das System ein Objekt erkennt, das nicht vorhanden ist, z. B. wenn eine Überwachungskamera einen Schatten als Eindringling meldet.
• False Negatives (FN): Das Modell sagt die negative Klasse falsch voraus. Dies wird als „Fehler vom Typ II“ bezeichnet und tritt auf, wenn das Modell detect vorhandenes Objekt nicht detect und somit das Ziel im Wesentlichen „übersieht“.

Abgeleitete Kennzahlen und Bedeutung

Die Rohdaten in einer Verwechslungsmatrix werden verwendet, um komplexere Metriken zu berechnen, die die Modellleistung beschreiben. Das Verständnis dieser Derivate ist für die Optimierung neuronaler Netze unerlässlich.

• Präzision: Diese Kennzahl wird als TP / (TP + FP) berechnet und gibt Aufschluss darüber, wie genau die positiven Vorhersagen sind. Eine hohe Präzision bedeutet weniger Fehlalarme.
• Recall (Sensitivität): Berechnet als TP / (TP + FN), misst dies die Fähigkeit des Modells, alle positiven Instanzen zu finden. Ein hoher Recall ist entscheidend, wenn das Fehlen eines Objekts schwerwiegende Folgen hat.
• F1-Score: Der harmonische Mittelwert aus Präzision und Recall. Er liefert einen einzigen Wert, der den Kompromiss zwischen beiden Faktoren ausgleicht und für den Vergleich verschiedener YOLO26-Modelle nützlich ist.

Anwendungsfälle in der Praxis

Die spezifischen Fehlerkosten, die durch die Verwechslungsmatrix definiert werden, bestimmen, wie Modelle für verschiedene Branchen abgestimmt werden.

Im Bereich KI im Gesundheitswesenist die Verwechslungsmatrix eine Frage der Sicherheit. Beim Training eines Modells für die medizinische Bildanalyse zur detect ist ein falsch negatives Ergebnis (Übersehen eines Tumors) weitaus schlimmer als ein falsch positives Ergebnis (Markieren einer gutartigen Stelle zur Überprüfung durch einen Arzt). Daher geben Ingenieure in diesen Matrizen der Wiederauffindbarkeit Vorrang vor der Genauigkeit, um sicherzustellen, dass keine potenziellen Gesundheitsrisiken übersehen werden.

Umgekehrt gilt in der Qualitätskontrolle in der Fertigungist Effizienz entscheidend. Wenn ein System zur Klassifizierung von Teilen am Fließband zu viele Fehlalarme generiert (d. h. gute Teile als fehlerhaft kennzeichnet ), verursacht dies unnötigen Ausschuss und verlangsamt die Produktion. Hier hilft die Verwechslungsmatrix den Ingenieuren dabei, das Modell so anzupassen, dass die Präzision maximiert wird, sodass nur tatsächlich fehlerhafte Teile aussortiert werden und automatisierteWorkflows für maschinelles Lernen optimiert werden.

Erstellen einer Verwechslungsmatrix mit YOLO26

Bei der Verwendung moderner Frameworks ist die Erstellung dieser Matrix oft Teil der Standard-Validierungspipeline. Das folgende Beispiel zeigt, wie man eine YOLO26-Modell und greifen Sie auf die Daten der Verwechslungsmatrix zu, indem Sie die ultralytics Paket.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Differenzierung verwandter Konzepte

Es ist wichtig, die Verwechslungsmatrix von ähnlichen Bewertungsbegriffen zu unterscheiden.

• Vs. Genauigkeit: Genauigkeit ist einfach das Verhältnis der korrekten Vorhersagen zur Gesamtzahl der Vorhersagen. Genauigkeit ist zwar nützlich, kann aber bei unausgewogenen Datensätzen sehr irreführend sein. Wenn beispielsweise 95 % der E-Mails kein Spam sind, hat ein Modell, das für jede E-Mail „kein Spam” vorhersagt, eine Genauigkeit von 95 %, ist aber nutzlos. Die Verwechslungsmatrix deckt diesen Fehler auf, indem sie null True Positives für die Spam-Klasse anzeigt.
• Vs. ROC-Kurve: Die Verwechslungsmatrix liefert eine Momentaufnahme der Leistung bei einem bestimmten Konfidenzschwellenwert. Im Gegensatz dazu visualisiert die Receiver Operating Characteristic (ROC)-Kurve, wie sich die True Positive Rate und die False Positive Rate ändern, wenn dieser Schwellenwert variiert wird. Tools wie die Ultralytics ermöglichen es Benutzern , beide Visualisierungen zu untersuchen, um den optimalen Betriebspunkt für ihre Bereitstellung auszuwählen.