Confusion Matrix

Eine Konfusionsmatrix ist ein Werkzeug zur Leistungsmessung für Klassifizierungsprobleme des maschinellen Lernens, bei denen die Ausgabe aus zwei oder mehr Klassen bestehen kann. Sie ist eine Tabelle mit vier verschiedenen Kombinationen aus vorhergesagten und tatsächlichen Werten und dient als grundlegendes Element der Datenvisualisierung bei der Modellbewertung. Im Gegensatz zur einfachen Genauigkeit, die bei einem unausgeglichenen Datensatz irreführend sein kann, bietet eine Konfusionsmatrix eine detaillierte Aufschlüsselung, an welchen Stellen ein Modell für maschinelles Sehen (CV) Fehler macht. Durch den Vergleich der Vorhersagen mit den Referenz-Labels können Entwickler feststellen, ob das System zwei bestimmte Klassen verwechselt oder ein Objekt überhaupt nicht erkennt.

Kernkomponenten der Matrix#

Die Matrix selbst wird bei der binären Klassifizierung typischerweise in vier Quadranten unterteilt, erweitert sich jedoch bei Problemen mit mehreren Klassen wie denen, die von Ultralytics YOLO26 verarbeitet werden. Diese vier Komponenten stellen den Schnittpunkt zwischen der Vorhersage des Modells und dem tatsächlich im Bild Vorhandenen dar.

• Richtig-positive (TP): Das Modell sagt die positive Klasse korrekt voraus. Bei einer Objekterkennung zeichnet das Modell beispielsweise erfolgreich eine Begrenzungsbox um eine Person, die tatsächlich im Bildausschnitt vorhanden ist.
• Richtig-negative (TN): Das Modell sagt die negative Klasse korrekt voraus. Dies ist in Szenarien wie der Anomalieerkennung entscheidend, in denen das System korrekt erkennt, dass ein gefertigtes Bauteil keine Mängel aufweist.
• Falsch-positive (FP): Das Modell sagt die positive Klasse fälschlicherweise voraus. Dieser als „Fehler 1. Art“ bezeichnete Fall tritt auf, wenn das System ein nicht vorhandenes Objekt erkennt, etwa wenn eine Überwachungskamera einen Schatten als Eindringling meldet.
• Falsch-negative (FN): Das Modell sagt die negative Klasse fälschlicherweise voraus. Dieser als „Fehler 2. Art“ bezeichnete Fall tritt auf, wenn das Modell ein vorhandenes Objekt nicht erkennt und das Ziel somit „übersieht“.

Abgeleitete Metriken und ihre Bedeutung#

Die Rohwerte in einer Konfusionsmatrix werden zur Berechnung fortgeschrittener Metriken verwendet, die die Modellleistung beschreiben. Das Verständnis dieser abgeleiteten Metriken ist für die Optimierung neuronaler Netze unerlässlich.

• Precision: Diese Metrik wird als TP / (TP + FP) berechnet und zeigt, wie genau die positiven Vorhersagen sind. Eine hohe Precision bedeutet weniger Fehlalarme.
• Recall (Sensitivität): Diese Metrik wird als TP / (TP + FN) berechnet und misst die Fähigkeit des Modells, alle positiven Instanzen zu finden. Ein hoher Recall ist entscheidend, wenn das Übersehen eines Objekts schwerwiegende Folgen hat.
• F1-Score: Das harmonische Mittel aus Precision und Recall. Er liefert einen einzelnen Wert, der den Zielkonflikt zwischen beiden ausgleicht und sich zum Vergleich verschiedener YOLO26-Modelle eignet.

Anwendungen in der Praxis#

Die durch die Konfusionsmatrix bestimmten konkreten Fehlerkosten legen fest, wie Modelle für verschiedene Branchen abgestimmt werden.

Im Bereich der KI im Gesundheitswesen ist die Konfusionsmatrix eine Frage der Sicherheit. Beim Training eines Modells zur Analyse medizinischer Bilder für die Erkennung von Tumoren ist ein falsch-negatives Ergebnis (das Übersehen eines Tumors) deutlich problematischer als ein falsch-positives Ergebnis (die Meldung einer gutartigen Stelle zur ärztlichen Prüfung). Daher priorisieren Ingenieure in diesen Matrizen den Recall gegenüber der Precision, um sicherzustellen, dass keine potenziellen Gesundheitsrisiken übersehen werden.

Im Gegensatz dazu steht bei der Qualitätskontrolle in der Fertigung die Effizienz im Mittelpunkt. Wenn ein System zur Klassifizierung von Bauteilen in einer Montagelinie zu viele falsch-positive Ergebnisse erzeugt und dadurch gute Teile als fehlerhaft meldet, verursacht dies unnötigen Ausschuss und verlangsamt die Produktion. Hier hilft die Konfusionsmatrix Ingenieuren dabei, das Modell so abzustimmen, dass die Precision maximiert wird und sichergestellt ist, dass ausgesonderte Teile tatsächlich fehlerhaft sind, wodurch Arbeitsabläufe des automatisierten maschinellen Lernens effizienter werden.

Eine Konfusionsmatrix mit Ultralytics YOLO26 erzeugen#

Bei der Verwendung moderner Frameworks gehört die Erstellung dieser Matrix häufig zur standardmäßigen Validierungspipeline. Das folgende Beispiel zeigt, wie du ein YOLO26-Modell validierst und über das Paket ultralytics auf die Daten der Konfusionsmatrix zugreifst.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Abgrenzung verwandter Konzepte#

Es ist wichtig, die Konfusionsmatrix von ähnlichen Begriffen aus der Modellbewertung zu unterscheiden.

• Im Vergleich zur Accuracy: Die Accuracy ist einfach das Verhältnis der korrekten Vorhersagen zur Gesamtzahl der Vorhersagen. Obwohl sie nützlich ist, kann die Accuracy bei unausgeglichenen Datensätzen stark irreführend sein. Wenn beispielsweise 95 % der E-Mails kein Spam sind, erreicht ein Modell, das jede E-Mail als „kein Spam“ klassifiziert, eine Accuracy von 95 %, ist aber nutzlos. Die Konfusionsmatrix macht diesen Fehler sichtbar, indem sie für die Spam-Klasse null richtig-positive Ergebnisse ausweist.
• Im Vergleich zur ROC-Kurve: Die Konfusionsmatrix liefert eine Momentaufnahme der Leistung bei einem einzigen spezifischen Konfidenzschwellenwert. Im Gegensatz dazu veranschaulicht die Kurve der Betriebskennlinie des Empfängers (ROC), wie sich die Rate der richtig-positiven und die Rate der falsch-positiven Ergebnisse ändern, wenn dieser Schwellenwert variiert wird. Mit Werkzeugen wie der Ultralytics Platform können Nutzer beide Visualisierungen untersuchen, um den optimalen Betriebspunkt für ihre Bereitstellung auszuwählen.