Genauigkeit vs. Präzision vs. Recall beim maschinellen Lernen

Machine Learning (ML) ist ein Zweig der künstlichen Intelligenz (KI), der sich auf die Erstellung von Systemen konzentriert, die aus Daten lernen. Es spielt eine zentrale Rolle in vielen anderen Bereichen der KI, einschließlich der computer vision, bei der Maschinen Bilder interpretieren, und der natürlichen Sprachverarbeitung, bei der sie menschliche Sprache verstehen und generieren.

Oft nutzen solche KI-Modelle Deep-Learning-Verfahren, um Vorhersagen aus Daten zu treffen. Obwohl solche Systeme äußerst effektiv sein können, liefern sie nicht immer korrekte Vorhersagen. Manche Ergebnisse sind möglicherweise genau, während andere das Ziel verfehlen.

Zu wissen, wie diese Fehler auftreten, ist ein wesentlicher Teil der Beurteilung, wie gut ein Modell funktioniert. Um die Leistung zu messen, können wir model evaluation metrics verwenden.

Zu den gängigen Bewertungsmetriken gehören Genauigkeit (allgemeine Korrektheit), Präzision (Zuverlässigkeit positiver Vorhersagen) und Recall (wie gut das Modell tatsächliche positive Fälle identifiziert). Sie mögen auf den ersten Blick ähnlich erscheinen, aber jede konzentriert sich auf einen anderen Aspekt des Modellverhaltens.

In diesem Artikel betrachten wir jede dieser KI-Modell-Leistungsmetriken genauer. Wir untersuchen außerdem, wie sie zusammenhängen und wie du die richtige für deinen Anwendungsfall auswählst. Fangen wir an!

Modellbewertungsmetriken sind im Machine Learning wichtig#

Ein machine learning-Modell scheint anfangs vielleicht gut zu funktionieren. Aber ohne die richtigen Bewertungsmetriken ist es schwierig zu verstehen, wie genau seine Ergebnisse sind. Diese Metriken geben der Modellbewertung Struktur und helfen bei der Beantwortung einer zentralen Frage: Sind die Vorhersagen des Modells für eine bestimmte Aufgabe nützlich und zuverlässig?

Metriken wie Genauigkeit, Präzision und Recall bieten KI-Entwicklern eine klare Möglichkeit, die Funktionsweise eines Modells zu messen. Beim Vergleich verschiedener Modelle ermöglichen diese Metriken beispielsweise zu sehen, welches für eine spezifische Aufgabe am besten geeignet ist. Sie helfen dabei, die Performance zu bewerten und das Modell auszuwählen, das am besten zu den Zielen eines KI-Projekts passt.

Abb. 1. Arbeitsablauf für Modelltraining und -bewertung (Quelle)

Diese Metriken machen Leistungsvergleiche zudem objektiver. Statt auf Vermutungen oder unvollständige Beobachtungen zu setzen, liefern sie messbare Erkenntnisse darüber, wie sich ein Modell in verschiedenen Situationen verhält. Dadurch verdeutlichen sie, welche Aspekte der Performance in jedem Kontext am wichtigsten sind.

Beispielsweise hängt die Wahl der Metrik oft von der Anwendung ab. In AI healthcare applications ist der Recall wichtig, weil das Ziel darin besteht, so viele positive Fälle wie möglich zu identifizieren, selbst wenn einige negative fälschlicherweise markiert werden. Im Gegensatz dazu priorisiert ein E-Mail-Spamfilter möglicherweise die Präzision, um zu vermeiden, dass legitime E-Mails fälschlicherweise als Spam markiert werden.

Die Konfusionsmatrix: Das Fundament der Klassifizierungsmetriken#

Die confusion matrix ist eine Zwei-mal-Zwei-Tabelle, die grundlegend für die Bewertung von KI-Modellen ist. Sie ordnet Vorhersagen in vier Kategorien ein, indem sie die tatsächlichen Ergebnisse mit den vorhergesagten Ergebnissen (den Antworten des Modells) vergleicht.

Dieser Vergleich bietet einen detaillierten Einblick in die Performance des Modells. Er bildet die Basis für wichtige Bewertungsmetriken wie Präzision und Recall, die direkt aus den Werten in der Matrix berechnet werden.

Die Zeilen der Tabelle repräsentieren die tatsächlichen Klassen, die Spalten die vorhergesagten Klassen. Jede Zelle zeigt die Anzahl der Ergebnisse in dieser Kategorie. Vereinfacht gesagt zeigt sie, wie viele Vorhersagen korrekt waren und welche Arten von Fehlern das Modell gemacht hat.

Die Konfusionsmatrix ist besonders nützlich, wenn die Daten unausgewogen sind, was bedeutet, dass einige Kategorien viel mehr Beispiele haben als andere. Sie ist auch hilfreich, wenn unterschiedliche Arten von Fehlern unterschiedliche Kosten verursachen.

In der Betrugserkennung ist es beispielsweise kritisch, betrügerische Aktivitäten zu erfassen, aber das fälschliche Markieren echter Transaktionen kann ebenfalls Probleme verursachen. Die Matrix verdeutlicht, wie oft jede Art von Fehler auftritt.

Elemente der Konfusionsmatrix#

Hier ist ein Überblick über die verschiedenen Elemente in einer Konfusionsmatrix:

• Richtig positiv (TP): Wenn das Modell eine positive Instanz korrekt vorhersagt, wird sie als richtig positiv erfasst. Zum Beispiel klassifiziert ein computer vision model ein Fahrzeug in einem Bild korrekt.
• True Negative (TN): Ein True Negative tritt auf, wenn das Modell einen negativen Fall korrekt identifiziert. Zum Beispiel markiert ein E-Mail-Klassifizierer eine reguläre Nachricht als „kein Spam“.
• False Positive (FP): Das Modell erzeugt ein False Positive, wenn es fälschlicherweise ein positives Ergebnis für einen Fall vorhersagt, der eigentlich negativ ist. Dies wird auch als Fehler erster Art bezeichnet und kann auftreten, wenn ein Betrugserkennungssystem eine gültige Transaktion als betrügerisch markiert.
• False Negative (FN): Ein False Negative wird erfasst, wenn das Modell einen positiven Fall nicht erkennt und fälschlicherweise als negativ vorhersagt. Dies wird auch als Fehler zweiter Art bezeichnet und kann vorkommen, wenn ein Diagnose-Tool eine Krankheit bei einem tatsächlich kranken Patienten übersieht.

Abb. 2. Die Elemente einer Konfusionsmatrix (Quelle)

Visuelle Darstellung und Interpretation der Konfusionsmatrix#

Eine Konfusionsmatrix wird in einem Rasterformat dargestellt. Die vertikale Achse zeigt die tatsächlichen Klassen, die horizontale Achse die vorhergesagten Klassen. Korrekte Vorhersagen erscheinen entlang der Diagonale und repräsentieren True Positives und True Negatives.

Fehler fallen außerhalb der Diagonale und umfassen False Positives und False Negatives. Diese Struktur macht es leicht, Stärken und Schwächen zu erkennen.

Was ist Genauigkeit im Machine Learning?#

Accuracy ist eine der am häufigsten verwendeten Metriken zur Bewertung der Leistung eines Machine-Learning-Modells. Sie misst, wie oft die Vorhersagen über alle Klassen hinweg korrekt sind. Mit anderen Worten: Sie beantwortet eine einfache Frage: Wie viele der vom KI-Modell getroffenen Vorhersagen waren richtig?

Die Formel für die Genauigkeit ist die Anzahl der korrekten Vorhersagen (einschließlich True Positives und True Negatives) dividiert durch die Gesamtzahl der Vorhersagen. Die Genauigkeit ist einfach zu berechnen und leicht zu verstehen, was sie zu einem gängigen Ausgangspunkt bei der Modellbewertung macht.

Im Allgemeinen ist die Genauigkeit bei ausgeglichenen Datensätzen zuverlässig. Sie kann jedoch bei unausgewogenen Datensätzen oft irreführend sein, wenn eine Klasse die anderen dominiert. Ein Modell, das immer die Mehrheitsklasse vorhersagt, erzielt möglicherweise trotzdem einen hohen Genauigkeitswert, während es die Minderheitenklassen nicht erkennt.

In einem Bilddatensatz, in dem nur wenige Bilder Fußgänger enthalten, könnte ein Modell, das für jedes Bild „kein Fußgänger“ vorhersagt, immer noch eine hohe Genauigkeit erzielen, aber die tatsächlichen Fußgänger komplett übersehen.

Das liegt daran, dass die Genauigkeit allein nicht zeigt, welche Art von Fehlern ein Modell macht oder wie oft diese auftreten. Deshalb ist es wichtig, auch Metriken wie Präzision und Recall zu betrachten, um vollständig zu verstehen, wie gut ein KI-Modell funktioniert.

Deep Dive in Präzision: Fehlalarme minimieren#

Precision ist eine wichtige Bewertungsmetrik, die die Genauigkeit der positiven Vorhersagen eines Modells misst. Sie beantwortet die Frage: Wie viele der als positiv vorhergesagten Instanzen waren korrekt?

Die Präzisionsformel lautet: Anzahl der True Positives dividiert durch die Summe aus True Positives und False Positives. Sie ist besonders wichtig, wenn eine positive Vorhersage kostspielig wäre, sollte sie sich als falsch herausstellen.

Abb. 3. Vergleich von Genauigkeit (Accuracy) und Präzision (Precision). (Quelle)

In der Betrugserkennung kann ein Modell mit niedriger Präzision beispielsweise viele gültige Transaktionen fälschlicherweise als betrügerisch markieren, was unnötige Probleme für Benutzer und Support-Teams schafft. Ein Modell mit hoher Präzision reduziert dieses Risiko, indem sichergestellt wird, dass markierte Transaktionen mit höherer Wahrscheinlichkeit tatsächlicher Betrug sind.

Obwohl hohe Präzision gut ist, können Modelle, die sich zu sehr darauf konzentrieren, sehr selektiv werden und tatsächliche positive Fälle übersehen. Deshalb wird die Präzisionsmetrik oft zusammen mit dem Recall überprüft, um die Performance im Gleichgewicht zu halten.

Was ist Recall?#

Recall ist eine Metrik, mit der gemessen wird, wie gut ein Modell tatsächliche positive Fälle identifiziert. Sie wird als Sensitivität oder True Positive Rate bezeichnet und beantwortet die Frage: Wie viele der tatsächlichen positiven Instanzen hat das Modell korrekt erkannt?

Die Formel für den Recall ist die Anzahl der True Positives dividiert durch die Summe aus True Positives und False Negatives. Ein hoher Recall-Wert zeigt, dass das Modell den Großteil der echten positiven Fälle in den Daten erfasst.

Recall ist in Branchen wie dem Gesundheitswesen essenziell, wo das Versäumnis, eine Erkrankung zu erkennen, die Behandlung verzögern und Patienten gefährden kann. Auch wenn einige negative Fälle fälschlicherweise markiert werden, bleibt die Identifizierung aller echten Fälle die oberste Priorität.

Modelle, die sich nur auf den Recall konzentrieren, können jedoch zu viele falsch positive Ergebnisse markieren, was die Präzision verringert und die Gesamteffizienz des Modells beeinträchtigt. Das Ausbalancieren von Recall und Präzision ist entscheidend für eine zuverlässige AI model performance.

Der Balanceakt: Der Zielkonflikt zwischen Präzision und Recall#

Präzision und Recall entwickeln sich oft in entgegengesetzte Richtungen. Verbessert sich einer, kann der andere sinken. Dieser Zielkonflikt ist eine gängige Herausforderung bei Machine Learning-Aufgaben.

Ein Modell mit hoher Präzision sagt etwas nur dann als positiv voraus, wenn es sich sicher ist. Das reduziert Fehlalarme, kann aber echte positive Fälle übersehen, was den Recall senkt. Ein Modell, das versucht, jeden positiven Fall zu erfassen, erhöht den Recall, riskiert aber mehr Fehlalarme, was die Präzision senkt.

Dieser Zielkonflikt wird deutlicher, wenn du den Entscheidungsschwellenwert des Modells anpasst. Der Schwellenwert ist der Cutoff, den ein System verwendet, um einen Wert oder eine Wahrscheinlichkeit in eine Aktion oder ein Label umzuwandeln. Das Senken des Schwellenwerts führt dazu, dass das System häufiger positiv agiert, was den Recall erhöhen, aber die Präzision verringern kann. Das Anheben des Schwellenwerts hat den gegenteiligen Effekt: Das Modell sagt weniger positive Fälle voraus, die Präzision steigt, aber der Recall sinkt in der Regel.

Angenommen, du arbeitest an der Spam-Erkennung. Das Modell muss das Risiko, Spam in den Posteingang zu lassen, gegen das Risiko abwägen, echte E-Mails zu blockieren. Ein strenger Filter übersieht möglicherweise trotzdem etwas Spam, während ein lockerer Filter versehentlich legitime Nachrichten blockieren könnte. Die richtige Balance hängt vom Anwendungsfall und den Kosten der jeweiligen Fehlerart ab.

Die Bedeutung der Precision-Recall-Kurve#

Die Precision-Recall-Kurve (PR-Kurve) zeigt, wie sich Präzision und Recall ändern, wenn sich der Entscheidungsschwellenwert des Modells ändert. Jeder Punkt repräsentiert einen anderen Kompromiss zwischen beiden. Die PR-Kurve ist besonders nützlich für unausgewogene Datensätze, bei denen eine Klasse viel seltener vorkommt.

Sie liefert auch aussagekräftigere Einblicke als die Receiver Operating Characteristic (ROC) curve, die ebenfalls zeigt, wie gut ein Modell Positive von Negativen bei verschiedenen Entscheidungsschwellen trennt. Ein Modell mit sowohl hoher Präzision als auch hohem Recall hat eine Precision-Recall-Kurve, die nahe der oberen rechten Ecke bleibt, was im Allgemeinen ideal ist.

Vorstellung des F1-Scores: Eine kombinierte Metrik für Ausgewogenheit#

Der F1-score liefert einen einzigen Wert, der das Gleichgewicht zwischen Präzision und Recall erfasst. Der F1-Score wird als das Zweifache des Produkts aus Präzision und Recall, geteilt durch die Summe aus Präzision und Recall, berechnet. Er ist nützlich, wenn sowohl falsch positive als auch falsch negative Ergebnisse wichtig sind, und er ist hilfreich bei der Arbeit mit unausgeglichenen Datensätzen oder wenn eine ausgewogene Sicht auf die Modellleistung erforderlich ist.

Abb. 4. Berechnung des F1-Scores unter Verwendung von Präzision und Recall (Quelle)

Über Genauigkeit, Präzision und Recall hinaus#

Während Genauigkeit, Präzision und Recall essenziell sind, bieten andere Metriken zusätzliche Erkenntnisse basierend auf dem Modelltyp und den Datensatzeigenschaften.

Hier sind einige häufig verwendete Metriken, die dabei helfen, verschiedene Aspekte der Performance zu bewerten:

• Spezifität: Sie misst, wie gut das Modell tatsächliche negative Fälle identifiziert. Sie ist nützlich, wenn die Vermeidung von False Positives wichtig ist.
• AUC: AUC (Area Under the Curve) liefert einen einzigen Wert, der widerspiegelt, wie gut das Modell zwischen Klassen unterscheiden kann.
• Log loss: Log Loss wird verwendet, um zu messen, wie sicher sich ein Modell bei Vorhersagen ist, und bestraft falsche Vorhersagen, die mit hoher Zuversicht gemacht wurden, stärker. Hier bezieht sich confidence darauf, wie sicher sich das Modell bezüglich seiner Vorhersage ist.
• Multi-Label-Bewertung: Bei Multi-Label-Aufgaben werden die Metriken über alle Labels hinweg gemittelt, um die Gesamtleistung des Modells widerzuspiegeln.

Anwendung von Genauigkeit, Präzision und Recall in der Computer Vision#

Nachdem wir nun ein klareres Verständnis von Genauigkeit, Präzision und Recall haben, gehen wir durch, wie diese Metriken in der Computer Vision angewendet werden.

Computer-Vision-Modelle wie Ultralytics YOLO11 unterstützen Aufgaben wie die Objekterkennung, bei der das Modell identifiziert, welche Objekte in einem Bild vorhanden sind, und sie mithilfe von Bounding Boxes lokalisiert. Jede Vorhersage umfasst sowohl das Objektlabel als auch dessen Position, was die Bewertung komplexer macht als die einfache Überprüfung, ob ein Label korrekt ist.

Abb. 5. Ein Beispiel für die Verwendung von Ultralytics YOLO11 zur Objekterkennung. (Quelle)

Betrachte eine retail-Anwendung, bei der Kameras verwendet werden, um Produkte in Regalen automatisch zu verfolgen. Ein Objekterkennungsmodell könnte Artikel wie Müslipackungen, Limonadendosen oder Wasserflaschen identifizieren und deren Positionen markieren.

In diesem Fall sagt uns die Präzision, wie viele der erkannten Artikel tatsächlich korrekt sind. Eine hohe Präzision bedeutet, dass das System False Positives vermeidet, wie etwa das Kennzeichnen eines Schattens oder eines Hintergrundobjekts als Produkt. Der Recall zeigt, wie viele der echten Produkte im Regal das Modell tatsächlich erkannt hat. Ein hoher Recall bedeutet, dass weniger Artikel übersehen werden, was für korrekte Bestandszählungen entscheidend ist.

Die Genauigkeit kann zwar immer noch ein allgemeines Maß für die Korrektheit liefern, aber in einer solchen Umgebung kann das Übersehen von nur wenigen Produkten oder das Erkennen von Dingen, die gar nicht da sind, große Auswirkungen auf die Bestandsverwaltung haben. Deshalb betrachten Entwickler Präzision, Recall und Genauigkeit gemeinsam, um sicherzustellen, dass das System für den realen Einsatz sowohl zuverlässig als auch praktikabel ist.

Genauigkeit, Präzision und Recall: Wichtigste Erkenntnisse#

Genauigkeit, Präzision und Recall verdeutlichen jeweils unterschiedliche Aspekte der Performance eines Machine Learning-Modells. Sich nur auf eine Metrik zu verlassen, kann irreführend sein.

Tools und Metriken wie die Konfusionsmatrix, Precision-Recall-Kurven und der F1-Score helfen dabei, Zielkonflikte aufzudecken und Entscheidungen über Verbesserungen am ML-Modell zu treffen. Indem du die richtige Kombination von Metriken für eine spezifische KI-Lösung wählst, stellst du sicher, dass Modelle in realen Anwendungen genau, zuverlässig und effektiv sind.

Entdecke unsere wachsende community! Schau dir unser GitHub repository an, um mehr über KI zu erfahren. Bist du bereit, deine Computer-Vision-Projekte zu starten? Wirf einen Blick auf unsere licensing options. Entdecke AI in agriculture und vision AI in robotics, indem du unsere Lösungsseiten besuchst!