Genauigkeit vs. Präzision vs. Recall beim maschinellen Lernen

Machine Learning (ML) ist ein Zweig der künstlichen Intelligenz (KI), der sich auf die Entwicklung von Systemen konzentriert, die aus Daten lernen. Er spielt eine zentrale Rolle in vielen anderen Bereichen der KI, einschließlich Computer Vision, wo Maschinen Bilder interpretieren, und Natural Language Processing, wo sie menschliche Sprache verstehen und generieren.

Oft nutzen solche KI-Modelle Deep-Learning-Verfahren, um Vorhersagen aus Daten zu treffen. Obwohl solche Systeme äußerst effektiv sein können, liefern sie nicht immer korrekte Vorhersagen. Manche Ergebnisse sind möglicherweise genau, während andere das Ziel verfehlen.

Zu verstehen, wie diese Fehler entstehen, ist ein wesentlicher Teil der Leistungsbewertung eines Modells. Um die Performance zu messen, kannst du Modellbewertungsmetriken verwenden.

Zu den gängigen Bewertungsmetriken gehören Genauigkeit (allgemeine Korrektheit), Präzision (Zuverlässigkeit positiver Vorhersagen) und Recall (wie gut das Modell tatsächliche positive Fälle identifiziert). Sie mögen auf den ersten Blick ähnlich erscheinen, aber jede konzentriert sich auf einen anderen Aspekt des Modellverhaltens.

In diesem Artikel betrachten wir jede dieser KI-Modell-Leistungsmetriken genauer. Wir untersuchen außerdem, wie sie zusammenhängen und wie du die richtige für deinen Anwendungsfall auswählst. Fangen wir an!

Link to this sectionModellbewertungsmetriken sind im Machine Learning wichtig#

Ein Machine Learning-Modell scheint auf den ersten Blick vielleicht gut zu funktionieren. Aber ohne die richtigen Bewertungsmetriken ist es schwierig zu verstehen, wie genau die Ergebnisse sind. Diese Metriken geben der Modellbewertung Struktur und helfen bei der Beantwortung einer zentralen Frage: Sind die Vorhersagen des Modells nützlich und zuverlässig für eine bestimmte Aufgabe?

Metriken wie Genauigkeit, Präzision und Recall bieten KI-Entwicklern eine klare Möglichkeit, die Funktionsweise eines Modells zu messen. Beim Vergleich verschiedener Modelle ermöglichen diese Metriken beispielsweise zu sehen, welches für eine spezifische Aufgabe am besten geeignet ist. Sie helfen dabei, die Performance zu bewerten und das Modell auszuwählen, das am besten zu den Zielen eines KI-Projekts passt.

Abb. 1. Workflow für Modelltraining und -bewertung (Quelle)

Diese Metriken machen Leistungsvergleiche zudem objektiver. Statt auf Vermutungen oder unvollständige Beobachtungen zu setzen, liefern sie messbare Erkenntnisse darüber, wie sich ein Modell in verschiedenen Situationen verhält. Dadurch verdeutlichen sie, welche Aspekte der Performance in jedem Kontext am wichtigsten sind.

Die Wahl der Metrik hängt beispielsweise oft von der Anwendung ab. In KI-Anwendungen im Gesundheitswesen ist der Recall wichtig, da das Ziel darin besteht, so viele positive Fälle wie möglich zu identifizieren, selbst wenn einige negative Fälle fälschlicherweise markiert werden. Im Gegensatz dazu priorisiert ein E-Mail-Spamfilter möglicherweise die Präzision, um zu vermeiden, dass legitime E-Mails fälschlicherweise als Spam markiert werden.

Link to this sectionDie Konfusionsmatrix: Das Fundament der Klassifizierungsmetriken#

Die Konfusionsmatrix ist eine Zwei-mal-zwei-Tabelle, die für die Bewertung von KI-Modellen grundlegend ist. Sie organisiert Vorhersagen in vier Kategorien, indem sie die tatsächlichen Ergebnisse mit den vorhergesagten Ergebnissen (die Antworten des Modells) vergleicht.

Dieser Vergleich bietet einen detaillierten Einblick in die Performance des Modells. Er bildet die Basis für wichtige Bewertungsmetriken wie Präzision und Recall, die direkt aus den Werten in der Matrix berechnet werden.

Die Zeilen der Tabelle repräsentieren die tatsächlichen Klassen, die Spalten die vorhergesagten Klassen. Jede Zelle zeigt die Anzahl der Ergebnisse in dieser Kategorie. Vereinfacht gesagt zeigt sie, wie viele Vorhersagen korrekt waren und welche Arten von Fehlern das Modell gemacht hat.

Die Konfusionsmatrix ist besonders nützlich, wenn die Daten unausgewogen sind, was bedeutet, dass einige Kategorien viel mehr Beispiele haben als andere. Sie ist auch hilfreich, wenn unterschiedliche Arten von Fehlern unterschiedliche Kosten verursachen.

In der Betrugserkennung ist es beispielsweise kritisch, betrügerische Aktivitäten zu erfassen, aber das fälschliche Markieren echter Transaktionen kann ebenfalls Probleme verursachen. Die Matrix verdeutlicht, wie oft jede Art von Fehler auftritt.

Link to this sectionElemente der Konfusionsmatrix#

Hier ist ein Überblick über die verschiedenen Elemente in einer Konfusionsmatrix:

• True Positive (TP): Wenn das Modell einen positiven Fall korrekt vorhersagt, wird dies als True Positive erfasst. Zum Beispiel klassifiziert ein Computer Vision-Modell ein Fahrzeug auf einem Bild korrekt.
• True Negative (TN): Ein True Negative tritt auf, wenn das Modell einen negativen Fall korrekt identifiziert. Zum Beispiel markiert ein E-Mail-Klassifizierer eine reguläre Nachricht als „kein Spam“.
• False Positive (FP): Das Modell erzeugt ein False Positive, wenn es fälschlicherweise ein positives Ergebnis für einen Fall vorhersagt, der eigentlich negativ ist. Dies wird auch als Fehler erster Art bezeichnet und kann auftreten, wenn ein Betrugserkennungssystem eine gültige Transaktion als betrügerisch markiert.
• False Negative (FN): Ein False Negative wird erfasst, wenn das Modell einen positiven Fall nicht erkennt und fälschlicherweise als negativ vorhersagt. Dies wird auch als Fehler zweiter Art bezeichnet und kann vorkommen, wenn ein Diagnose-Tool eine Krankheit bei einem tatsächlich kranken Patienten übersieht.

Abb. 2. Die Elemente einer Konfusionsmatrix (Quelle)

Link to this sectionVisuelle Darstellung und Interpretation der Konfusionsmatrix#

Eine Konfusionsmatrix wird in einem Rasterformat dargestellt. Die vertikale Achse zeigt die tatsächlichen Klassen, die horizontale Achse die vorhergesagten Klassen. Korrekte Vorhersagen erscheinen entlang der Diagonale und repräsentieren True Positives und True Negatives.

Fehler fallen außerhalb der Diagonale und umfassen False Positives und False Negatives. Diese Struktur macht es leicht, Stärken und Schwächen zu erkennen.

Link to this sectionWas ist Genauigkeit im Machine Learning?#

Genauigkeit ist eine der am häufigsten verwendeten Metriken zur Bewertung der Performance eines Machine Learning-Modells. Sie misst, wie oft die Vorhersagen über alle Klassen hinweg korrekt sind. Mit anderen Worten: Sie beantwortet eine einfache Frage: Wie viele der vom KI-Modell getroffenen Vorhersagen waren richtig?

Die Formel für die Genauigkeit ist die Anzahl der korrekten Vorhersagen (einschließlich True Positives und True Negatives) dividiert durch die Gesamtzahl der Vorhersagen. Die Genauigkeit ist einfach zu berechnen und leicht zu verstehen, was sie zu einem gängigen Ausgangspunkt bei der Modellbewertung macht.

Im Allgemeinen ist die Genauigkeit bei ausgeglichenen Datensätzen zuverlässig. Sie kann jedoch bei unausgewogenen Datensätzen oft irreführend sein, wenn eine Klasse die anderen dominiert. Ein Modell, das immer die Mehrheitsklasse vorhersagt, erzielt möglicherweise trotzdem einen hohen Genauigkeitswert, während es die Minderheitenklassen nicht erkennt.

In einem Bilddatensatz, in dem nur wenige Bilder Fußgänger enthalten, könnte ein Modell, das für jedes Bild „kein Fußgänger“ vorhersagt, immer noch eine hohe Genauigkeit erzielen, aber die tatsächlichen Fußgänger komplett übersehen.

Das liegt daran, dass die Genauigkeit allein nicht zeigt, welche Art von Fehlern ein Modell macht oder wie oft diese auftreten. Deshalb ist es wichtig, auch Metriken wie Präzision und Recall zu betrachten, um vollständig zu verstehen, wie gut ein KI-Modell funktioniert.

Link to this sectionDeep Dive in Präzision: Fehlalarme minimieren#

Präzision ist eine zentrale Bewertungsmetrik, die die Genauigkeit der positiven Vorhersagen eines Modells misst. Sie beantwortet die Frage: Wie viele der als positiv vorhergesagten Fälle waren korrekt?

Die Präzisionsformel lautet: Anzahl der True Positives dividiert durch die Summe aus True Positives und False Positives. Sie ist besonders wichtig, wenn eine positive Vorhersage kostspielig wäre, sollte sie sich als falsch herausstellen.

Abb. 3. Vergleich von Genauigkeit und Präzision. (Quelle)

In der Betrugserkennung kann ein Modell mit niedriger Präzision beispielsweise viele gültige Transaktionen fälschlicherweise als betrügerisch markieren, was unnötige Probleme für Benutzer und Support-Teams schafft. Ein Modell mit hoher Präzision reduziert dieses Risiko, indem sichergestellt wird, dass markierte Transaktionen mit höherer Wahrscheinlichkeit tatsächlicher Betrug sind.

Obwohl hohe Präzision gut ist, können Modelle, die sich zu sehr darauf konzentrieren, sehr selektiv werden und tatsächliche positive Fälle übersehen. Deshalb wird die Präzisionsmetrik oft zusammen mit dem Recall überprüft, um die Performance im Gleichgewicht zu halten.

Link to this sectionWas ist Recall?#

Recall ist eine Metrik, die misst, wie gut ein Modell tatsächliche positive Fälle identifiziert. Er wird auch als Sensitivität oder True Positive Rate bezeichnet und beantwortet die Frage: Wie viele der tatsächlichen positiven Fälle hat das Modell korrekt erkannt?

Die Formel für den Recall ist die Anzahl der True Positives dividiert durch die Summe aus True Positives und False Negatives. Ein hoher Recall-Wert zeigt, dass das Modell den Großteil der echten positiven Fälle in den Daten erfasst.

Recall ist in Branchen wie dem Gesundheitswesen essenziell, wo das Versäumnis, eine Erkrankung zu erkennen, die Behandlung verzögern und Patienten gefährden kann. Auch wenn einige negative Fälle fälschlicherweise markiert werden, bleibt die Identifizierung aller echten Fälle die oberste Priorität.

Modelle, die sich nur auf den Recall konzentrieren, können jedoch zu viele False Positives markieren, was die Präzision senkt und die Gesamteffizienz des Modells beeinträchtigt. Das Gleichgewicht zwischen Recall und Präzision ist entscheidend für eine zuverlässige KI-Modell-Performance.

Link to this sectionDer Balanceakt: Der Zielkonflikt zwischen Präzision und Recall#

Präzision und Recall entwickeln sich oft in entgegengesetzte Richtungen. Verbessert sich einer, kann der andere sinken. Dieser Zielkonflikt ist eine gängige Herausforderung bei Machine Learning-Aufgaben.

Ein Modell mit hoher Präzision sagt etwas nur dann als positiv voraus, wenn es sich sicher ist. Das reduziert Fehlalarme, kann aber echte positive Fälle übersehen, was den Recall senkt. Ein Modell, das versucht, jeden positiven Fall zu erfassen, erhöht den Recall, riskiert aber mehr Fehlalarme, was die Präzision senkt.

Dieser Zielkonflikt wird deutlicher, wenn du den Entscheidungsschwellenwert des Modells anpasst. Der Schwellenwert ist der Cutoff, den ein System verwendet, um einen Wert oder eine Wahrscheinlichkeit in eine Aktion oder ein Label umzuwandeln. Das Senken des Schwellenwerts führt dazu, dass das System häufiger positiv agiert, was den Recall erhöhen, aber die Präzision verringern kann. Das Anheben des Schwellenwerts hat den gegenteiligen Effekt: Das Modell sagt weniger positive Fälle voraus, die Präzision steigt, aber der Recall sinkt in der Regel.

Angenommen, du arbeitest an der Spam-Erkennung. Das Modell muss das Risiko, Spam in den Posteingang zu lassen, gegen das Risiko abwägen, echte E-Mails zu blockieren. Ein strenger Filter übersieht möglicherweise trotzdem etwas Spam, während ein lockerer Filter versehentlich legitime Nachrichten blockieren könnte. Die richtige Balance hängt vom Anwendungsfall und den Kosten der jeweiligen Fehlerart ab.

Link to this sectionDie Bedeutung der Precision-Recall-Kurve#

Die Precision-Recall-Kurve (PR-Kurve) zeigt, wie sich Präzision und Recall ändern, wenn sich der Entscheidungsschwellenwert des Modells ändert. Jeder Punkt repräsentiert einen anderen Kompromiss zwischen beiden. Die PR-Kurve ist besonders nützlich für unausgewogene Datensätze, bei denen eine Klasse viel seltener vorkommt.

Sie liefert auch aussagekräftigere Erkenntnisse als die Receiver Operating Characteristic (ROC)-Kurve, die ebenfalls zeigt, wie gut ein Modell bei verschiedenen Entscheidungsschwellen Positives von Negativem trennt. Ein Modell mit sowohl hoher Präzision als auch hohem Recall weist eine PR-Kurve auf, die nahe an der oberen rechten Ecke bleibt, was im Allgemeinen ideal ist.

Link to this sectionVorstellung des F1-Scores: Eine kombinierte Metrik für Ausgewogenheit#

Der F1-Score liefert einen Einzelwert, der das Gleichgewicht zwischen Präzision und Recall erfasst. Der F1-Score wird als das Zweifache des Produkts aus Präzision und Recall, dividiert durch die Summe aus Präzision und Recall, berechnet. Er ist nützlich, wenn sowohl False Positives als auch False Negatives wichtig sind, und er ist hilfreich bei der Arbeit mit unausgewogenen Datensätzen oder wenn ein ausgewogener Blick auf die Modellperformance erforderlich ist.

Abb. 4. Berechnung des F1-Scores mithilfe von Präzision und Recall (Quelle)

Link to this sectionÜber Genauigkeit, Präzision und Recall hinaus#

Während Genauigkeit, Präzision und Recall essenziell sind, bieten andere Metriken zusätzliche Erkenntnisse basierend auf dem Modelltyp und den Datensatzeigenschaften.

Hier sind einige häufig verwendete Metriken, die dabei helfen, verschiedene Aspekte der Performance zu bewerten:

• Spezifität: Sie misst, wie gut das Modell tatsächliche negative Fälle identifiziert. Sie ist nützlich, wenn die Vermeidung von False Positives wichtig ist.
• AUC: AUC oder „Area Under the Curve“ liefert einen Einzelwert, der widerspiegelt, wie gut das Modell zwischen Klassen unterscheiden kann.
• Log Loss: Log Loss wird verwendet, um zu messen, wie sicher sich ein Modell bei Vorhersagen ist, und bestraft falsche Vorhersagen, die mit hoher Zuversicht getroffen wurden, stärker. Hier bezieht sich confidence darauf, wie sicher sich das Modell bei seiner Vorhersage ist.
• Multi-Label-Bewertung: Bei Multi-Label-Aufgaben werden die Metriken über alle Labels hinweg gemittelt, um die Gesamtleistung des Modells widerzuspiegeln.

Link to this sectionAnwendung von Genauigkeit, Präzision und Recall in der Computer Vision#

Nachdem wir nun ein klareres Verständnis von Genauigkeit, Präzision und Recall haben, gehen wir durch, wie diese Metriken in der Computer Vision angewendet werden.

Computer Vision-Modelle wie Ultralytics YOLO11 unterstützen Aufgaben wie die Objekterkennung, bei denen das Modell identifiziert, welche Objekte in einem Bild vorhanden sind, und diese mithilfe von Bounding Boxes lokalisiert. Jede Vorhersage beinhaltet sowohl das Objekt-Label als auch seine Position, was die Bewertung komplexer macht, als nur zu prüfen, ob ein Label korrekt ist.

Abb. 5. Ein Beispiel für die Verwendung von Ultralytics YOLO11 zur Objekterkennung. (Quelle)

Betrachte eine Einzelhandels-Anwendung, bei der Kameras eingesetzt werden, um Produkte in Regalen automatisch zu verfolgen. Ein Objekterkennungsmodell könnte Artikel wie Müslischachteln, Limonadendosen oder Wasserflaschen identifizieren und deren Position markieren.

In diesem Fall sagt uns die Präzision, wie viele der erkannten Artikel tatsächlich korrekt sind. Eine hohe Präzision bedeutet, dass das System False Positives vermeidet, wie etwa das Kennzeichnen eines Schattens oder eines Hintergrundobjekts als Produkt. Der Recall zeigt, wie viele der echten Produkte im Regal das Modell tatsächlich erkannt hat. Ein hoher Recall bedeutet, dass weniger Artikel übersehen werden, was für korrekte Bestandszählungen entscheidend ist.

Die Genauigkeit kann zwar immer noch ein allgemeines Maß für die Korrektheit liefern, aber in einer solchen Umgebung kann das Übersehen von nur wenigen Produkten oder das Erkennen von Dingen, die gar nicht da sind, große Auswirkungen auf die Bestandsverwaltung haben. Deshalb betrachten Entwickler Präzision, Recall und Genauigkeit gemeinsam, um sicherzustellen, dass das System für den realen Einsatz sowohl zuverlässig als auch praktikabel ist.

Link to this sectionGenauigkeit, Präzision und Recall: Wichtigste Erkenntnisse#

Genauigkeit, Präzision und Recall verdeutlichen jeweils unterschiedliche Aspekte der Performance eines Machine Learning-Modells. Sich nur auf eine Metrik zu verlassen, kann irreführend sein.

Tools und Metriken wie die Konfusionsmatrix, Precision-Recall-Kurven und der F1-Score helfen dabei, Zielkonflikte aufzudecken und Entscheidungen über Verbesserungen am ML-Modell zu treffen. Indem du die richtige Kombination von Metriken für eine spezifische KI-Lösung wählst, stellst du sicher, dass Modelle in realen Anwendungen genau, zuverlässig und effektiv sind.

Erkunde unsere wachsende Community! Schau dir unser GitHub-Repository an, um mehr über KI zu erfahren. Bereit, deine Computer Vision-Projekte zu starten? Wirf einen Blick auf unsere Lizenzoptionen. Entdecke KI in der Landwirtschaft und Vision KI in der Robotik, indem du unsere Lösungsseiten besuchst!