Genauigkeit, Präzision und Trefferquote im Vergleich beim maschinellen Lernen

Maschinelles Lernen (ML) ist ein Teilgebiet der künstlichen Intelligenz (AI), das sich mit der Entwicklung von Systemen befasst, die aus Daten lernen. Es spielt eine zentrale Rolle in vielen weiteren Bereichen der AI, darunter Computer Vision, bei der Maschinen Bilder interpretieren, und die Verarbeitung natürlicher Sprache, bei der sie menschliche Sprache verstehen und erzeugen.

Solche AI-Modelle nutzen häufig Deep-Learning-Verfahren, um Vorhersagen aus Daten abzuleiten. Diese Systeme können zwar sehr leistungsfähig sein, liefern aber nicht immer korrekte Vorhersagen. Manche Ergebnisse sind präzise, andere verfehlen das Ziel.

Zu verstehen, wie solche Fehler entstehen, ist entscheidend für die Beurteilung der Modellleistung. Zur Leistungsmessung können wir Evaluierungsmetriken für Modelle verwenden.

Zu den gängigen Evaluierungsmetriken gehören die Genauigkeit (Anteil aller korrekten Vorhersagen), die Präzision (Zuverlässigkeit positiver Vorhersagen) und der Recall (wie gut das Modell tatsächlich positive Fälle erkennt). Auf den ersten Blick mögen sie ähnlich erscheinen, doch jede Metrik beleuchtet einen anderen Aspekt des Modellverhaltens.

In diesem Artikel sehen wir uns die einzelnen Leistungskennzahlen für KI-Modelle genauer an. Außerdem untersuchen wir, wie sie zusammenhängen und wie du die passende Kennzahl für deinen Anwendungsfall auswählst.

Evaluierungsmetriken für Modelle sind beim maschinellen Lernen wichtig#

Ein Modell für maschinelles Lernen scheint anfangs vielleicht gute Ergebnisse zu liefern. Ohne die passenden Bewertungskennzahlen lässt sich jedoch nur schwer einschätzen, wie genau die Ergebnisse sind. Diese Kennzahlen geben der Modellbewertung eine klare Struktur und helfen bei der Beantwortung einer zentralen Frage: Sind die Vorhersagen des Modells für eine bestimmte Aufgabe nützlich und zuverlässig?

Metriken wie Genauigkeit, Präzision und Recall bieten AI-Entwickelnden eine klare Möglichkeit, die Leistung eines Modells zu messen. Beim Vergleich verschiedener Modelle zeigen diese Metriken beispielsweise, welches Modell eine bestimmte Aufgabe am besten bewältigt. Sie helfen bei der Leistungsbewertung und bei der Auswahl des Modells, das am besten zu den Zielen eines AI-Projekts passt.

Abb. 1. Arbeitsablauf für Modelltraining und -bewertung (Quelle)

Diese Metriken machen Leistungsvergleiche außerdem objektiver. Statt sich auf Vermutungen oder unvollständige Beobachtungen zu stützen, liefern sie messbare Einblicke in das Verhalten eines Modells unter verschiedenen Bedingungen. So zeigen sie, welche Leistungsaspekte im jeweiligen Kontext am wichtigsten sind.

Die Wahl der Metrik hängt häufig von der Anwendung ab. Bei AI-Anwendungen im Gesundheitswesen ist der Recall wichtig, da möglichst viele positive Fälle erkannt werden sollen, selbst wenn einige negative Fälle fälschlich als positiv eingestuft werden. Ein Spamfilter für E-Mails legt dagegen möglicherweise mehr Wert auf Präzision, um zu vermeiden, dass legitime E-Mails fälschlich als Spam markiert werden.

Die Konfusionsmatrix: Grundlage der Klassifikationsmetriken#

Bei der binären Klassifikation ist die Konfusionsmatrix eine grundlegende Tabelle mit zwei Zeilen und zwei Spalten zur Bewertung von KI-Modellen. Sie ordnet Vorhersagen vier Kategorien zu, indem sie tatsächliche Ergebnisse mit den vorhergesagten Ergebnissen (den Antworten des Modells) vergleicht.

Dieser Vergleich liefert ein detailliertes Bild der Modellleistung. Er bildet die Grundlage für wichtige Evaluierungsmetriken wie Präzision und Recall, die direkt aus den Werten der Matrix berechnet werden.

Die Zeilen der Tabelle stehen für die tatsächlichen Klassen, die Spalten für die vorhergesagten Klassen. Jede Zelle zeigt die Anzahl der Ergebnisse in der jeweiligen Kategorie. Einfach ausgedrückt veranschaulicht die Matrix, wie viele Vorhersagen richtig waren und welche Arten von Fehlern das Modell gemacht hat.

Die Konfusionsmatrix ist besonders nützlich bei unausgewogenen Daten, also wenn einige Kategorien deutlich mehr Beispiele enthalten als andere. Sie ist auch hilfreich, wenn unterschiedliche Fehlerarten unterschiedliche Folgen haben.

Bei der Betrugserkennung ist es beispielsweise entscheidend, betrügerische Aktivitäten aufzudecken. Doch auch die fälschliche Markierung echter Transaktionen kann Probleme verursachen. Die Matrix zeigt deutlich, wie häufig die einzelnen Fehlerarten auftreten.

Bestandteile der Konfusionsmatrix#

Hier findest du einen Überblick über die verschiedenen Bestandteile einer Konfusionsmatrix:

• Richtig positiv (TP): Wenn das Modell einen tatsächlich positiven Fall korrekt vorhersagt, wird dieser als richtig positiv erfasst. Zum Beispiel klassifiziert ein Computer-Vision-Modell ein Fahrzeug in einem Bild korrekt.
• Richtig negativ (TN): Ein richtig negatives Ergebnis liegt vor, wenn das Modell einen tatsächlich negativen Fall korrekt erkennt. Ein E-Mail-Klassifikator markiert beispielsweise eine gewöhnliche Nachricht als Nicht-Spam.
• Falsch positiv (FP): Das Modell erzeugt ein falsch positives Ergebnis, wenn es für einen tatsächlich negativen Fall fälschlicherweise ein positives Ergebnis vorhersagt. Dieser Fehler wird auch Fehler 1. Art genannt und kann beispielsweise auftreten, wenn ein System zur Betrugserkennung eine legitime Transaktion als betrügerisch einstuft.
• Falsch negativ (FN): Ein falsch negatives Ergebnis liegt vor, wenn das Modell einen positiven Fall nicht erkennt und fälschlicherweise als negativ einstuft. Dieser Fehler wird auch Fehler 2. Art genannt und kann beispielsweise auftreten, wenn ein Diagnosewerkzeug eine Krankheit bei einer tatsächlich erkrankten Person nicht erkennt.

Abb. 2. Bestandteile einer Konfusionsmatrix (Quelle)

Visuelle Darstellung und Interpretation der Konfusionsmatrix#

Eine Konfusionsmatrix wird als Raster dargestellt. Die vertikale Achse zeigt die tatsächlichen Klassen, die horizontale Achse die vorhergesagten Klassen. Korrekte Vorhersagen liegen auf der Diagonalen und stehen für richtig positive und richtig negative Ergebnisse.

Fehler liegen außerhalb der Diagonalen und umfassen falsch positive und falsch negative Ergebnisse. Anhand dieser Struktur lassen sich Stärken und Schwächen leicht erkennen.

Was bedeutet Genauigkeit beim maschinellen Lernen?#

Genauigkeit ist eine der am häufigsten verwendeten Metriken zur Bewertung der Leistung eines Modells für maschinelles Lernen. Sie misst, wie oft die Vorhersagen über alle Klassen hinweg korrekt sind. Anders gesagt, beantwortet sie eine einfache Frage: Wie viele der Vorhersagen des AI-Modells waren richtig?

Die Genauigkeit berechnet sich, indem die Anzahl der korrekten Vorhersagen – also richtig positive und richtig negative Ergebnisse – durch die Gesamtzahl der Vorhersagen geteilt wird. Die Berechnung ist unkompliziert und leicht verständlich, weshalb die Genauigkeit oft als erste Metrik bei der Modellbewertung herangezogen wird.

Bei ausgewogenen Datensätzen ist die Genauigkeit im Allgemeinen zuverlässig. Bei unausgewogenen Datensätzen, in denen eine Klasse gegenüber den anderen dominiert, kann sie jedoch irreführend sein. Ein Modell, das stets die Mehrheitsklasse vorhersagt, kann trotzdem eine hohe Genauigkeit erzielen, obwohl es andere, weniger häufige Klassen nicht erkennt.

Enthält ein Bilddatensatz beispielsweise nur wenige Bilder mit Fußgängerinnen oder Fußgängern, kann ein Modell, das für jedes Bild „keine Fußgänger“ vorhersagt, eine hohe Genauigkeit erreichen und trotzdem alle tatsächlich vorhandenen Fußgänger übersehen.

Der Grund dafür ist, dass die Genauigkeit allein weder zeigt, welche Arten von Fehlern ein Modell macht, noch wie häufig sie auftreten. Deshalb ist es wichtig, auch Metriken wie Präzision und Recall zu betrachten, um die Leistung eines AI-Modells vollständig zu verstehen.

Präzision im Detail: Fehlalarme minimieren#

Präzision ist eine wichtige Evaluierungsmetrik, die die Genauigkeit der positiven Vorhersagen eines Modells misst. Sie beantwortet die Frage: Wie viele der als positiv vorhergesagten Fälle waren tatsächlich positiv?

Die Präzision berechnet sich, indem die Anzahl der richtig positiven Ergebnisse durch die Summe der richtig positiven und falsch positiven Ergebnisse geteilt wird. Sie ist besonders wichtig, wenn eine positive Vorhersage kostspielige Folgen hätte, falls sie sich als falsch herausstellt.

Abb. 3. Vergleich von Genauigkeit und Präzision. (Quelle)

Bei der Betrugserkennung könnte ein Modell mit geringer Präzision beispielsweise viele gültige Transaktionen als betrügerisch einstufen und dadurch sowohl für Nutzende als auch für Supportteams unnötige Probleme verursachen. Ein Modell mit hoher Präzision senkt dieses Risiko, indem es sicherstellt, dass markierte Transaktionen mit höherer Wahrscheinlichkeit tatsächlich betrügerisch sind.

Eine hohe Präzision ist zwar wünschenswert, doch Modelle, die sich zu stark darauf konzentrieren, können sehr selektiv werden und tatsächlich positive Fälle übersehen. Deshalb wird die Präzision häufig zusammen mit dem Recall betrachtet, um eine ausgewogene Leistung zu erreichen.

Was ist Recall?#

Recall misst, wie gut ein Modell tatsächlich positive Fälle erkennt. Er wird auch Sensitivität oder Trefferquote genannt und beantwortet die Frage: Wie viele der tatsächlich positiven Fälle hat das Modell korrekt erkannt?

Der Recall berechnet sich, indem die Anzahl der richtig positiven Ergebnisse durch die Summe der richtig positiven und falsch negativen Ergebnisse geteilt wird. Ein hoher Recall zeigt, dass das Modell die meisten tatsächlich positiven Fälle in den Daten erfasst.

Der Recall ist in Bereichen wie dem Gesundheitswesen unverzichtbar, da eine nicht erkannte Erkrankung die Behandlung verzögern und Patientinnen und Patienten gefährden kann. Selbst wenn einige negative Fälle fälschlich als positiv eingestuft werden, hat die Erkennung aller tatsächlich erkrankten Personen höchste Priorität.

Modelle, die sich jedoch ausschließlich auf den Recall konzentrieren, können zu viele falsch positive Ergebnisse liefern. Das senkt die Präzision und beeinträchtigt die Gesamteffizienz des Modells. Für eine zuverlässige Leistung des KI-Modells ist es entscheidend, Recall und Präzision auszubalancieren.

Die Balance finden: Zielkonflikt zwischen Präzision und Recall#

Präzision und Recall entwickeln sich oft gegenläufig. Verbessert sich die eine Metrik, kann die andere sinken. Dieser Zielkonflikt ist bei Aufgaben des maschinellen Lernens eine häufige Herausforderung.

Ein Modell mit hoher Präzision sagt nur dann einen positiven Fall vorher, wenn es sich sicher ist. Dadurch gibt es weniger Fehlalarme, aber tatsächlich positive Fälle können übersehen werden, was den Recall senkt. Ein Modell, das möglichst alle positiven Fälle erfassen soll, erzielt einen höheren Recall, riskiert aber mehr Fehlalarme, wodurch die Präzision sinkt.

Der Zielkonflikt wird deutlicher, wenn du den Entscheidungsschwellenwert des Modells anpasst. Der Schwellenwert ist die Grenze, anhand derer ein System einen Wert oder eine Wahrscheinlichkeit in eine Aktion oder ein Label umwandelt. Wird der Schwellenwert gesenkt, stuft das System häufiger etwas als positiv ein. Dadurch kann der Recall steigen, während die Präzision möglicherweise sinkt. Ein höherer Schwellenwert hat den gegenteiligen Effekt: Das Modell sagt seltener positive Fälle vorher, die Präzision steigt und der Recall sinkt üblicherweise.

Angenommen, du arbeitest an der Erkennung von Spam. Das Modell muss zwischen dem Risiko abwägen, Spam im Posteingang zuzulassen, und dem Risiko, echte E-Mails zu blockieren. Ein strenger Filter kann versehentlich legitime Nachrichten blockieren, während ein weniger strenger Filter möglicherweise Spam durchlässt. Die richtige Balance hängt vom Anwendungsfall und den Kosten der jeweiligen Fehlerart ab.

Die Bedeutung der Präzisions-Recall-Kurve#

Die Präzisions-Recall-Kurve, auch PR-Kurve genannt, zeigt, wie sich Präzision und Recall ändern, wenn sich der Entscheidungsschwellenwert des Modells verändert. Jeder Punkt steht für einen anderen Zielkonflikt zwischen den beiden Metriken. Die PR-Kurve ist besonders nützlich bei unausgewogenen Datensätzen, in denen eine Klasse viel seltener vorkommt.

Bei unausgewogenen Daten liefert sie oft aussagekräftigere Erkenntnisse als die Receiver-Operating-Characteristic-Kurve (ROC), die ebenfalls zeigt, wie gut ein Modell positive und negative Fälle bei verschiedenen Entscheidungsschwellen unterscheidet. Bei einem Modell mit hoher Präzision und hohem Recall verläuft die Präzisions-Recall-Kurve nahe an der oberen rechten Ecke, was im Allgemeinen ideal ist.

Der F1-Wert: Eine kombinierte Metrik für Ausgewogenheit#

Der F1-Wert fasst das Verhältnis zwischen Präzision und Recall in einem einzigen Wert zusammen. Er berechnet sich aus dem Doppelten des Produkts von Präzision und Recall, geteilt durch deren Summe. Der F1-Wert ist nützlich, wenn sowohl falsch positive als auch falsch negative Ergebnisse eine Rolle spielen. Außerdem eignet er sich für unausgewogene Datensätze oder wenn eine ausgewogene Einschätzung der Modellleistung erforderlich ist.

Abb. 4. Berechnung des F1-Werts anhand von Präzision und Recall (Quelle)

Jenseits von Genauigkeit, Präzision und Recall#

Genauigkeit, Präzision und Recall sind zwar unverzichtbar, doch weitere Metriken liefern zusätzliche Erkenntnisse – abhängig vom Modelltyp und den Eigenschaften des Datensatzes.

Hier sind einige häufig verwendete Metriken, mit denen sich verschiedene Leistungsaspekte bewerten lassen:

• Spezifität: Sie misst, wie gut das Modell tatsächlich negative Fälle erkennt. Sie ist nützlich, wenn es wichtig ist, falsch positive Ergebnisse zu vermeiden.
• AUC: AUC, also die Fläche unter der Kurve, ist ein einzelner Wert, der angibt, wie gut das Modell zwischen Klassen unterscheiden kann.
• Log-Loss: Log-Loss misst, wie sicher ein Modell bei seinen Vorhersagen ist, und bestraft falsche Vorhersagen stärker, wenn das Modell sehr sicher ist. Konfidenz bezeichnet hier, wie sicher sich das Modell mit seiner Vorhersage ist.
• Multi-Label-Auswertung: Bei Aufgaben mit mehreren Labels werden die Metriken über alle Labels gemittelt, um die Gesamtleistung des Modells abzubilden.

Genauigkeit, Präzision und Recall in der Computer Vision anwenden#

Nachdem wir nun Genauigkeit, Präzision und Recall besser verstanden haben, gehen wir durch, wie diese Kennzahlen in der Computervision eingesetzt werden.

Computer-Vision-Modelle wie Ultralytics YOLO11 unterstützen Aufgaben wie die Objekterkennung. Dabei identifiziert das Modell die in einem Bild vorhandenen Objekte und lokalisiert sie mithilfe von Begrenzungsrahmen. Jede Vorhersage umfasst sowohl das Objektlabel als auch dessen Position. Dadurch ist die Auswertung komplexer, als lediglich zu prüfen, ob ein Label korrekt ist.

Abb. 5. Ein Beispiel für den Einsatz von Ultralytics YOLO11 zur Objekterkennung. (Quelle)

Stell dir eine Anwendung im Einzelhandel vor, bei der Kameras Produkte in Regalen automatisch erfassen. Ein Objekterkennungsmodell könnte Artikel wie Müslischachteln, Getränkedosen oder Wasserflaschen erkennen und ihre Position markieren.

In diesem Fall zeigt die Präzision, wie viele der erkannten Artikel tatsächlich korrekt sind. Eine hohe Präzision bedeutet, dass das System falsch positive Ergebnisse vermeidet, etwa wenn ein Schatten oder ein Hintergrundobjekt fälschlich als Produkt markiert wird. Der Recall zeigt, wie viele der tatsächlichen Produkte im Regal das Modell erkannt hat. Ein hoher Recall bedeutet, dass weniger Artikel übersehen werden – entscheidend für genaue Bestandszahlen.

Die Genauigkeit kann weiterhin einen allgemeinen Maßstab für die Korrektheit liefern. In diesem Anwendungsfall können jedoch selbst wenige übersehene Produkte oder fälschlich erkannte Artikel erhebliche Auswirkungen auf die Bestandsverwaltung haben. Deshalb betrachten Entwickler Präzision, Recall und Genauigkeit gemeinsam, um sicherzustellen, dass das System zuverlässig und in der Praxis einsetzbar ist.

Genauigkeit, Präzision und Recall: Die wichtigsten Erkenntnisse#

Genauigkeit, Präzision und Recall zeigen jeweils unterschiedliche Aspekte der Leistung eines Machine-Learning-Modells. Sich auf nur eine Metrik zu verlassen, kann irreführend sein.

Werkzeuge und Metriken wie die Konfusionsmatrix, Präzisions-Recall-Kurven und der F1-Score machen Zielkonflikte sichtbar und helfen dabei, Verbesserungen am ML-Modell zu planen. Wenn du für eine bestimmte KI-Lösung die passende Kombination von Metriken auswählst, kannst du sicherstellen, dass die Modelle genau, zuverlässig und in realen Anwendungen wirksam sind.

Entdecke unsere wachsende Community! Sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Möchtest du mit deinen Computer-Vision-Projekten loslegen? Wirf einen Blick auf unsere Lizenzoptionen. Entdecke KI in der Landwirtschaft und Vision-KI in der Robotik auf unseren Lösungsseiten!