Accuracy vs. Precision vs. Recall im maschinellen Lernen

Maschinelles Lernen (ML) ist ein Teilgebiet der künstlichen Intelligenz (KI), das sich auf die Entwicklung von Systemen konzentriert, die aus Daten lernen. Es spielt in vielen anderen Bereichen der KI eine zentrale Rolle, darunter Computer Vision, bei der Maschinen Bilder interpretieren, und die Verarbeitung natürlicher Sprache, bei der sie menschliche Sprache verstehen und erzeugen.

Solche KI-Modelle verwenden häufig Deep-Learning-Verfahren, um aus Daten Vorhersagen zu treffen. Obwohl solche Systeme sehr leistungsfähig sein können, erzeugen sie nicht immer korrekte Vorhersagen. Einige Ergebnisse können zutreffen, während andere das Ziel verfehlen.

Zu verstehen, wie diese Fehler entstehen, ist ein wichtiger Bestandteil der Bewertung der Modellleistung. Zur Messung der Leistung können wir Metriken zur Modellbewertung verwenden.

Zu den gängigen Bewertungsmetriken gehören Genauigkeit (generelle Korrektheit), Präzision (Zuverlässigkeit positiver Vorhersagen) und Trefferquote (wie gut das Modell tatsächlich positive Fälle erkennt). Auf den ersten Blick mögen sie ähnlich erscheinen, aber jede Metrik konzentriert sich auf einen anderen Aspekt des Modellverhaltens.

In diesem Artikel sehen wir uns jede dieser Metriken zur Bewertung der KI-Modellleistung genauer an. Außerdem untersuchen wir, wie sie zusammenhängen und wie du die richtige Metrik für deinen Anwendungsfall auswählst. Beginnen wir!

Metriken zur Modellbewertung sind im maschinellen Lernen wichtig#

Ein Modell für maschinelles Lernen kann auf den ersten Blick leistungsfähig wirken. Ohne die richtigen Bewertungsmetriken ist es jedoch schwierig zu verstehen, wie genau seine Ergebnisse sind. Diese Metriken geben der Modellbewertung eine Struktur und helfen bei der Beantwortung einer zentralen Frage: Sind die Vorhersagen des Modells für eine bestimmte Aufgabe nützlich und zuverlässig?

Metriken wie Genauigkeit, Präzision und Trefferquote bieten Entwicklern von KI eine klare Möglichkeit zu messen, wie gut ein Modell funktioniert. Beim Vergleich verschiedener Modelle zeigen diese Metriken beispielsweise, welches Modell für eine bestimmte Aufgabe die beste Leistung erbringt. Sie helfen bei der Leistungsbewertung und bei der Auswahl des Modells, das am besten zu den Zielen eines KI-Projekts passt.

Abb. 1: Arbeitsablauf für Modelltraining und -bewertung (Quelle)

Diese Metriken machen auch Leistungsvergleiche objektiver. Statt sich auf Vermutungen oder unvollständige Beobachtungen zu verlassen, liefern sie messbare Erkenntnisse darüber, wie sich ein Modell in unterschiedlichen Situationen verhält. Dadurch zeigen sie, welche Leistungsaspekte in den jeweiligen Kontexten am wichtigsten sind.

Die Wahl der Metrik hängt beispielsweise häufig von der Anwendung ab. Bei KI-Anwendungen im Gesundheitswesen ist die Trefferquote wichtig, weil möglichst viele positive Fälle erkannt werden sollen, selbst wenn einige negative Fälle fälschlicherweise markiert werden. Ein Spamfilter für E-Mails kann dagegen die Präzision priorisieren, um zu vermeiden, dass legitime E-Mails fälschlicherweise als Spam markiert werden.

Die Konfusionsmatrix: Grundlage für Klassifizierungsmetriken#

Die Konfusionsmatrix ist eine Zwei-mal-zwei-Tabelle, die für die Bewertung von KI-Modellen von grundlegender Bedeutung ist. Sie ordnet Vorhersagen vier Kategorien zu, indem sie die tatsächlichen Ergebnisse mit den vorhergesagten Ergebnissen vergleicht (den Antworten des Modells).

Dieser Vergleich bietet einen detaillierten Überblick über die Modellleistung. Er bildet die Grundlage für wichtige Bewertungsmetriken wie Präzision und Trefferquote, die direkt aus den Werten der Matrix berechnet werden.

Die Zeilen der Tabelle stellen die tatsächlichen Klassen dar, die Spalten die vorhergesagten Klassen. Jede Zelle zeigt die Anzahl der Ergebnisse in der jeweiligen Kategorie. Vereinfacht gesagt zeigt die Matrix, wie viele Vorhersagen korrekt waren und welche Arten von Fehlern das Modell gemacht hat.

Die Konfusionsmatrix ist besonders nützlich, wenn die Daten unausgewogen sind, also einige Kategorien deutlich mehr Beispiele enthalten als andere. Sie ist auch hilfreich, wenn verschiedene Fehlerarten unterschiedliche Kosten verursachen.

Bei der Betrugserkennung ist es beispielsweise entscheidend, betrügerische Aktivitäten zu erkennen. Fälschlicherweise als betrügerisch markierte echte Transaktionen können jedoch ebenfalls Probleme verursachen. Die Matrix macht deutlich, wie häufig die einzelnen Fehlerarten auftreten.

Elemente der Konfusionsmatrix#

Hier ist ein Überblick über die verschiedenen Elemente einer Konfusionsmatrix:

• Richtig positives Ergebnis (TP): Wenn das Modell eine positive Instanz korrekt vorhersagt, wird sie als richtig positives Ergebnis erfasst. Beispielsweise klassifiziert ein Computer-Vision-Modell ein Fahrzeug in einem Bild korrekt.
• Richtig negatives Ergebnis (TN): Ein richtig negatives Ergebnis liegt vor, wenn das Modell eine negative Instanz korrekt erkennt. Ein E-Mail-Klassifikator markiert beispielsweise eine reguläre Nachricht als Nicht-Spam.
• Falsch positives Ergebnis (FP): Das Modell erzeugt ein falsch positives Ergebnis, wenn es für eine tatsächlich negative Instanz fälschlicherweise ein positives Ergebnis vorhersagt. Dieser auch als Fehler 1. Art bezeichnete Fall kann auftreten, wenn ein System zur Betrugserkennung eine gültige Transaktion als betrügerisch markiert.
• Falsch negatives Ergebnis (FN): Ein falsch negatives Ergebnis wird erfasst, wenn das Modell einen positiven Fall nicht erkennt und ihn fälschlicherweise als negativ vorhersagt. Dieser auch als Fehler 2. Art bezeichnete Fall kann auftreten, wenn ein Diagnosewerkzeug eine Krankheit bei einem tatsächlich erkrankten Patienten übersieht.

Abb. 2: Die Elemente einer Konfusionsmatrix (Quelle)

Visuelle Darstellung und Interpretation der Konfusionsmatrix#

Eine Konfusionsmatrix wird in einem Raster dargestellt. Die vertikale Achse zeigt die tatsächlichen Klassen, die horizontale Achse die vorhergesagten Klassen. Korrekte Vorhersagen erscheinen auf der Diagonalen und stellen richtig positive sowie richtig negative Ergebnisse dar.

Fehler liegen außerhalb der Diagonalen und umfassen falsch positive sowie falsch negative Ergebnisse. Diese Struktur macht es einfach, Stärken und Schwächen zu erkennen.

Was ist Genauigkeit im maschinellen Lernen?#

Genauigkeit ist eine der am häufigsten verwendeten Metriken zur Bewertung der Leistung eines Modells für maschinelles Lernen. Sie misst, wie oft die Vorhersagen über alle Klassen hinweg korrekt sind. Anders gesagt beantwortet sie eine einfache Frage: Wie viele der vom KI-Modell getroffenen Vorhersagen waren richtig?

Die Formel für die Genauigkeit lautet: Anzahl der korrekten Vorhersagen (einschließlich richtig positiver und richtig negativer Ergebnisse) geteilt durch die Gesamtzahl der Vorhersagen. Genauigkeit lässt sich unkompliziert berechnen und einfach verstehen, weshalb sie häufig den Ausgangspunkt der Modellbewertung bildet.

Im Allgemeinen ist Genauigkeit bei ausgewogenen Datensätzen zuverlässig. Bei unausgewogenen Datensätzen, in denen eine Klasse gegenüber den anderen dominiert, kann sie jedoch irreführend sein. Ein Modell, das immer die Mehrheitsklasse vorhersagt, kann weiterhin einen hohen Genauigkeitswert erreichen, während es andere Minderheitsklassen nicht erkennt.

Enthält ein Bilddatensatz beispielsweise nur wenige Bilder mit Fußgängern, kann ein Modell, das für jedes Bild „kein Fußgänger“ vorhersagt, eine hohe Genauigkeit erreichen, aber die tatsächlichen Fußgänger vollständig übersehen.

Der Grund dafür ist, dass die Genauigkeit allein nicht zeigt, welche Arten von Fehlern ein Modell macht oder wie häufig sie auftreten. Deshalb ist es wichtig, zusätzlich Metriken wie Präzision und Trefferquote zu betrachten, um die Leistungsfähigkeit eines KI-Modells vollständig zu verstehen.

Präzision im Detail: Falsche Alarme minimieren#

Präzision ist eine wichtige Bewertungsmetrik, die die Genauigkeit der positiven Vorhersagen eines Modells misst. Sie beantwortet die Frage: Wie viele der als positiv vorhergesagten Instanzen waren tatsächlich korrekt?

Die Formel für die Präzision lautet: Anzahl der richtig positiven Ergebnisse geteilt durch die Summe aus richtig positiven und falsch positiven Ergebnissen. Sie ist besonders wichtig, wenn eine positive Vorhersage kostspielig wäre, falls sie sich als falsch herausstellt.

Abb. 3: Vergleich von Genauigkeit und Präzision. (Quelle)

Bei der Betrugserkennung kann ein Modell mit niedriger Präzision beispielsweise viele gültige Transaktionen als betrügerisch markieren und dadurch für Benutzer und Supportteams unnötige Probleme verursachen. Ein Modell mit hoher Präzision verringert dieses Risiko, indem es sicherstellt, dass markierte Transaktionen mit höherer Wahrscheinlichkeit tatsächlich betrügerisch sind.

Eine hohe Präzision ist zwar wünschenswert, doch Modelle, die sich zu stark darauf konzentrieren, können sehr selektiv werden und tatsächliche positive Fälle übersehen. Deshalb wird die Präzisionsmetrik häufig zusammen mit der Trefferquote geprüft, um eine ausgewogene Leistung zu gewährleisten.

Was ist die Trefferquote?#

Die Trefferquote ist eine Metrik zur Messung, wie gut ein Modell tatsächlich positive Fälle erkennt. Sie wird auch Sensitivität oder Rate der richtig positiven Ergebnisse genannt und beantwortet die Frage: Wie viele der tatsächlich positiven Instanzen hat das Modell korrekt erkannt?

Die Formel für die Trefferquote lautet: Anzahl der richtig positiven Ergebnisse geteilt durch die Summe aus richtig positiven und falsch negativen Ergebnissen. Ein hoher Trefferquotenwert zeigt, dass das Modell die meisten tatsächlich positiven Fälle in den Daten erfasst.

Die Trefferquote ist in Branchen wie dem Gesundheitswesen unverzichtbar, da eine nicht erkannte Erkrankung die Behandlung verzögern und Patienten gefährden kann. Selbst wenn einige negative Fälle fälschlicherweise markiert werden, hat die Erkennung aller tatsächlichen Fälle weiterhin höchste Priorität.

Modelle, die sich jedoch ausschließlich auf die Trefferquote konzentrieren, können zu viele falsch positive Ergebnisse liefern, wodurch die Präzision sinkt und die Gesamteffizienz des Modells beeinträchtigt wird. Das Ausbalancieren von Trefferquote und Präzision ist entscheidend für eine zuverlässige KI-Modellleistung.

Das Gleichgewicht: Zielkonflikt zwischen Präzision und Trefferquote#

Präzision und Trefferquote entwickeln sich häufig in entgegengesetzte Richtungen. Wenn sich eine verbessert, kann die andere abnehmen. Dieser Zielkonflikt ist eine häufige Herausforderung bei Aufgaben des maschinellen Lernens.

Ein Modell mit hoher Präzision sagt nur dann etwas als positiv voraus, wenn es sicher ist. Dadurch werden falsche Alarme reduziert, aber tatsächliche positive Fälle können übersehen werden, wodurch die Trefferquote sinkt. Ein Modell, das jeden positiven Fall erkennen möchte, steigert die Trefferquote, riskiert jedoch mehr falsche Alarme, wodurch die Präzision sinkt.

Dieser Zielkonflikt wird deutlicher, wenn du den Entscheidungsschwellenwert des Modells anpasst. Der Schwellenwert ist die Grenze, anhand derer ein System eine Punktzahl oder Wahrscheinlichkeit in eine Aktion oder ein Label umwandelt. Wird der Schwellenwert gesenkt, reagiert das System häufiger positiv, wodurch die Trefferquote steigen, die Präzision jedoch sinken kann. Eine Anhebung des Schwellenwerts hat den umgekehrten Effekt: Das Modell sagt weniger positive Fälle voraus, die Präzision steigt, aber die Trefferquote sinkt normalerweise.

Nehmen wir an, du arbeitest an der Spam-Erkennung. Das Modell muss das Risiko abwägen, Spam in den Posteingang gelangen zu lassen, gegen das Risiko, echte E-Mails zu blockieren. Ein strenger Filter übersieht möglicherweise weiterhin etwas Spam, während ein weniger strenger Filter versehentlich legitime Nachrichten blockieren kann. Das richtige Gleichgewicht hängt vom Anwendungsfall und den Kosten der jeweiligen Fehlerart ab.

Die Bedeutung der Präzisions-Trefferquoten-Kurve#

Die Präzisions-Trefferquoten-Kurve oder PR-Kurve zeigt, wie sich Präzision und Trefferquote ändern, wenn sich der Entscheidungsschwellenwert des Modells ändert. Jeder Punkt stellt einen anderen Zielkonflikt zwischen den beiden Metriken dar. Die PR-Kurve ist besonders nützlich bei unausgewogenen Datensätzen, in denen eine Klasse deutlich seltener vorkommt.

Sie liefert außerdem aussagekräftigere Erkenntnisse als die Kurve der Empfangscharakteristik (ROC), die ebenfalls zeigt, wie gut ein Modell positive von negativen Fällen bei verschiedenen Entscheidungsschwellenwerten unterscheidet. Ein Modell mit sowohl hoher Präzision als auch hoher Trefferquote weist eine Präzisions-Trefferquoten-Kurve auf, die nahe an der oberen rechten Ecke verläuft, was im Allgemeinen ideal ist.

Der F1-Wert: Eine kombinierte Metrik für das Gleichgewicht#

Der F1-Wert liefert einen einzelnen Wert, der das Gleichgewicht zwischen Präzision und Trefferquote erfasst. Der F1-Wert wird berechnet, indem das Zweifache des Produkts aus Präzision und Trefferquote durch die Summe aus Präzision und Trefferquote geteilt wird. Er ist nützlich, wenn sowohl falsch positive als auch falsch negative Ergebnisse relevant sind, sowie bei unausgewogenen Datensätzen oder wenn eine ausgewogene Sicht auf die Modellleistung erforderlich ist.

Abb. 4: Berechnung des F1-Werts mithilfe von Präzision und Trefferquote (Quelle)

Über Genauigkeit, Präzision und Trefferquote hinaus#

Genauigkeit, Präzision und Trefferquote sind zwar unverzichtbar, doch andere Metriken liefern abhängig vom Modelltyp und den Eigenschaften des Datensatzes zusätzliche Erkenntnisse.

Hier sind einige häufig verwendete Metriken, die bei der Bewertung verschiedener Leistungsaspekte helfen:

• Spezifität: Sie misst, wie gut das Modell tatsächlich negative Fälle erkennt. Sie ist nützlich, wenn die Vermeidung falsch positiver Ergebnisse wichtig ist.
• AUC: AUC oder Fläche unter der Kurve liefert einen einzelnen Wert, der widerspiegelt, wie gut das Modell zwischen Klassen unterscheiden kann.
• Logarithmischer Verlust: Der logarithmische Verlust misst, wie sicher ein Modell bei seinen Vorhersagen ist, und bestraft falsche Vorhersagen mit hoher Sicherheit stärker. Hier bezeichnet Sicherheit, wie überzeugt das Modell von seiner Vorhersage ist.
• Bewertung mit mehreren Labels: Bei Aufgaben mit mehreren Labels werden die Metriken über die Labels hinweg gemittelt, um die Gesamtleistung des Modells widerzuspiegeln.

Anwendung von Genauigkeit, Präzision und Trefferquote in Computer Vision#

Nachdem wir ein klareres Verständnis von Genauigkeit, Präzision und Trefferquote gewonnen haben, sehen wir uns nun an, wie diese Metriken in Computer Vision angewendet werden.

Computer-Vision-Modelle wie Ultralytics YOLO11 unterstützen Aufgaben wie die Objekterkennung. Dabei identifiziert das Modell, welche Objekte in einem Bild vorhanden sind, und lokalisiert sie mithilfe von Begrenzungsrahmen. Jede Vorhersage umfasst sowohl das Objektlabel als auch dessen Position, wodurch die Bewertung komplexer wird, als lediglich zu prüfen, ob ein Label korrekt ist.

Abb. 5: Ein Beispiel für die Verwendung von Ultralytics YOLO11 zur Objekterkennung. (Quelle)

Betrachte eine Einzelhandelsanwendung, bei der Kameras eingesetzt werden, um Produkte in Regalen automatisch zu verfolgen. Ein Objekterkennungsmodell kann Artikel wie Müslischachteln, Getränkedosen oder Wasserflaschen erkennen und ihre Positionen markieren.

In diesem Fall zeigt die Präzision, wie viele der erkannten Artikel tatsächlich korrekt sind. Eine hohe Präzision bedeutet, dass das System falsch positive Ergebnisse vermeidet, beispielsweise einen Schatten oder ein Hintergrundobjekt als Produkt zu kennzeichnen. Die Trefferquote zeigt, wie viele der tatsächlich im Regal befindlichen Produkte das Modell erkennen konnte. Eine hohe Trefferquote bedeutet, dass weniger Artikel übersehen werden, was für genaue Bestandszählungen entscheidend ist.

Die Genauigkeit kann weiterhin ein allgemeines Maß für die Korrektheit liefern. In einer solchen Situation können jedoch bereits das Übersehen einiger weniger Produkte oder die Erkennung nicht vorhandener Artikel erhebliche Auswirkungen auf die Bestandsverwaltung haben. Deshalb betrachten Entwickler Präzision, Trefferquote und Genauigkeit gemeinsam, um sicherzustellen, dass das System sowohl zuverlässig als auch für den praktischen Einsatz geeignet ist.

Genauigkeit, Präzision und Trefferquote: Die wichtigsten Erkenntnisse#

Genauigkeit, Präzision und Trefferquote zeigen jeweils unterschiedliche Aspekte der Leistung eines Modells für maschinelles Lernen. Sich nur auf eine Metrik zu verlassen, kann irreführend sein.

Werkzeuge und Metriken wie die Konfusionsmatrix, Präzisions-Trefferquoten-Kurven und der F1-Wert helfen dabei, Zielkonflikte sichtbar zu machen und Entscheidungen zur Verbesserung des ML-Modells zu unterstützen. Durch die Auswahl der richtigen Kombination von Metriken für eine bestimmte KI-Lösung kannst du sicherstellen, dass Modelle genau, zuverlässig und in realen Anwendungen leistungsfähig sind.

Entdecke unsere wachsende Community! Besuche unser GitHub-Repository, um mehr über KI zu erfahren. Möchtest du mit deinen Computer-Vision-Projekten beginnen? Sieh dir unsere Lizenzoptionen an. Entdecke KI in der Landwirtschaft und Vision-KI in der Robotik auf unseren Lösungsseiten!