Mittlere durchschnittliche Präzision (mAP) bei der Objekterkennung

Die Nutzung von KI nimmt rasant zu, und KI wird in vielfältige Innovationen integriert – von selbstfahrenden Autos bis hin zu Einzelhandelssystemen, die Produkte in Regalen erkennen können. Diese Technologien beruhen auf Computer Vision, einem Teilgebiet der künstlichen Intelligenz (AI), das Maschinen die Analyse visueller Daten ermöglicht.

Eine wichtige Bewertungskennzahl zur Messung der Genauigkeit von Computer-Vision-Systemen und -Algorithmen ist die mittlere durchschnittliche Genauigkeit (mAP). Die mAP-Kennzahl zeigt, wie stark die Vorhersagen eines Modells für visuelle KI mit den Ergebnissen der realen Welt übereinstimmen.

Eine häufige Aufgabe im Bereich Computer Vision ist die Objekterkennung: Ein Modell identifiziert mehrere Objekte in einem Bild und zeichnet Begrenzungsrahmen um sie. mAP ist die Standardkennzahl zur Bewertung der Leistung von Objekterkennungsmodellen und wird häufig zum Benchmarking von Deep-Learning-Modellen wie Ultralytics YOLO11 verwendet.

In diesem Artikel sehen wir uns an, wie die mittlere durchschnittliche Genauigkeit berechnet wird und warum sie für alle wichtig ist, die Objekterkennungsmodelle trainieren oder bewerten.

Was ist die mittlere durchschnittliche Präzision (mAP)?#

Die mittlere durchschnittliche Präzision ist ein Messwert, der zeigt, wie genau ein Deep-Learning-Modell bei Aufgaben zum Abruf visueller Informationen ist, etwa beim Erkennen und Identifizieren verschiedener Objekte in einem Bild. Betrachten wir beispielsweise ein Objekterkennungsmodell, das ein Foto mit einem Hund, einer Katze und einem Auto analysiert. Ein zuverlässiges Modell kann die Objekterkennung durchführen, indem es jedes Objekt erkennt und Begrenzungsrahmen sowie Beschriftungen darum zeichnet, die zeigen, wo sich das Objekt befindet und worum es sich handelt.

mAP zeigt, wie gut das Modell diese Aufgabe über viele Bilder und verschiedene Objektarten hinweg bewältigt. Die Kennzahl prüft, ob das Modell jedes Objekt und dessen Position im Bild korrekt identifiziert. Der Wert liegt zwischen 0 und 1: Eins bedeutet, dass das Modell alles perfekt erkannt hat, und null bedeutet, dass es keine Objekte erkannt hat.

Zentrale Konzepte der mittleren durchschnittlichen Präzision (mAP)#

Bevor wir die Konzepte hinter der mittleren durchschnittlichen Präzision im maschinellen Lernen untersuchen, sollten wir zwei grundlegende Begriffe besser verstehen: Ground Truth und Vorhersagen.

Ground Truth bezeichnet die korrekten Referenzdaten, in denen Menschen Objekte und deren Positionen im Bild sorgfältig in einem als Annotation bezeichneten Verfahren beschriften. Vorhersagen hingegen sind die Ergebnisse, die KI-Modelle nach der Analyse eines Bildes liefern. Indem wir die Vorhersagen des KI-Modells mit der Ground Truth vergleichen, können wir messen, wie nahe das Modell an den korrekten Ergebnissen lag.

Abb. 1. Vorhersage des Modells und Ground-Truth-Begrenzungsrahmen. Bild vom Autor.

Konfusionsmatrix#

Eine Konfusionsmatrix wird häufig verwendet, um die Genauigkeit eines Objekterkennungsmodells zu verstehen. Sie ist eine Tabelle, die zeigt, wie die Vorhersagen des Modells mit den tatsächlichen korrekten Ergebnissen (Ground Truth) übereinstimmen. Aus dieser Tabelle lassen sich vier zentrale Bestandteile oder Ergebnisse ablesen: richtig positive, falsch positive, falsch negative und richtig negative Ergebnisse.

Diese Bestandteile der Konfusionsmatrix stehen für Folgendes:

• Richtig positiv (TP): Das Modell erkennt ein Objekt und dessen Position korrekt.
• Falsch positiv (FP): Das Modell hat ein Objekt erkannt, aber die Erkennung war falsch.
• Falsch negativ (FN): Ein Objekt war tatsächlich im Bild vorhanden, aber das Modell hat es nicht erkannt.
• Richtig negativ (TN): Richtig negative Ergebnisse liegen vor, wenn das Modell korrekt erkennt, dass ein Objekt nicht vorhanden ist.

Richtig negative Ergebnisse werden bei der Objekterkennung üblicherweise nicht verwendet, da wir die vielen leeren Bereiche in einem Bild normalerweise ignorieren. Sie sind jedoch bei anderen Computer-Vision-Aufgaben wie der Bildklassifizierung wichtig, bei der das Modell dem Bild eine Beschriftung zuweist. Wenn die Aufgabe beispielsweise darin besteht festzustellen, ob ein Bild eine Katze enthält, und das Modell korrekt „keine Katze“ erkennt, obwohl das Bild keine Katze zeigt, handelt es sich um ein richtig negatives Ergebnis.

Abb. 2. Klassifizierungsergebnisse in einer Konfusionsmatrix. Bild vom Autor.

Schnittmenge über Vereinigung (IoU)#

Eine weitere wichtige Kennzahl zur Bewertung von Objekterkennungsmodellen ist die Schnittmenge über Vereinigung (IoU). Bei solchen KI-Modellen für visuelle Daten reicht es nicht aus, ein Objekt in einem Bild zu erkennen; das Modell muss auch dessen Position im Bild bestimmen, um Begrenzungsrahmen einzuzeichnen.

Die Kennzahl IoU misst, wie genau der vorhergesagte Begrenzungsrahmen des Modells mit dem tatsächlichen korrekten Begrenzungsrahmen (Ground Truth) übereinstimmt. Der Wert liegt zwischen 0 und 1: 1 bedeutet eine perfekte Übereinstimmung, 0 bedeutet, dass es keinerlei Überschneidung gibt.

Ein höherer IoU-Wert (etwa 0,80 oder 0,85) bedeutet beispielsweise, dass der vorhergesagte Begrenzungsrahmen dem Ground-Truth-Begrenzungsrahmen sehr nahekommt und das Objekt somit genau lokalisiert wurde. Ein niedrigerer IoU-Wert (etwa 0,30 oder 0,25) bedeutet, dass das Modell das Objekt nicht genau lokalisiert hat.

Um festzustellen, ob eine Erkennung erfolgreich ist, verwenden wir verschiedene Schwellenwerte. Ein gängiger IoU-Schwellenwert ist 0,5. Das bedeutet, dass sich der vorhergesagte Begrenzungsrahmen mindestens zu 50 % mit dem Ground-Truth-Begrenzungsrahmen überschneiden muss, um als richtig positives Ergebnis zu gelten. Jede Überschneidung unterhalb dieses Schwellenwerts gilt als falsch positives Ergebnis.

Abb. 3. Die Schnittmenge über Vereinigung verstehen. Bild vom Autor.

Präzision und Trefferquote#

Bisher haben wir einige grundlegende Bewertungskennzahlen betrachtet, mit denen sich die Leistung von Objekterkennungsmodellen nachvollziehen lässt. Darauf aufbauend gehören Präzision und Trefferquote zu den wichtigsten Kennzahlen. Sie vermitteln ein klares Bild davon, wie genau die Erkennungen des Modells sind. Sehen wir uns an, was sie bedeuten.

Präzisionswerte zeigen, wie viele der Vorhersagen des Modells tatsächlich richtig waren. Sie beantworten die Frage: Wie viele der Objekte, die das Modell zu erkennen angab, waren wirklich vorhanden?

Die Trefferquote misst hingegen, wie gut das Modell alle tatsächlich im Bild vorhandenen Objekte findet. Sie beantwortet die Frage: Wie viele der tatsächlich vorhandenen Objekte hat das Modell korrekt erkannt?

Zusammen vermitteln Präzision und Trefferquote ein klareres Bild davon, wie gut ein Modell arbeitet. Wenn ein Modell beispielsweise 10 Autos in einem Bild vorhersagt und 9 davon tatsächlich Autos sind, beträgt seine Präzision 90 %.

Diese beiden Bewertungskennzahlen stehen oft in einem Spannungsverhältnis: Ein Modell kann eine hohe Präzision erreichen, indem es nur Vorhersagen trifft, von denen es vollkommen überzeugt ist. Dadurch übersieht es jedoch womöglich viele Objekte, was die Trefferquote senkt. Eine sehr hohe Trefferquote lässt sich andererseits erreichen, indem das Modell nahezu überall einen Begrenzungsrahmen vorhersagt; dadurch sinkt jedoch die Präzision.

Abb. 4. Präzision und Trefferquote. Bild vom Autor.

Durchschnittliche Präzision#

Während uns Präzision und Trefferquote helfen, die Leistung eines Modells bei einzelnen Vorhersagen zu verstehen, bietet die durchschnittliche Präzision (AP) einen umfassenderen Überblick. Sie veranschaulicht, wie sich die Präzision des Modells verändert, wenn es versucht, mehr Objekte zu erkennen, und fasst seine Leistung in einem einzigen Wert zusammen.

Zur Berechnung der durchschnittlichen Präzision können wir zunächst für jede Objektart eine zusammengefasste, diagrammartige Kennzahl erstellen: die Präzisions-Trefferquoten-Kurve (oder PR-Kurve). Diese Kurve zeigt, was geschieht, wenn das Modell mehr Vorhersagen trifft.

Stell dir ein Szenario vor, in dem das Modell zunächst nur die einfachsten oder offensichtlichsten Objekte erkennt. In dieser Phase ist die Präzision hoch, da die meisten Vorhersagen stimmen, aber die Trefferquote ist niedrig, da viele Objekte weiterhin übersehen werden. Wenn das Modell versucht, mehr Objekte zu erkennen, darunter schwierigere oder seltenere, macht es gewöhnlich mehr Fehler. Dadurch sinkt die Präzision, während die Trefferquote steigt.

Die durchschnittliche Genauigkeit entspricht der Fläche unter der Kurve (AUC) der Präzisions-Trefferquote-Kurve (PR-Kurve). Eine größere Fläche bedeutet, dass das Modell seine Vorhersagen genauer hält, selbst wenn es mehr Objekte erkennt. AP wird für jede Klassenbezeichnung separat berechnet.

Bei einem Modell, das Autos, Fahrräder und Fußgänger erkennen kann, lassen sich die AP-Werte beispielsweise für jede dieser drei Kategorien einzeln berechnen. So sehen wir, welche Objekte das Modell gut erkennt und wo es möglicherweise noch verbessert werden muss.

Abb. 5. Eine PR-Kurve für fünf verschiedene Klassen. (Quelle)

Mittlere durchschnittliche Präzision#

Nachdem die durchschnittliche Genauigkeit für jede Objektklasse berechnet wurde, brauchen wir noch eine einzelne Kennzahl, die die Gesamtleistung des Modells über alle Klassen hinweg abbildet. Dafür lässt sich die Formel für die mittlere durchschnittliche Genauigkeit verwenden. Sie bildet den Durchschnitt der AP-Werte aller Kategorien.

Nehmen wir beispielsweise an, ein Computer-Vision-Modell wie Ultralytics YOLO11 erreicht eine AP von 0,827 für Autos, 0,679 für Motorräder, 0,355 für Lastwagen, 0,863 für Busse und 0,982 für Fahrräder. Mit der mAP-Formel können wir diese Werte addieren und durch die Gesamtzahl der Klassen teilen:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7412 ≈ 0.741

Der mAP-Wert von 0.741 bietet eine einfache Möglichkeit, die Leistung des Modells über alle Objektklassen hinweg zu beurteilen. Ein Wert nahe 1 bedeutet, dass das Modell bei den meisten Kategorien genau ist, während ein niedrigerer Wert auf Schwierigkeiten bei einigen Kategorien hindeutet.

Bedeutung von AP und mAP für Computer Vision#

Nachdem wir nun besser verstehen, wie AP und mAP berechnet werden und aus welchen Bestandteilen sie bestehen, folgt ein Überblick über ihre Bedeutung für Computer Vision:

• Niedrige AP für eine bestimmte Klasse: Eine niedrige AP für eine einzelne Klasse bedeutet häufig, dass das Modell Schwierigkeiten mit dieser bestimmten Objektklasse hat. Das kann an unzureichenden Trainingsdaten oder visuellen Herausforderungen in den Bildern liegen, etwa an Verdeckungen.
• Lokalisierungsfehler: Ein höherer mAP-Wert bei einem niedrigeren IoU-Schwellenwert (wie mAP₅₀) in Verbindung mit einem deutlichen Rückgang bei einem höheren IoU-Schwellenwert (wie mAP₇₅) weist darauf hin, dass das Modell Objekte zwar erkennen kann, aber Schwierigkeiten hat, sie genau zu lokalisieren.
• Überanpassung: Ein höherer mAP-Wert auf dem Trainings-Datensatz, aber ein niedrigerer mAP-Wert auf dem Validierungsdatensatz ist ein Zeichen für Überanpassung. Dadurch ist das Modell für neue Bilder unzuverlässig.

Anwendungsbereiche der mittleren durchschnittlichen Präzision in der realen Welt#

Sehen wir uns als Nächstes an, wie zentrale Kennzahlen wie mAP beim Aufbau realer Computer-Vision-Anwendungen helfen können.

Autonome Fahrzeuge: Warum ein höherer mAP-Wert sicherere Straßen bedeutet#

Bei selbstfahrenden Autos ist die Objekterkennung entscheidend, um Fußgänger, Verkehrsschilder, Radfahrer und Fahrbahnmarkierungen zu erkennen. Wenn beispielsweise ein Kind plötzlich auf die Straße läuft, hat das Auto nur Sekunden, um das Objekt (das Kind) zu erkennen, seine Position zu bestimmen, seine Bewegung zu verfolgen und die nötige Maßnahme zu ergreifen (die Bremsen zu betätigen).

Modelle wie Ultralytics YOLO11 sind für die Echtzeit-Objekterkennung in solchen Situationen mit hohem Risiko ausgelegt. In diesen Fällen ist mAP ein entscheidendes Maß für die Sicherheit.

Ein hoher mAP-Wert bedeutet, dass das System ein Kind mit größerer Wahrscheinlichkeit erkennt und präzise lokalisiert, sodass es mit minimaler Verzögerung bremsen kann. Ein niedriger mAP-Wert kann auf übersehene Objekte oder gefährliche Fehlklassifizierungen hindeuten, etwa wenn das Kind mit einem anderen kleinen Objekt verwechselt wird.

Abb. 6. Beispiel für den Einsatz von YOLO11 zur Erkennung von Fußgängern auf der Straße. (Quelle)

mAP für eine präzise Produkterkennung nutzen#

Ebenso können Objekterkennungsmodelle im Einzelhandel eingesetzt werden, um Aufgaben wie die Überwachung des Warenbestands und den Kassiervorgang zu automatisieren. Wenn ein Kunde ein Produkt an der Selbstbedienungskasse scannt, kann ein Erkennungsfehler für Frust sorgen.

Ein hoher mAP-Wert sorgt dafür, dass das Modell ähnliche Produkte zuverlässig unterscheidet und präzise Begrenzungsrahmen einzeichnet, selbst wenn die Artikel dicht nebeneinander liegen. Ein niedriger mAP-Wert kann zu Verwechslungen führen. Wenn das Modell beispielsweise eine Flasche Orangensaft mit einer optisch ähnlichen Flasche Apfelsaft verwechselt, kann das zu einer falschen Abrechnung und ungenauen Bestandsberichten führen.

Einzelhandelssysteme, die Modelle wie Ultralytics YOLO11 integrieren, können Produkte in Echtzeit erkennen, mit dem Warenbestand abgleichen und Backend-Systeme sofort aktualisieren. Im schnelllebigen Einzelhandel spielt mAP eine entscheidende Rolle dabei, Abläufe präzise und zuverlässig zu halten.

Diagnosegenauigkeit im Gesundheitswesen durch einen hohen mAP-Wert verbessern#

Eine höhere Diagnosegenauigkeit im Gesundheitswesen beginnt mit präziser Erkennung in der medizinischen Bildgebung. Modelle wie YOLO11 können Radiologen dabei helfen, Tumore, Knochenbrüche oder andere Auffälligkeiten in medizinischen Aufnahmen zu erkennen. Die mittlere durchschnittliche Präzision ist hier eine wichtige Kennzahl, um die klinische Zuverlässigkeit eines Modells zu bewerten.

Ein hoher mAP-Wert zeigt, dass das Modell sowohl einen hohen Recall (Erkennung der meisten tatsächlichen Probleme) als auch eine hohe Präzision (Vermeidung falscher Alarme) erzielt. Das ist für klinische Entscheidungen entscheidend.

Ein niedriger mAP-Wert kann jedoch Anlass zur Sorge geben. Wenn ein Modell beispielsweise einen Tumor übersieht, kann dies die Diagnose verzögern oder zu einer falschen Behandlung führen.

Vor- und Nachteile der Verwendung von mAP#

Hier sind die wichtigsten Vorteile der mittleren durchschnittlichen Präzision bei der Bewertung von Objekterkennungsmodellen:

• Standardisierte Kennzahl: mAP ist der Branchenstandard zur Bewertung von Objekterkennungsmodellen. Ein mAP-Wert ermöglicht faire und konsistente Vergleiche zwischen verschiedenen Modellen.
• Spiegelt die Leistung in der Praxis wider: Ein hoher mAP-Wert zeigt, dass das Modell verschiedene Objektklassen zuverlässig erkennt und auch in komplexen realen Situationen gute Ergebnisse erzielt.
• Diagnose nach Klassen: mAP basiert auf den AP-Werten der einzelnen Klassen. Dadurch lassen sich leistungsschwache Kategorien wie Fahrräder oder Straßenschilder leichter erkennen und die Modelle gezielt optimieren.

Die mAP-Kennzahl bietet zwar zahlreiche Vorteile, doch gibt es auch einige Einschränkungen zu beachten. Hier sind ein paar wichtige Faktoren:

• Für nichttechnische Beteiligte schwer verständlich: Geschäfts- oder klinische Teams empfinden mAP-Werte möglicherweise als abstrakt, anders als intuitivere und leichter verständliche Kennzahlen.
• Berücksichtigt keine Echtzeitbeschränkungen: mAP berücksichtigt weder die Inferenzgeschwindigkeit noch die Latenz. Beides ist für den Einsatz in zeitkritischen Anwendungen entscheidend.

Die wichtigsten Erkenntnisse#

Wie wir gesehen haben, ist die mittlere durchschnittliche Präzision nicht nur ein technischer Wert, sondern spiegelt auch das Potenzial eines Modells für den Einsatz in der Praxis wider. Ob in einem System für autonomes Fahren oder an einer Einzelhandelskasse: Ein hoher mAP-Wert ist ein zuverlässiger Indikator für die Leistungsfähigkeit und Praxistauglichkeit eines Modells.

mAP ist zwar eine wichtige und aussagekräftige Kennzahl, sollte aber als Teil einer umfassenden Bewertungsstrategie betrachtet werden. Bei kritischen Anwendungen wie im Gesundheitswesen und beim autonomen Fahren reicht es nicht aus, sich allein auf mAP zu verlassen.

Auch weitere Faktoren müssen berücksichtigt werden, damit das System sicher, effizient und für seinen vorgesehenen Zweck geeignet ist. Dazu zählen die Inferenzgeschwindigkeit (wie schnell das Modell Vorhersagen trifft), die Modellgröße (die sich auf den Einsatz auf Edge-Geräten auswirkt) und die qualitative Fehleranalyse (um zu verstehen, welche Fehler das Modell macht).

Werde Teil unserer wachsenden Community und sieh dir unser GitHub-Repository an, um mehr über Computer Vision zu erfahren. Auf unseren Lösungsseiten erfährst du mehr über die Anwendungen von Computer Vision in der Landwirtschaft und KI in der Logistik. Sieh dir unsere Lizenzoptionen an und starte noch heute mit deinem eigenen Computer-Vision-Modell!