Mean Average Precision (mAP) bei der Objekterkennung

KI-Anwendungen verbreiten sich rasant und werden in diverse Innovationen integriert, von selbstfahrenden Autos bis hin zu Einzelhandelssystemen, die Produkte im Regal erkennen können. Diese Technologien basieren auf computer vision, einem Zweig der künstlichen Intelligenz (KI), der es Maschinen ermöglicht, visuelle Daten zu analysieren.

Eine wichtige Bewertungsmetrik zur Messung der Genauigkeit von Computer-Vision-Systemen und -Algorithmen ist die Mean Average Precision (mAP). Die mAP-Metrik gibt an, wie genau die Vorhersage eines Vision-KI-Modells mit den Ergebnissen in der realen Welt übereinstimmt.

Eine gängige computer vision-Aufgabe ist die Objekterkennung, bei der ein Modell mehrere Objekte in einem Bild identifiziert und Bounding Boxes um sie herum zeichnet. mAP ist die Standardmetrik zur Bewertung der Leistung von Objekterkennungsmodellen und wird häufig als Benchmark für Deep-Learning-Modelle wie Ultralytics YOLO11 verwendet.

In diesem Artikel sehen wir uns an, wie die Mean Average Precision berechnet wird und warum sie für jeden, der Objekterkennungsmodelle trainiert oder evaluiert, unverzichtbar ist. Fangen wir an!

Was ist Mean Average Precision (mAP)?#

Die Mean Average Precision ist ein Wert, der zeigt, wie präzise ein Deep-Learning-Modell bei Aufgaben im Zusammenhang mit dem Abrufen visueller Informationen ist, wie etwa dem Erkennen und Identifizieren verschiedener Objekte in einem Bild. Betrachte zum Beispiel ein object detection-Modell, das ein Foto mit einem Hund, einer Katze und einem Auto analysiert. Ein zuverlässiges Modell kann eine Objekterkennung durchführen, indem es jedes Objekt erkennt und Bounding Boxes sowie Labels darum herum zeichnet, die hervorheben, wo es sich befindet und was es ist.

mAP gibt an, wie gut das Modell diese Aufgabe über viele Bilder und verschiedene Objekttypen hinweg ausführt. Es prüft, ob das Modell jedes Objekt und seinen Standort innerhalb des Bildes korrekt identifiziert. Der Wert reicht von 0 bis 1, wobei 1 bedeutet, dass das Modell alles perfekt gefunden hat, und 0 bedeutet, dass es keine Objekte erkennen konnte.

Kernkonzepte der Mean Average Precision (mAP)#

Bevor wir die Konzepte hinter der Mean Average Precision beim maschinellen Lernen untersuchen, lass uns zwei grundlegende Begriffe besser verstehen: Ground Truth und Vorhersagen.

Ground Truth bezieht sich auf die genauen Referenzdaten, bei denen Objekte und ihre Positionen im Bild sorgfältig von Menschen durch einen Prozess namens Annotation markiert wurden. Vorhersagen hingegen sind die Ergebnisse, die KI-Modelle nach der Analyse eines Bildes liefern. Durch den Vergleich der Vorhersagen des KI-Modells mit der Ground Truth können wir messen, wie nahe das Modell an den korrekten Ergebnissen lag.

Abb. 1: Die Bounding Boxes der Modellvorhersage und der Ground Truth. Bild vom Autor.

Konfusionsmatrix#

Eine confusion matrix wird häufig verwendet, um zu verstehen, wie präzise ein Objekterkennungsmodell ist. Es handelt sich um eine Tabelle, die zeigt, wie die Vorhersagen des Modells mit den tatsächlichen korrekten Antworten (Ground Truth) übereinstimmen. Aus dieser Tabelle erhalten wir eine Aufschlüsselung von vier Hauptkomponenten oder Ergebnissen: True Positives, False Positives, False Negatives und True Negatives.

Hier ist, was diese Komponenten in der Konfusionsmatrix darstellen:

• True Positive (TP): Ein Objekt und dessen Position werden vom Modell korrekt erkannt.
• False Positive (FP): Das Modell hat eine Erkennung vorgenommen, diese war jedoch falsch.
• False Negative (FN): Ein Objekt, das tatsächlich im Bild vorhanden war, aber vom Modell nicht erkannt wurde.
• True Negative (TN): True Negatives treten auf, wenn das Modell das Fehlen eines Objekts korrekt identifiziert.

True Negatives werden in der Objekterkennung normalerweise nicht verwendet, da wir die vielen leeren Bereiche in einem Bild meist ignorieren. Sie sind jedoch bei anderen computer vision-Aufgaben von entscheidender Bedeutung, wie etwa der image classification, bei der das Modell dem Bild ein Label zuweist. Wenn die Aufgabe beispielsweise darin besteht, zu erkennen, ob ein Bild eine Katze enthält oder nicht, und das Modell korrekt „keine Katze“ identifiziert, wenn das Bild keine enthält, ist das ein True Negative.

Abb. 2: Klassifizierungsergebnisse in einer Konfusionsmatrix. Bild vom Autor.

Intersection over Union (IoU)#

Eine weitere wichtige Metrik bei der Bewertung von Objekterkennungsmodellen ist die Intersection over Union (IoU). Für solche Vision-KI-Modelle reicht es nicht aus, das Vorhandensein eines Objekts in einem Bild lediglich zu erkennen; sie müssen auch dessen Position im Bild lokalisieren, um Bounding Boxes zu zeichnen.

Die IoU-Metrik misst, wie genau die vom Modell vorhergesagte Box mit der tatsächlichen, korrekten Box (Ground Truth) übereinstimmt. Der Wert liegt zwischen 0 und 1, wobei 1 eine perfekte Übereinstimmung bedeutet und 0 gar keine Überschneidung.

Ein höherer IoU-Wert (wie 0,80 oder 0,85) bedeutet beispielsweise, dass die vorhergesagte Box eine enge Übereinstimmung mit der Ground-Truth-Box ist, was auf eine genaue Lokalisierung hinweist. Ein niedrigerer IoU-Wert (wie 0,30 oder 0,25) bedeutet, dass das Modell das Objekt nicht genau lokalisiert hat.

Um festzustellen, ob eine Erkennung erfolgreich ist, verwenden wir verschiedene Schwellenwerte. Ein gängiger IoU-Schwellenwert ist 0,5, was bedeutet, dass eine vorhergesagte Box die Ground-Truth-Box um mindestens 50 % überlappen muss, um als True Positive gezählt zu werden. Jede Überlappung unter diesem Schwellenwert wird als False Positive betrachtet.

Abb. 3: Verständnis von Intersection over Union. Bild vom Autor.

Präzision und Recall#

Bisher haben wir einige grundlegende Evaluierungsmetriken untersucht, um die Leistung von Objekterkennungsmodellen zu verstehen. Darauf aufbauend sind zwei der wichtigsten Metriken precision and recall. Sie geben uns ein klares Bild davon, wie präzise die Erkennungen des Modells sind. Schauen wir uns an, was sie bedeuten.

Präzisionswerte sagen uns, wie viele der Vorhersagen des Modells tatsächlich korrekt waren. Sie beantworten die Frage: Von allen Objekten, die das Modell zu erkennen behauptete, wie viele waren wirklich dort?

Recall-Werte hingegen messen, wie gut das Modell alle tatsächlich vorhandenen Objekte im Bild findet. Sie beantworten die Frage: Von allen real vorhandenen Objekten, wie viele hat das Modell korrekt erkannt?

Zusammen vermitteln Präzision und Recall ein klareres Bild davon, wie gut ein Modell funktioniert. Wenn ein Modell beispielsweise 10 Autos in einem Bild vorhersagt und 9 davon tatsächlich Autos sind, hat es eine Präzision von 90 % (eine positive Vorhersage).

Diese beiden Bewertungsmetriken beinhalten oft einen Kompromiss: Ein Modell kann einen hohen Präzisionswert erreichen, indem es nur Vorhersagen trifft, bei denen es sich absolut sicher ist, aber dies kann dazu führen, dass viele Objekte übersehen werden, was das Recall-Niveau senkt. Andererseits kann es auch einen sehr hohen Recall erreichen, indem es fast überall eine Bounding Box vorhersagt, was jedoch die Präzision verringern würde.

Abb. 4: Präzision und Recall. Bild vom Autor.

Average Precision#

Während uns Präzision und Recall helfen, die Leistung eines Modells bei einzelnen Vorhersagen zu verstehen, kann die Average Precision (AP) eine breitere Perspektive bieten. Sie verdeutlicht, wie sich die Präzision des Modells ändert, während es versucht, mehr Objekte zu erkennen, und fasst seine Leistung in einer einzigen Zahl zusammen.

Um den AP-Wert zu berechnen, können wir zuerst eine kombinierte diagrammartige Metrik erstellen, die als Präzisions-Recall-Kurve (oder PR-Kurve) für jede Objektart bezeichnet wird. Diese Kurve zeigt, was passiert, wenn das Modell mehr Vorhersagen trifft.

Stell dir ein Szenario vor, in dem das Modell beginnt, nur die einfachsten oder offensichtlichsten Objekte zu erkennen. In diesem Stadium ist die Präzision hoch, da die meisten Vorhersagen korrekt sind, aber der Recall ist niedrig, da viele Objekte noch übersehen werden. Wenn das Modell versucht, mehr Objekte zu erkennen, einschließlich der schwierigeren oder selteneren, führt es normalerweise mehr Fehler ein. Dies führt dazu, dass die Präzision sinkt, während der Recall steigt.

Die Average Precision ist die Fläche unter der Kurve (AUC der PR-Kurve). Eine größere Fläche bedeutet, dass das Modell besser darin ist, seine Vorhersagen präzise zu halten, selbst wenn es mehr Objekte erkennt. AP wird für jedes Klassenlabel separat berechnet.

In einem Modell, das Autos, Fahrräder und Fußgänger erkennen kann, können wir beispielsweise die AP-Werte einzeln für jede dieser drei Kategorien berechnen. Dies hilft uns zu sehen, welche Objekte das Modell gut erkennen kann und wo es möglicherweise noch Verbesserungsbedarf gibt.

Abb. 5. Eine PR-Kurve für fünf verschiedene Klassen. (Source)

Mean Average Precision#

Nach der Berechnung der Average Precision für jede Objektklasse benötigen wir immer noch einen einzigen Wert, der die Gesamtleistung des Modells über alle Klassen hinweg widerspiegelt. Dies lässt sich mithilfe der Formel für die mean average precision erreichen. Dabei werden die AP-Werte für jede Kategorie gemittelt.

Nehmen wir zum Beispiel an, ein Computer-Vision-Modell wie Ultralytics YOLO11 erreicht einen AP von 0,827 für Autos, 0,679 für Motorräder, 0,355 für Lkw, 0,863 für Busse und 0,982 für Fahrräder. Mithilfe der mAP-Formel können wir diese Zahlen addieren und wie folgt durch die Gesamtzahl der Klassen teilen:

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

Der mAP-Wert von 0,743 bietet eine unkomplizierte Lösung, um zu beurteilen, wie gut das Modell über alle Objektklassen hinweg abschneidet. Ein Wert nahe 1 bedeutet, dass das Modell für die meisten Kategorien präzise ist, während ein niedrigerer Wert darauf hindeutet, dass es bei einigen Schwierigkeiten hat.

Bedeutung von AP und mAP in der Computer Vision#

Jetzt, da wir ein besseres Verständnis davon haben, wie AP und mAP berechnet werden und welche Komponenten sie haben, hier ein Überblick über ihre Bedeutung in der Computer Vision:

• Niedrige AP für eine bestimmte Klasse: Eine niedrige AP für eine einzelne Klasse bedeutet oft, dass das Modell mit dieser spezifischen Objektklasse Schwierigkeiten hat. Dies kann auf unzureichende Trainingsdaten oder visuelle Herausforderungen in den Bildern zurückzuführen sein, wie z. B. Verdeckungen.

• Lokalisierungsfehler: Ein höherer mAP-Wert bei einem niedrigeren IoU-Schwellenwert (wie mAP@0.50) in Kombination mit einem deutlichen Abfall bei einem höheren IoU-Schwellenwert (wie mAP@0.75) zeigt, dass das Modell zwar Objekte erkennen kann, aber Schwierigkeiten hat, sie präzise zu lokalisieren.

• Overfitting: Ein höherer mAP-Wert auf dem Trainings-dataset, aber ein niedrigerer mAP-Wert auf dem Validierungsdatensatz ist ein Zeichen für Overfitting, wodurch das Modell für neue Bilder unzuverlässig wird.

Reale Anwendungen von Mean Average Precision#

Als nächstes untersuchen wir, wie wichtige Metriken wie mAP beim Aufbau realer Computer-Vision-Anwendungsfälle helfen können.

Autonome Fahrzeuge: Warum ein höherer mAP-Wert für sicherere Straßen steht#

Wenn es um self-driving cars geht, ist die Objekterkennung entscheidend für die Identifizierung von Fußgängern, Verkehrsschildern, Radfahrern und Fahrbahnmarkierungen. Wenn beispielsweise ein Kind plötzlich über die Straße läuft, hat das Auto nur wenige Sekunden Zeit, das Objekt (Kind) zu erkennen, dessen Position zu lokalisieren, seine Bewegung zu verfolgen und die notwendigen Maßnahmen zu ergreifen (die Bremsen zu betätigen).

Modelle wie Ultralytics YOLO11 sind für die Echtzeit-Objekterkennung in solchen Szenarien mit hohem Einsatz konzipiert. In diesen Fällen wird mAP zu einem entscheidenden Sicherheitsmaß.

Ein hoher mAP-Wert stellt sicher, dass das System das Kind schnell erkennt, präzise lokalisiert und ohne nennenswerte Verzögerung die Bremsung einleitet. Ein niedriger mAP kann verpasste Erkennungen oder gefährliche Fehlklassifizierungen bedeuten, wie zum Beispiel die Verwechslung des Kindes mit einem anderen kleinen Objekt.

Abb. 6. Ein Beispiel für den Einsatz von YOLO11 zur Erkennung von Fußgängern auf der Straße. (Source)

Verwendung von mAP für eine genaue Produkterkennung#

Ähnlich verhält es sich im retail, wo Objekterkennungsmodelle eingesetzt werden können, um Aufgaben wie die Bestandsüberwachung und den Bezahlvorgang zu automatisieren. Wenn ein Kunde ein Produkt an einer Selbstbedienungskasse einscnt, kann ein Erkennungsfehler Frustration verursachen.

Ein hoher mAP-Wert stellt sicher, dass das Modell ähnlich aussehende Produkte präzise unterscheidet und exakte Bounding Boxes zeichnet, selbst wenn die Artikel dicht beieinander stehen. Ein niedriger mAP-Wert kann zu Verwechslungen führen. Wenn das Modell beispielsweise eine Orangensaftflasche mit einer optisch ähnlichen Apfelsaftflasche verwechselt, könnte dies zu einer falschen Abrechnung und ungenauen Bestandsberichten führen.

In Einzelhandelssysteme integrierte Modelle wie Ultralytics YOLO11 können Produkte in Echtzeit erkennen, sie mit dem Inventar abgleichen und Backendsysteme sofort aktualisieren. In schnelllebigen Einzelhandelsumgebungen spielt mAP eine entscheidende Rolle, um Abläufe präzise und zuverlässig zu halten.

Verbesserung der diagnostischen Genauigkeit mit hohem mAP im Gesundheitswesen#

Die Verbesserung der Diagnosegenauigkeit im Gesundheitswesen beginnt mit einer präzisen Erkennung in der medical imaging. Modelle wie YOLO11 können Radiologen dabei helfen, Tumore, Brüche oder andere Anomalien in medizinischen Scans zu erkennen. Hier ist die mean average precision eine wesentliche Metrik zur Bewertung der klinischen Zuverlässigkeit eines Modells.

Ein hoher mAP zeigt, dass das Modell sowohl einen hohen Recall (Erkennung der meisten tatsächlichen Probleme) als auch eine hohe Präzision (Vermeidung von Fehlalarmen) erreicht, was für klinische Entscheidungen entscheidend ist. Zudem wird der IoU-Schwellenwert im Gesundheitswesen oft sehr hoch angesetzt (0,85 oder 0,90), um eine extrem genaue Erkennung zu gewährleisten.

Ein niedriger mAP-Wert kann jedoch Bedenken aufwerfen. Nehmen wir an, ein Modell übersieht einen Tumor; dies könnte die Diagnose verzögern oder zu einer falschen Behandlung führen.

Vor- und Nachteile der Verwendung von mAP#

Hier sind die wichtigsten Vorteile der Verwendung von Mean Average Precision zur Bewertung von Objekterkennungsmodellen:

• Standardisierte Metrik: mAP ist der Industriestandard für die Bewertung von Objekterkennungsmodellen. Ein mAP-Wert ermöglicht faire und konsistente Vergleiche zwischen verschiedenen Modellen.

• Spiegelt reale Leistung wider: Ein hoher mAP zeigt, dass das Modell verschiedene Objektklassen hervorragend erkennt und eine starke Leistung in komplexen, realen Szenarien beibehält.

• Klassenbezogene Diagnose: Ein mAP-Wert bewertet die Erkennungsleistung für jede Klasse einzeln. Dies erleichtert die Identifizierung von leistungsschwachen Kategorien (wie Fahrräder oder Straßenschilder) und die entsprechende Feinabstimmung des Modells.

Obwohl die Verwendung der mAP-Metrik verschiedene Vorteile bietet, gibt es einige Einschränkungen zu beachten. Hier sind einige Faktoren, die man berücksichtigen sollte:

• Schwierig für nicht-technische Stakeholder: Business- oder klinische Teams empfinden mAP-Werte möglicherweise als abstrakt, im Gegensatz zu intuitiveren und leichter verständlichen Metriken.

• Spiegelt keine Echtzeit-Beschränkungen wider: mAP berücksichtigt nicht die Inferenzgeschwindigkeit oder Latenz, die für den Einsatz in zeitkritischen Anwendungen entscheidend sind.

Wichtige Erkenntnisse#

Wir haben gesehen, dass Mean Average Precision nicht nur ein technischer Score ist, sondern ein Spiegelbild der potenziellen realen Leistung eines Modells. Ob in einem autonomen Fahrzeugsystem oder an einer Kasse im Einzelhandel, ein hoher mAP-Wert dient als zuverlässiger Indikator für die Leistung und praktische Einsatzbereitschaft eines Modells.

Während mAP eine wesentliche und wirkungsvolle Metrik ist, sollte sie als Teil einer umfassenden Bewertungsstrategie betrachtet werden. Für kritische Anwendungen wie das Gesundheitswesen und autonomes Fahren reicht es nicht aus, sich allein auf mAP zu verlassen.

Zusätzliche Faktoren wie Inferenzgeschwindigkeit (wie schnell das Modell Vorhersagen trifft), Modellgröße (Auswirkung auf den Einsatz auf Edge-Geräten) und qualitative Fehleranalyse (Verständnis der Fehlertypen, die das Modell macht) müssen ebenfalls berücksichtigt werden, um sicherzustellen, dass das System sicher, effizient und wirklich für den beabsichtigten Zweck geeignet ist.

Werde Teil unserer wachsenden community und unseres GitHub repository, um mehr über computer vision zu erfahren. Erkunde unsere Lösungsseiten, um mehr über Anwendungen von computer vision in agriculture und AI in logistics zu erfahren. Sieh dir unsere licensing options an, um noch heute mit deinem eigenen computer vision-Modell zu beginnen!