Mean Average Precision (mAP) bei der Objekterkennung

Die Einführung von KI wächst rasant und KI wird in verschiedene Innovationen integriert, von selbstfahrenden Autos bis hin zu Einzelhandelssystemen, die Produkte im Regal identifizieren können. Diese Technologien basieren auf Computer Vision, einem Teilbereich der künstlichen Intelligenz (KI), der es Maschinen ermöglicht, visuelle Daten zu analysieren.

Eine wichtige Bewertungsmetrik zur Messung der Genauigkeit von Computer-Vision-Systemen und -Algorithmen ist die Mean Average Precision (mAP). Die mAP-Metrik gibt an, wie genau die Vorhersage eines Vision-KI-Modells mit den Ergebnissen in der realen Welt übereinstimmt.

Eine gängige Aufgabe der Computer Vision ist die Objekterkennung, bei der ein Modell mehrere Objekte in einem Bild identifiziert und diese mit Bounding Boxes umrandet. mAP ist die Standardmetrik zur Bewertung der Leistung von Objekterkennungsmodellen und wird häufig für Benchmarks von Deep-Learning-Modellen wie Ultralytics YOLO11 verwendet.

In diesem Artikel sehen wir uns an, wie die Mean Average Precision berechnet wird und warum sie für jeden, der Objekterkennungsmodelle trainiert oder evaluiert, unverzichtbar ist. Fangen wir an!

Link to this sectionWas ist Mean Average Precision (mAP)?#

Mean Average Precision ist ein Wert, der zeigt, wie genau ein Deep-Learning-Modell bei Aufgaben zur visuellen Informationsbeschaffung ist, etwa beim Erkennen und Identifizieren verschiedener Objekte in einem Bild. Betrachte zum Beispiel ein Objekterkennungsmodell, das ein Foto analysiert, das einen Hund, eine Katze und ein Auto enthält. Ein zuverlässiges Modell kann die Objekterkennung durchführen, indem es jedes Objekt erkennt und Bounding Boxes sowie Labels darum zeichnet, die hervorheben, wo es sich befindet und was es ist.

mAP gibt an, wie gut das Modell diese Aufgabe über viele Bilder und verschiedene Objekttypen hinweg ausführt. Es prüft, ob das Modell jedes Objekt und seinen Standort innerhalb des Bildes korrekt identifiziert. Der Wert reicht von 0 bis 1, wobei 1 bedeutet, dass das Modell alles perfekt gefunden hat, und 0 bedeutet, dass es keine Objekte erkennen konnte.

Link to this sectionKernkonzepte der Mean Average Precision (mAP)#

Bevor wir die Konzepte hinter der Mean Average Precision beim maschinellen Lernen untersuchen, lass uns zwei grundlegende Begriffe besser verstehen: Ground Truth und Vorhersagen.

Ground Truth bezieht sich auf die genauen Referenzdaten, bei denen Objekte und ihre Positionen im Bild sorgfältig von Menschen durch einen Prozess namens Annotation markiert wurden. Vorhersagen hingegen sind die Ergebnisse, die KI-Modelle nach der Analyse eines Bildes liefern. Durch den Vergleich der Vorhersagen des KI-Modells mit der Ground Truth können wir messen, wie nahe das Modell an den korrekten Ergebnissen lag.

Abb. 1: Die Bounding Boxes der Modellvorhersage und der Ground Truth. Bild vom Autor.

Link to this sectionKonfusionsmatrix#

Eine Konfusionsmatrix wird oft verwendet, um zu verstehen, wie präzise ein Objekterkennungsmodell ist. Es ist eine Tabelle, die zeigt, wie die Vorhersagen des Modells mit den tatsächlich korrekten Antworten (Ground Truth) übereinstimmen. Aus dieser Tabelle können wir eine Aufschlüsselung von vier Schlüsselkomponenten oder Ergebnissen erhalten: True Positives, False Positives, False Negatives und True Negatives.

Hier ist, was diese Komponenten in der Konfusionsmatrix darstellen:

• True Positive (TP): Ein Objekt und dessen Position werden vom Modell korrekt erkannt.
• False Positive (FP): Das Modell hat eine Erkennung vorgenommen, diese war jedoch falsch.
• False Negative (FN): Ein Objekt, das tatsächlich im Bild vorhanden war, aber vom Modell nicht erkannt wurde.
• True Negative (TN): True Negatives treten auf, wenn das Modell das Fehlen eines Objekts korrekt identifiziert.

True Negatives werden bei der Objekterkennung nicht häufig verwendet, da wir die vielen leeren Regionen in einem Bild normalerweise ignorieren. Sie sind jedoch bei anderen Computer-Vision-Aufgaben unerlässlich, wie z. B. bei der Bildklassifizierung, bei der das Modell dem Bild ein Label zuweist. Wenn die Aufgabe beispielsweise darin besteht, zu erkennen, ob ein Bild eine Katze enthält oder nicht, und das Modell korrekt „keine Katze“ identifiziert, wenn das Bild keine enthält, ist das ein True Negative.

Abb. 2: Klassifizierungsergebnisse in einer Konfusionsmatrix. Bild vom Autor.

Link to this sectionIntersection over Union (IoU)#

Eine weitere wichtige Metrik bei der Bewertung von Objekterkennungsmodellen ist die Intersection over Union (IoU). Für solche Vision-KI-Modelle reicht es nicht aus, das Vorhandensein eines Objekts in einem Bild einfach nur zu erkennen; es muss auch lokalisiert werden, wo es sich befindet, um Bounding Boxes zu zeichnen.

Die IoU-Metrik misst, wie genau die vom Modell vorhergesagte Box mit der tatsächlichen, korrekten Box (Ground Truth) übereinstimmt. Der Wert liegt zwischen 0 und 1, wobei 1 eine perfekte Übereinstimmung bedeutet und 0 gar keine Überschneidung.

Ein höherer IoU-Wert (wie 0,80 oder 0,85) bedeutet beispielsweise, dass die vorhergesagte Box eine enge Übereinstimmung mit der Ground-Truth-Box ist, was auf eine genaue Lokalisierung hinweist. Ein niedrigerer IoU-Wert (wie 0,30 oder 0,25) bedeutet, dass das Modell das Objekt nicht genau lokalisiert hat.

Um festzustellen, ob eine Erkennung erfolgreich ist, verwenden wir verschiedene Schwellenwerte. Ein gängiger IoU-Schwellenwert ist 0,5, was bedeutet, dass eine vorhergesagte Box die Ground-Truth-Box um mindestens 50 % überlappen muss, um als True Positive gezählt zu werden. Jede Überlappung unter diesem Schwellenwert wird als False Positive betrachtet.

Abb. 3: Verständnis von Intersection over Union. Bild vom Autor.

Link to this sectionPräzision und Recall#

Bisher haben wir einige grundlegende Bewertungsmetriken untersucht, um die Leistung von Objekterkennungsmodellen zu verstehen. Darauf aufbauend sind Präzision und Recall zwei der wichtigsten Metriken. Sie geben uns ein klares Bild davon, wie präzise die Erkennungen des Modells sind. Schauen wir uns an, was sie bedeuten.

Präzisionswerte sagen uns, wie viele der Vorhersagen des Modells tatsächlich korrekt waren. Sie beantworten die Frage: Von allen Objekten, die das Modell zu erkennen behauptete, wie viele waren wirklich dort?

Recall-Werte hingegen messen, wie gut das Modell alle tatsächlich vorhandenen Objekte im Bild findet. Sie beantworten die Frage: Von allen real vorhandenen Objekten, wie viele hat das Modell korrekt erkannt?

Zusammen vermitteln Präzision und Recall ein klareres Bild davon, wie gut ein Modell funktioniert. Wenn ein Modell beispielsweise 10 Autos in einem Bild vorhersagt und 9 davon tatsächlich Autos sind, hat es eine Präzision von 90 % (eine positive Vorhersage).

Diese beiden Bewertungsmetriken beinhalten oft einen Kompromiss: Ein Modell kann einen hohen Präzisionswert erreichen, indem es nur Vorhersagen trifft, bei denen es sich absolut sicher ist, aber dies kann dazu führen, dass viele Objekte übersehen werden, was das Recall-Niveau senkt. Andererseits kann es auch einen sehr hohen Recall erreichen, indem es fast überall eine Bounding Box vorhersagt, was jedoch die Präzision verringern würde.

Abb. 4: Präzision und Recall. Bild vom Autor.

Link to this sectionAverage Precision#

Während uns Präzision und Recall helfen, die Leistung eines Modells bei einzelnen Vorhersagen zu verstehen, kann die Average Precision (AP) eine breitere Perspektive bieten. Sie verdeutlicht, wie sich die Präzision des Modells ändert, während es versucht, mehr Objekte zu erkennen, und fasst seine Leistung in einer einzigen Zahl zusammen.

Um den AP-Wert zu berechnen, können wir zuerst eine kombinierte diagrammartige Metrik erstellen, die als Präzisions-Recall-Kurve (oder PR-Kurve) für jede Objektart bezeichnet wird. Diese Kurve zeigt, was passiert, wenn das Modell mehr Vorhersagen trifft.

Stell dir ein Szenario vor, in dem das Modell beginnt, nur die einfachsten oder offensichtlichsten Objekte zu erkennen. In diesem Stadium ist die Präzision hoch, da die meisten Vorhersagen korrekt sind, aber der Recall ist niedrig, da viele Objekte noch übersehen werden. Wenn das Modell versucht, mehr Objekte zu erkennen, einschließlich der schwierigeren oder selteneren, führt es normalerweise mehr Fehler ein. Dies führt dazu, dass die Präzision sinkt, während der Recall steigt.

Die Average Precision ist die Fläche unter der Kurve (AUC der PR-Kurve). Eine größere Fläche bedeutet, dass das Modell besser darin ist, seine Vorhersagen präzise zu halten, selbst wenn es mehr Objekte erkennt. AP wird für jedes Klassenlabel separat berechnet.

In einem Modell, das Autos, Fahrräder und Fußgänger erkennen kann, können wir beispielsweise die AP-Werte einzeln für jede dieser drei Kategorien berechnen. Dies hilft uns zu sehen, welche Objekte das Modell gut erkennen kann und wo es möglicherweise noch Verbesserungsbedarf gibt.

Abb. 5: Eine PR-Kurve für fünf verschiedene Klassen. (Quelle)

Link to this sectionMean Average Precision#

Nach der Berechnung der Average Precision für jede Objektklasse benötigen wir immer noch einen einzigen Wert, der die Gesamtleistung des Modells über alle Klassen hinweg widerspiegelt. Dies kann mithilfe der Formel für Mean Average Precision erreicht werden. Dabei werden die AP-Werte für jede Kategorie gemittelt.

Nehmen wir beispielsweise an, ein Computer-Vision-Modell wie YOLO11 erreicht einen AP von 0,827 für Autos, 0,679 für Motorräder, 0,355 für LKWs, 0,863 für Busse und 0,982 für Fahrräder. Unter Verwendung der mAP-Formel können wir diese Zahlen addieren und durch die Gesamtzahl der Klassen teilen:

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

Der mAP-Wert von 0,743 bietet eine unkomplizierte Lösung, um zu beurteilen, wie gut das Modell über alle Objektklassen hinweg abschneidet. Ein Wert nahe 1 bedeutet, dass das Modell für die meisten Kategorien präzise ist, während ein niedrigerer Wert darauf hindeutet, dass es bei einigen Schwierigkeiten hat.

Link to this sectionBedeutung von AP und mAP in der Computer Vision#

Jetzt, da wir ein besseres Verständnis davon haben, wie AP und mAP berechnet werden und welche Komponenten sie haben, hier ein Überblick über ihre Bedeutung in der Computer Vision:

• Niedrige AP für eine bestimmte Klasse: Eine niedrige AP für eine einzelne Klasse bedeutet oft, dass das Modell mit dieser spezifischen Objektklasse Schwierigkeiten hat. Dies kann auf unzureichende Trainingsdaten oder visuelle Herausforderungen in den Bildern zurückzuführen sein, wie z. B. Verdeckungen.

• Lokalisierungsfehler: Ein höherer mAP-Wert bei einem niedrigeren IoU-Schwellenwert (wie mAP@0.50) in Kombination mit einem deutlichen Abfall bei einem höheren IoU-Schwellenwert (wie mAP@0.75) zeigt, dass das Modell zwar Objekte erkennen kann, aber Schwierigkeiten hat, sie präzise zu lokalisieren.

• Overfitting: Ein höherer mAP-Wert auf dem Trainings-Datensatz, aber ein niedrigerer mAP-Wert auf dem Validierungsdatensatz ist ein Anzeichen für Overfitting, wodurch das Modell für neue Bilder unzuverlässig wird.

Link to this sectionReale Anwendungen von Mean Average Precision#

Als nächstes untersuchen wir, wie wichtige Metriken wie mAP beim Aufbau realer Computer-Vision-Anwendungsfälle helfen können.

Link to this sectionAutonome Fahrzeuge: Warum ein höherer mAP-Wert für sicherere Straßen steht#

Wenn es um selbstfahrende Autos geht, ist die Objekterkennung entscheidend für die Identifizierung von Fußgängern, Verkehrszeichen, Radfahrern und Fahrbahnmarkierungen. Wenn beispielsweise plötzlich ein Kind über die Straße rennt, hat das Auto Sekunden Zeit, das Objekt (Kind) zu erkennen, dessen Position zu lokalisieren, seine Bewegung zu verfolgen und die notwendigen Maßnahmen zu ergreifen (bremsen).

Modelle wie YOLO11 sind für die Objekterkennung in Echtzeit in solchen kritischen Szenarien konzipiert. In diesen Fällen wird mAP zu einem entscheidenden Sicherheitsmaßstab.

Ein hoher mAP-Wert stellt sicher, dass das System das Kind schnell erkennt, präzise lokalisiert und ohne nennenswerte Verzögerung die Bremsung einleitet. Ein niedriger mAP kann verpasste Erkennungen oder gefährliche Fehlklassifizierungen bedeuten, wie zum Beispiel die Verwechslung des Kindes mit einem anderen kleinen Objekt.

Abb. 6: Ein Beispiel für YOLO11 bei der Erkennung von Fußgängern auf der Straße. (Quelle)

Link to this sectionVerwendung von mAP für eine genaue Produkterkennung#

Ebenso können im Einzelhandel Objekterkennungsmodelle eingesetzt werden, um Aufgaben wie die Bestandsüberwachung und Kassiervorgänge zu automatisieren. Wenn ein Kunde ein Produkt an einer Selbstbedienungskasse scannt, kann ein Fehler bei der Erkennung zu Frustration führen.

Ein hoher mAP-Wert stellt sicher, dass das Modell ähnlich aussehende Produkte präzise unterscheidet und exakte Bounding Boxes zeichnet, selbst wenn die Artikel dicht beieinander stehen. Ein niedriger mAP-Wert kann zu Verwechslungen führen. Wenn das Modell beispielsweise eine Orangensaftflasche mit einer optisch ähnlichen Apfelsaftflasche verwechselt, könnte dies zu einer falschen Abrechnung und ungenauen Bestandsberichten führen.

Einzelhandelssysteme, die mit Modellen wie YOLO11 integriert sind, können Produkte in Echtzeit erkennen, mit dem Inventar abgleichen und Backendsysteme sofort aktualisieren. In schnelllebigen Einzelhandelsumgebungen spielt mAP eine entscheidende Rolle dabei, Betriebsabläufe präzise und zuverlässig zu halten.

Link to this sectionVerbesserung der diagnostischen Genauigkeit mit hohem mAP im Gesundheitswesen#

Die Verbesserung der diagnostischen Genauigkeit im Gesundheitswesen beginnt mit einer präzisen Erkennung in der medizinischen Bildgebung. Modelle wie YOLO11 können Radiologen dabei helfen, Tumore, Frakturen oder andere Anomalien auf medizinischen Scans zu finden. Hier ist die Mean Average Precision eine wesentliche Metrik zur Bewertung der klinischen Zuverlässigkeit eines Modells.

Ein hoher mAP zeigt, dass das Modell sowohl einen hohen Recall (Erkennung der meisten tatsächlichen Probleme) als auch eine hohe Präzision (Vermeidung von Fehlalarmen) erreicht, was für klinische Entscheidungen entscheidend ist. Zudem wird der IoU-Schwellenwert im Gesundheitswesen oft sehr hoch angesetzt (0,85 oder 0,90), um eine extrem genaue Erkennung zu gewährleisten.

Ein niedriger mAP-Wert kann jedoch Bedenken aufwerfen. Nehmen wir an, ein Modell übersieht einen Tumor; dies könnte die Diagnose verzögern oder zu einer falschen Behandlung führen.

Link to this sectionVor- und Nachteile der Verwendung von mAP#

Hier sind die wichtigsten Vorteile der Verwendung von Mean Average Precision zur Bewertung von Objekterkennungsmodellen:

• Standardisierte Metrik: mAP ist der Industriestandard für die Bewertung von Objekterkennungsmodellen. Ein mAP-Wert ermöglicht faire und konsistente Vergleiche zwischen verschiedenen Modellen.

• Spiegelt reale Leistung wider: Ein hoher mAP zeigt, dass das Modell verschiedene Objektklassen hervorragend erkennt und eine starke Leistung in komplexen, realen Szenarien beibehält.

• Klassenbezogene Diagnose: Ein mAP-Wert bewertet die Erkennungsleistung für jede Klasse einzeln. Dies erleichtert die Identifizierung von leistungsschwachen Kategorien (wie Fahrräder oder Straßenschilder) und die entsprechende Feinabstimmung des Modells.

Obwohl die Verwendung der mAP-Metrik verschiedene Vorteile bietet, gibt es einige Einschränkungen zu beachten. Hier sind einige Faktoren, die man berücksichtigen sollte:

• Schwierig für nicht-technische Stakeholder: Business- oder klinische Teams empfinden mAP-Werte möglicherweise als abstrakt, im Gegensatz zu intuitiveren und leichter verständlichen Metriken.

• Spiegelt keine Echtzeit-Beschränkungen wider: mAP berücksichtigt nicht die Inferenzgeschwindigkeit oder Latenz, die für den Einsatz in zeitkritischen Anwendungen entscheidend sind.

Link to this sectionWichtige Erkenntnisse#

Wir haben gesehen, dass Mean Average Precision nicht nur ein technischer Score ist, sondern ein Spiegelbild der potenziellen realen Leistung eines Modells. Ob in einem autonomen Fahrzeugsystem oder an einer Kasse im Einzelhandel, ein hoher mAP-Wert dient als zuverlässiger Indikator für die Leistung und praktische Einsatzbereitschaft eines Modells.

Während mAP eine wesentliche und wirkungsvolle Metrik ist, sollte sie als Teil einer umfassenden Bewertungsstrategie betrachtet werden. Für kritische Anwendungen wie das Gesundheitswesen und autonomes Fahren reicht es nicht aus, sich allein auf mAP zu verlassen.

Zusätzliche Faktoren wie Inferenzgeschwindigkeit (wie schnell das Modell Vorhersagen trifft), Modellgröße (Auswirkung auf den Einsatz auf Edge-Geräten) und qualitative Fehleranalyse (Verständnis der Fehlertypen, die das Modell macht) müssen ebenfalls berücksichtigt werden, um sicherzustellen, dass das System sicher, effizient und wirklich für den beabsichtigten Zweck geeignet ist.

Tritt unserer wachsenden Community und unserem GitHub-Repository bei, um mehr über Computer Vision zu erfahren. Erkunde unsere Lösungsseiten, um mehr über Anwendungen von Computer Vision in der Landwirtschaft und KI in der Logistik zu erfahren. Sieh dir unsere Lizenzoptionen an, um noch heute mit deinem eigenen Computer-Vision-Modell zu starten!