Mittlere durchschnittliche Präzision (mAP) bei der Objekterkennung

Die Einführung von KI schreitet rasant voran, und KI wird in verschiedenste Innovationen integriert – von selbstfahrenden Autos bis hin zu Einzelhandelssystemen, die Produkte in einem Regal erkennen können. Diese Technologien basieren auf Computer Vision, einem Teilgebiet der künstlichen Intelligenz (AI), das Maschinen die Analyse visueller Daten ermöglicht.

Eine wichtige Bewertungsmetrik zur Messung der Genauigkeit von Computer-Vision-Systemen und -Algorithmen ist die mittlere durchschnittliche Präzision (mAP). Die mAP-Metrik zeigt, wie gut die Vorhersage eines Vision-KI-Modells mit den Ergebnissen der realen Welt übereinstimmt.

Eine häufige Aufgabe im Bereich Computer Vision ist die Objekterkennung. Dabei identifiziert ein Modell mehrere Objekte in einem Bild und zeichnet Begrenzungsrahmen um sie. mAP ist die Standardmetrik zur Bewertung der Leistung von Objekterkennungsmodellen und wird häufig zum Benchmarking von Deep-Learning-Modellen wie Ultralytics YOLO11 eingesetzt.

In diesem Artikel sehen wir uns an, wie die mittlere durchschnittliche Präzision berechnet wird und warum sie für alle wichtig ist, die Objekterkennungsmodelle trainieren oder bewerten. Legen wir los!

Was ist die mittlere durchschnittliche Präzision (mAP)?#

Die mittlere durchschnittliche Präzision ist ein Wert, der zeigt, wie genau ein Deep-Learning-Modell bei Aufgaben im Zusammenhang mit dem Abruf visueller Informationen ist, etwa beim Erkennen und Identifizieren verschiedener Objekte in einem Bild. Betrachte zum Beispiel ein Objekterkennungs-modell, das ein Foto mit einem Hund, einer Katze und einem Auto analysiert. Ein zuverlässiges Modell kann jedes Objekt erkennen und Begrenzungsrahmen sowie Beschriftungen darum zeichnen, die zeigen, wo es sich befindet und um welches Objekt es sich handelt.

mAP zeigt, wie gut das Modell diese Aufgabe über viele Bilder und verschiedene Objekttypen hinweg erfüllt. Die Metrik prüft, ob das Modell jedes Objekt und dessen Position im Bild korrekt identifiziert. Der Wert liegt zwischen 0 und 1: Eins bedeutet, dass das Modell alles perfekt gefunden hat, und null, dass es kein Objekt erkannt hat.

Wichtige Konzepte der mittleren durchschnittlichen Präzision (mAP)#

Bevor wir die Konzepte hinter der mittleren durchschnittlichen Präzision im maschinellen Lernen untersuchen, sehen wir uns zunächst zwei grundlegende Begriffe genauer an: Ground Truth und Vorhersagen.

Ground Truth bezeichnet die korrekten Referenzdaten, in denen Objekte und ihre Positionen im Bild von Menschen sorgfältig in einem als Annotation bezeichneten Prozess beschriftet werden. Vorhersagen sind dagegen die Ergebnisse, die KI-Modelle nach der Analyse eines Bildes liefern. Durch den Vergleich der Vorhersagen des KI-Modells mit der Ground Truth können wir messen, wie nahe das Modell an den korrekten Ergebnissen lag.

Abb. 1. Die Begrenzungsrahmen von Modellvorhersage und Ground Truth. Bild vom Autor.

Konfusionsmatrix#

Eine Konfusionsmatrix wird häufig verwendet, um zu verstehen, wie präzise ein Objekterkennungsmodell ist. Sie ist eine Tabelle, die zeigt, wie die Vorhersagen des Modells mit den tatsächlichen korrekten Antworten (Ground Truth) übereinstimmen. Aus dieser Tabelle können wir vier wichtige Komponenten beziehungsweise Ergebnisse ableiten: richtig-positive, falsch-positive, falsch-negative und richtig-negative Ergebnisse.

Diese Komponenten haben in der Konfusionsmatrix folgende Bedeutung:

• Richtig-positiv (TP): Ein Objekt und seine Position werden vom Modell korrekt erkannt.
• Falsch-positiv (FP): Das Modell hat eine Erkennung vorgenommen, aber sie war falsch.
• Falsch-negativ (FN): Ein Objekt war tatsächlich im Bild vorhanden, wurde vom Modell aber nicht erkannt.
• Richtig-negativ (TN): Richtig-negative Ergebnisse entstehen, wenn das Modell das Fehlen eines Objekts korrekt erkennt.

Richtig-negative Ergebnisse werden bei der Objekterkennung normalerweise nicht verwendet, da wir die vielen leeren Bereiche in einem Bild meist ignorieren. Bei anderen Computer-Vision-Aufgaben wie der Bildklassifizierung, bei der das Modell dem Bild eine Beschriftung zuweist, sind sie jedoch wichtig. Wenn die Aufgabe beispielsweise darin besteht festzustellen, ob ein Bild eine Katze enthält, und das Modell korrekt „keine Katze“ erkennt, obwohl das Bild keine enthält, handelt es sich um ein richtig-negatives Ergebnis.

Abb. 2. Klassifizierungsergebnisse in einer Konfusionsmatrix. Bild vom Autor.

Intersection over Union (IoU)#

Eine weitere wichtige Metrik zur Bewertung von Objekterkennungsmodellen ist Intersection over Union (IoU). Bei solchen Vision-KI-Modellen reicht es nicht aus, lediglich das Vorhandensein eines Objekts in einem Bild zu erkennen. Das Modell muss auch dessen Position im Bild bestimmen, um Begrenzungsrahmen zu zeichnen.

Die IoU-Metrik misst, wie genau der vorhergesagte Rahmen des Modells mit dem tatsächlichen korrekten Rahmen (Ground Truth) übereinstimmt. Der Wert liegt zwischen 0 und 1: 1 bedeutet eine perfekte Übereinstimmung, 0 überhaupt keine Überlappung.

Eine höhere IoU, etwa 0.80 oder 0.85, bedeutet beispielsweise, dass der vorhergesagte Rahmen dem Ground-Truth-Rahmen sehr ähnlich ist, was auf eine genaue Lokalisierung hindeutet. Eine niedrigere IoU, etwa 0.30 oder 0.25, bedeutet, dass das Modell das Objekt nicht genau lokalisiert hat.

Um festzustellen, ob eine Erkennung erfolgreich ist, verwenden wir verschiedene Schwellenwerte. Ein üblicher IoU-Schwellenwert ist 0.5. Das bedeutet, dass sich ein vorhergesagter Rahmen mindestens zu 50 % mit dem Ground-Truth-Rahmen überschneiden muss, um als richtig-positiv zu gelten. Jede Überlappung unterhalb dieses Schwellenwerts gilt als falsch-positiv.

Abb. 3. Intersection over Union im Überblick. Bild vom Autor.

Präzision und Recall#

Bisher haben wir einige grundlegende Bewertungsmetriken zur Analyse der Leistung von Objekterkennungsmodellen betrachtet. Darauf aufbauend gehören Präzision und Recall zu den wichtigsten Metriken. Sie vermitteln ein klares Bild davon, wie genau die Erkennungen des Modells sind. Sehen wir uns an, worum es dabei geht.

Präzisionswerte zeigen, wie viele der Vorhersagen des Modells tatsächlich korrekt waren. Sie beantworten die Frage: Wie viele der Objekte, deren Erkennung das Modell behauptet hat, waren tatsächlich vorhanden?

Recall-Werte messen dagegen, wie gut das Modell alle tatsächlich im Bild vorhandenen Objekte findet. Sie beantworten die Frage: Wie viele der real vorhandenen Objekte hat das Modell korrekt erkannt?

Zusammen vermitteln Präzision und Recall ein klareres Bild davon, wie gut ein Modell arbeitet. Wenn ein Modell beispielsweise 10 Autos in einem Bild vorhersagt und 9 davon tatsächlich Autos sind, beträgt seine Präzision 90 % (eine positive Vorhersage).

Diese beiden Bewertungsmetriken stehen häufig in einem Zielkonflikt: Ein Modell kann eine hohe Präzision erreichen, indem es nur Vorhersagen trifft, bei denen es sich völlig sicher ist. Dadurch kann es jedoch viele Objekte übersehen, was den Recall senkt. Umgekehrt kann es einen sehr hohen Recall erzielen, indem es fast überall einen Begrenzungsrahmen vorhersagt, wodurch die Präzision sinkt.

Abb. 4. Präzision und Recall. Bild vom Autor.

Durchschnittliche Präzision#

Während Präzision und Recall uns helfen, die Leistung eines Modells bei einzelnen Vorhersagen zu verstehen, kann die durchschnittliche Präzision (AP) einen umfassenderen Überblick geben. Sie zeigt, wie sich die Präzision des Modells verändert, wenn es versucht, mehr Objekte zu erkennen, und fasst seine Leistung in einer einzigen Zahl zusammen.

Zur Berechnung des Werts der durchschnittlichen Präzision können wir zunächst für jeden Objekttyp eine kombinierte, diagrammartige Metrik erstellen: die Präzisions-Recall-Kurve (oder PR-Kurve). Diese Kurve zeigt, was passiert, wenn das Modell mehr Vorhersagen trifft.

Betrachten wir ein Szenario, in dem das Modell zunächst nur die einfachsten oder offensichtlichsten Objekte erkennt. In dieser Phase ist die Präzision hoch, da die meisten Vorhersagen korrekt sind, der Recall jedoch niedrig, weil viele Objekte noch übersehen werden. Wenn das Modell versucht, mehr Objekte zu erkennen, darunter schwierigere oder seltenere, macht es normalerweise mehr Fehler. Dadurch sinkt die Präzision, während der Recall steigt.

Die durchschnittliche Präzision ist die Fläche unter der Kurve (AUC der PR-Kurve). Eine größere Fläche bedeutet, dass das Modell seine Vorhersagen auch dann genauer hält, wenn es mehr Objekte erkennt. AP wird für jede Klassenbeschriftung separat berechnet.

Bei einem Modell, das Autos, Fahrräder und Fußgänger erkennen kann, können wir beispielsweise die AP-Werte für jede dieser drei Kategorien einzeln berechnen. So sehen wir, welche Objekte das Modell gut erkennt und wo noch Verbesserungsbedarf besteht.

Abb. 5. Eine PR-Kurve für fünf verschiedene Klassen. (Quelle)

Mittlere durchschnittliche Präzision#

Nachdem wir die durchschnittliche Präzision für jede Objektklasse berechnet haben, benötigen wir noch einen einzelnen Wert, der die Gesamtleistung des Modells über alle Klassen hinweg widerspiegelt. Dies lässt sich mit der Formel für die mittlere durchschnittliche Präzision erreichen. Sie bildet den Durchschnitt der AP-Werte aller Kategorien.

Nehmen wir beispielsweise an, ein Computer-Vision-Modell wie Ultralytics YOLO11 erreicht einen AP-Wert von 0.827 für Autos, 0.679 für Motorräder, 0.355 für Lastwagen, 0.863 für Busse und 0.982 für Fahrräder. Mit der mAP-Formel können wir diese Zahlen addieren und durch die Gesamtzahl der Klassen teilen:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7432 ≈ 0.743

Der mAP-Wert von 0.743 bietet eine unkomplizierte Möglichkeit zu beurteilen, wie gut das Modell über alle Objektklassen hinweg arbeitet. Ein Wert nahe 1 bedeutet, dass das Modell die meisten Kategorien genau erkennt, während ein niedrigerer Wert darauf hindeutet, dass es mit einigen Schwierigkeiten hat.

Bedeutung von AP und mAP in Computer Vision#

Nachdem wir nun besser verstehen, wie AP und mAP berechnet werden und aus welchen Komponenten sie bestehen, folgt ein Überblick über ihre Bedeutung für Computer Vision:

• Niedriger AP-Wert für eine bestimmte Klasse: Ein niedriger AP-Wert für eine einzelne Klasse bedeutet häufig, dass das Modell Schwierigkeiten mit dieser Objektklasse hat. Ursache können unzureichende Trainingsdaten oder visuelle Herausforderungen in den Bildern sein, etwa Verdeckungen.

• Lokalisierungsfehler: Ein höherer mAP-Wert bei einem niedrigeren IoU-Schwellenwert, etwa mAP@0.50, in Verbindung mit einem deutlichen Rückgang bei einem höheren IoU-Schwellenwert, etwa mAP@0.75, zeigt, dass das Modell Objekte erkennen kann, Schwierigkeiten bei deren präziser Lokalisierung jedoch bestehen.

• Überanpassung: Ein höherer mAP-Wert auf dem Trainings datensatz, aber ein niedrigerer mAP-Wert auf dem Validierungsdatensatz ist ein Zeichen für Überanpassung. Dadurch ist das Modell bei neuen Bildern unzuverlässig.

Anwendungen der mittleren durchschnittlichen Präzision in der Praxis#

Als Nächstes sehen wir uns an, wie wichtige Metriken wie mAP beim Aufbau praxisnaher Computer-Vision-Anwendungen helfen können.

Autonome Fahrzeuge: Warum ein höherer mAP-Wert sicherere Straßen bedeutet#

Bei selbstfahrenden Autos ist die Objekterkennung entscheidend, um Fußgänger, Verkehrsschilder, Radfahrer und Fahrbahnmarkierungen zu identifizieren. Wenn beispielsweise ein Kind plötzlich über die Straße läuft, hat das Auto nur wenige Sekunden, um das Objekt (das Kind) zu erkennen, seine Position zu bestimmen, seine Bewegung zu verfolgen und die erforderliche Maßnahme einzuleiten (zu bremsen).

Modelle wie Ultralytics YOLO11 sind für die Objekterkennung in Echtzeit in solchen sicherheitskritischen Szenarien ausgelegt. In diesen Fällen wird mAP zu einem entscheidenden Sicherheitsmaß.

Ein hoher mAP-Wert stellt sicher, dass das System das Kind schnell erkennt, seine Position präzise bestimmt und mit minimaler Verzögerung den Bremsvorgang auslöst. Ein niedriger mAP-Wert kann zu übersehenen Erkennungen oder gefährlichen Fehlklassifizierungen führen, etwa wenn das Kind mit einem anderen kleinen Objekt verwechselt wird.

Abb. 6. Beispiel für den Einsatz von YOLO11 zur Erkennung von Fußgängern auf der Straße. (Quelle)

Präzise Produkterkennung mit mAP#

Auch im Einzelhandel können Objekterkennungsmodelle Aufgaben wie Bestandsüberwachung und Kassiervorgänge automatisieren. Wenn ein Kunde ein Produkt an einer Selbstbedienungskasse scannt, kann ein Erkennungsfehler Frustration verursachen.

Ein hoher mAP-Wert stellt sicher, dass das Modell ähnliche Produkte korrekt voneinander unterscheidet und auch bei eng gepackten Artikeln präzise Begrenzungsrahmen zeichnet. Ein niedriger mAP-Wert kann zu Verwechslungen führen. Wenn das Modell beispielsweise eine Orangensaftflasche mit einer optisch ähnlichen Apfelsaftflasche verwechselt, kann dies eine falsche Abrechnung und ungenaue Bestandsberichte zur Folge haben.

Einzelhandelssysteme, die mit Modellen wie Ultralytics YOLO11 integriert sind, können Produkte in Echtzeit erkennen, sie mit dem Bestand abgleichen und Backend-Systeme sofort aktualisieren. In schnelllebigen Einzelhandelsumgebungen spielt mAP eine entscheidende Rolle dabei, Abläufe korrekt und zuverlässig zu halten.

Verbesserung der diagnostischen Genauigkeit im Gesundheitswesen mit hohem mAP#

Eine höhere diagnostische Genauigkeit im Gesundheitswesen beginnt mit einer präzisen Erkennung in der medizinischen Bildgebung. Modelle wie YOLO11 können Radiologen dabei helfen, Tumore, Frakturen oder andere Anomalien in medizinischen Aufnahmen zu erkennen. Hier ist die mittlere durchschnittliche Präzision eine wichtige Metrik zur Bewertung der klinischen Zuverlässigkeit eines Modells.

Ein hoher mAP-Wert zeigt, dass das Modell sowohl einen hohen Recall (es erkennt die meisten tatsächlichen Probleme) als auch eine hohe Präzision (es vermeidet Fehlalarme) erreicht. Beides ist für klinische Entscheidungen entscheidend. Außerdem wird der IoU-Schwellenwert im Gesundheitswesen oft sehr hoch angesetzt (0.85 oder 0.90), um eine äußerst genaue Erkennung sicherzustellen.

Ein niedriger mAP-Wert kann jedoch Anlass zur Sorge geben. Wenn ein Modell beispielsweise einen Tumor übersieht, kann dies die Diagnose verzögern oder zu einer falschen Behandlung führen.

Vor- und Nachteile der Verwendung von mAP#

Hier sind die wichtigsten Vorteile der Verwendung der mittleren durchschnittlichen Präzision zur Bewertung von Objekterkennungsmodellen:

• Standardisierte Metrik: mAP ist der Industriestandard zur Bewertung von Objekterkennungsmodellen. Ein mAP-Wert ermöglicht faire und konsistente Vergleiche zwischen verschiedenen Modellen.

• Spiegelt die Leistung in der Praxis wider: Ein hoher mAP-Wert zeigt, dass das Modell verschiedene Objektklassen zuverlässig erkennt und auch in komplexen realen Szenarien eine starke Leistung erbringt.

• Klassenspezifische Diagnose: Ein mAP-Wert bewertet die Erkennungsleistung für jede Klasse einzeln. Dadurch lassen sich leistungsschwache Kategorien wie Fahrräder oder Straßenschilder leichter identifizieren und das Modell gezielt optimieren.

Die Verwendung der mAP-Metrik bietet zwar verschiedene Vorteile, doch es gibt auch einige Einschränkungen. Folgende Faktoren solltest du berücksichtigen:

• Schwer verständlich für fachfremde Beteiligte: Geschäfts- oder klinische Teams können mAP-Werte im Gegensatz zu intuitiveren und leichter verständlichen Metriken als abstrakt empfinden.

• Berücksichtigt keine Echtzeitbedingungen: mAP berücksichtigt weder die Inferenzgeschwindigkeit noch die Latenz, obwohl beide für den Einsatz in zeitkritischen Anwendungen entscheidend sind.

Wichtige Erkenntnisse#

Wir haben gesehen, dass die mittlere durchschnittliche Präzision nicht nur ein technischer Wert ist, sondern auch die potenzielle Leistung eines Modells in der Praxis widerspiegelt. Ob in einem System für autonome Fahrzeuge oder an einer Einzelhandelskasse: Ein hoher mAP-Wert ist ein zuverlässiger Indikator für die Leistung und praktische Einsatzbereitschaft eines Modells.

Obwohl mAP eine wichtige und aussagekräftige Metrik ist, sollte sie als Teil einer umfassenden Bewertungsstrategie betrachtet werden. Bei kritischen Anwendungen wie im Gesundheitswesen und beim autonomen Fahren reicht es nicht aus, sich ausschließlich auf mAP zu verlassen.

Zusätzliche Faktoren wie die Inferenzgeschwindigkeit (wie schnell das Modell Vorhersagen erstellt), die Modellgröße (mit Auswirkungen auf den Einsatz auf Edge-Geräten) und eine qualitative Fehleranalyse (zum Verständnis der Fehlerarten des Modells) müssen ebenfalls berücksichtigt werden, um sicherzustellen, dass das System sicher, effizient und für seinen vorgesehenen Zweck wirklich geeignet ist.

Tritt unserer wachsenden Community und unserem GitHub-Repository bei, um mehr über Computer Vision zu erfahren. Entdecke unsere Lösungsseiten, um mehr über Anwendungen von Computer Vision in der Landwirtschaft und KI in der Logistik zu erfahren. Sieh dir unsere Lizenzoptionen an und beginne noch heute mit deinem eigenen Computer-Vision-Modell!