Messung der KI-Leistung, um die Wirkung deiner Innovationen zu bewerten

Wir haben bereits untersucht, wie KI in verschiedenen Branchen wie Gesundheitswesen, Fertigung und Tourismus eingesetzt werden kann. Wir haben uns auch damit befasst, wie KI alltägliche Arbeitsaufgaben verbessern kann, und führende KI-Geschäftsideen diskutiert. All diese Diskussionen führen unweigerlich zur selben Schlüsselfrage: Wie können wir den Erfolg solcher KI-Implementierungen messen? Das ist eine wichtige Frage, denn die bloße Bereitstellung von KI-Lösungen reicht nicht aus. Sicherzustellen, dass diese Lösungen tatsächlich Ergebnisse liefern, macht sie zu bahnbrechenden Innovationen.

Wir können KI-Leistungskennzahlen messen, um festzustellen, ob ein KI-Modell wirklich effektiv Prozesse effizienter macht, Innovationen anstößt oder Probleme löst. Indem wir uns auf die richtigen Key Performance Indicators (KPIs) konzentrieren, können wir verstehen, wie gut eine KI-Lösung funktioniert und wo Verbesserungen nötig sein könnten.

In diesem Artikel werfen wir einen Blick darauf, wie du den Erfolg von KI-Implementierungen mit den relevantesten KPIs misst. Wir behandeln die Unterschiede zwischen geschäftlichen KPIs und KI-Leistungs-KPIs, gehen auf wichtige Metriken wie Precision und Recall ein und helfen dir dabei, die besten KPIs für deine spezifischen KI-Lösungen auszuwählen.

Link to this sectionDer Unterschied zwischen geschäftlichen KI-KPIs und KI-Leistungs-KPIs#

Abb. 1. Vergleich von geschäftlichen KI-KPIs und KI-Leistungs-KPIs.

Wenn du an KPIs denkst, gehst du wahrscheinlich davon aus, dass sie sich alle auf geschäftliche Kennzahlen wie Return on Investment (ROI), Kosteneinsparungen oder erzielte Umsätze beziehen – besonders wenn es um Enterprise-KI geht. Diese geschäftlichen KI-KPIs messen, wie sich KI auf den Gesamterfolg eines Unternehmens auswirkt, und stimmen mit breiteren Geschäftszielen überein.

KI-Leistungs-KPIs hingegen konzentrieren sich darauf, wie gut das KI-System selbst funktioniert, und verwenden Metriken wie Genauigkeit, Precision und Recall. Wir gehen weiter unten auf die Details dieser Metriken ein, aber im Wesentlichen stellen Leistungs-KPIs sicher, dass ein KI-Modell seine Arbeit effektiv erledigt, während geschäftliche KPIs die finanziellen und strategischen Vorteile von KI aufzeigen.

Bestimmte Metriken können tatsächlich beiden Zwecken dienen. Zum Beispiel können Effizienzsteigerungen, wie die Reduzierung der für eine Aufgabe benötigten Zeit oder Ressourcen, sowohl ein Leistungs-KPI (der zeigt, wie gut die KI-Lösung funktioniert) als auch ein geschäftlicher KPI (der Kosteneinsparungen und Produktivitätssteigerungen misst) sein. Kundenzufriedenheit ist eine weitere überschneidende Metrik. Sie kann den Erfolg eines KI-gestützten Kundenservice-Tools sowohl in Bezug auf seine technische Leistung als auch auf seine Auswirkungen auf die allgemeinen Geschäftsziele widerspiegeln.

Link to this sectionDie wichtigsten KI-Leistungskennzahlen verstehen#

Es gibt einige gängige Metriken, die verwendet werden, um die Leistung eines KI-Modells zu messen. Zuerst schauen wir uns ihre Definition und Berechnung an. Danach sehen wir, wie diese Metriken überwacht werden können.

Link to this sectionPrecision#

Precision ist eine Metrik, die misst, wie genau ein KI-Modell True Positives erkennt (Fälle, in denen das Modell ein Objekt oder einen Zustand korrekt als das identifiziert, was es sein soll). In einem Gesichtserkennungssystem zum Beispiel tritt ein True Positive auf, wenn das System das Gesicht einer Person, auf das es trainiert wurde, korrekt erkennt und identifiziert, um es zu detektieren.

Um die Precision zu berechnen, zähle zuerst die Anzahl der True Positives. Dann teilst du diese durch die Gesamtzahl der Elemente, die das Modell als positiv gekennzeichnet hat. Diese Summe enthält sowohl korrekte Identifizierungen als auch Fehler, die als False Positives bezeichnet werden. Im Wesentlichen sagt dir die Precision, wie oft das Modell richtig liegt, wenn es behauptet, etwas erkannt zu haben.

Abb. 2. Precision verstehen.

Sie ist besonders wichtig in Szenarien, in denen die Folgen von False Positives kostspielig oder störend sein können. In der automatisierten Fertigung beispielsweise zeigt eine hohe Precision an, dass das System defekte Produkte genauer markieren und unnötiges Entsorgen oder Nachbearbeiten guter Artikel verhindern kann. Ein weiteres gutes Beispiel ist die Sicherheitsüberwachung. Eine hohe Precision hilft, Fehlalarme zu minimieren und sich nur auf echte Bedrohungen zu konzentrieren, die eine Sicherheitsreaktion erfordern.

Link to this sectionRecall#

Recall hilft dabei, die Fähigkeit eines KI-Modells zu messen, alle relevanten Instanzen oder True Positives innerhalb eines Datensatzes zu identifizieren. Einfach ausgedrückt stellt er dar, wie gut ein KI-System alle tatsächlichen Fälle eines Zustands oder Objekts erfassen kann, für deren Erkennung es entwickelt wurde. Der Recall lässt sich berechnen, indem man die Anzahl der korrekten Erkennungen durch die Gesamtzahl der positiven Fälle teilt, die hätten erkannt werden sollen (dies umfasst sowohl die vom Modell korrekt identifizierten als auch die übersehenen Fälle).

Betrachte ein KI-gestütztes medizinisches Bildgebungssystem zur Krebserkennung. Der Recall spiegelt in diesem Kontext den Prozentsatz der tatsächlichen Krebsfälle wider, die das System korrekt identifiziert. Ein hoher Recall ist in solchen Szenarien entscheidend, da das Übersehen einer Krebsdiagnose schwerwiegende Folgen für die Patientenversorgung haben kann.

Link to this sectionPrecision versus Recall#

Precision und Recall sind wie zwei Seiten derselben Medaille, wenn es um die Bewertung der Leistung eines KI-Modells geht, und sie erfordern oft ein Gleichgewicht. Die Herausforderung besteht darin, dass die Verbesserung der einen Metrik oft auf Kosten der anderen geht.

Angenommen, du strebst eine höhere Precision an. Das Modell wird möglicherweise selektiver und ist in der Lage, nur die Positiven zu identifizieren, bei denen es sich sehr sicher ist. Wenn du hingegen den Recall verbessern möchtest, erkennt das Modell möglicherweise mehr Positive, aber dies könnte zu mehr False Positives führen und letztendlich die Precision senken.

Der Schlüssel liegt darin, das richtige Gleichgewicht zwischen Precision und Recall basierend auf den spezifischen Anforderungen deiner Anwendung zu finden. Ein nützliches Werkzeug hierfür ist die Precision-Recall-Kurve, die die Beziehung zwischen beiden Metriken bei verschiedenen Schwellenwerten zeigt. Durch die Analyse dieser Kurve kannst du den optimalen Punkt bestimmen, an dem das Modell für deinen spezifischen Anwendungsfall am besten funktioniert. Das Verständnis dieses Abwägungsprozesses hilft bei der Feinabstimmung von KI-Modellen, damit sie für ihre beabsichtigten Anwendungsfälle optimal funktionieren.

Abb. 3. Ein Beispiel für eine Precision-Recall-Kurve.

Link to this sectionMean Average Precision (mAP)#

Mean Average Precision (mAP) ist eine Metrik zur Bewertung der Leistung von KI-Modellen für Aufgaben wie Objektdetektion, bei denen das Modell mehrere Objekte in einem Bild identifizieren und klassifizieren muss. mAP gibt dir einen einzigen Wert, der zeigt, wie gut das Modell über alle verschiedenen Kategorien hinweg abschneidet, die es erkennen soll. Lass uns sehen, wie er berechnet wird.

Die Fläche unter einer Precision-Recall-Kurve ergibt die Average Precision (AP) für diese Klasse. AP misst, wie genau das Modell Vorhersagen für eine spezifische Klasse trifft, unter Berücksichtigung von Precision und Recall bei verschiedenen Konfidenzniveaus (Konfidenzniveaus beziehen sich darauf, wie sicher sich das Modell bei seinen Vorhersagen ist). Sobald die AP für jede Klasse berechnet ist, wird die mAP durch die Mittelwertbildung dieser AP-Werte über alle Klassen hinweg bestimmt.

Abb. 4. Die durchschnittliche Precision verschiedener Klassen.

mAP ist nützlich in Anwendungen wie autonomem Fahren, bei denen mehrere Objekte, wie Fußgänger, Fahrzeuge und Verkehrsschilder, gleichzeitig erkannt werden müssen. Ein hoher mAP-Wert bedeutet, dass das Modell durchgehend über alle Kategorien hinweg gute Ergebnisse liefert, was es in einer Vielzahl von Szenarien zuverlässig und präzise macht.

Link to this sectionLeistungskennzahlen mühelos berechnen#

Die Formeln und Methoden zur Berechnung wichtiger KI-Leistungskennzahlen können entmutigend wirken. Werkzeuge wie das Ultralytics-Paket machen es jedoch einfach und schnell. Egal, ob du an Aufgaben zur Objektdetektion, Segmentierung oder Klassifizierung arbeitest, Ultralytics bietet die notwendigen Hilfsmittel, um wichtige Metriken wie Precision, Recall und Mean Average Precision (mAP) schnell zu berechnen.

Um mit der Berechnung von Leistungskennzahlen mit Ultralytics zu beginnen, kannst du das Ultralytics-Paket wie unten gezeigt installieren.

Für dieses Beispiel laden wir ein vorab trainiertes YOLOv8-Modell und verwenden es zur Validierung der Leistungskennzahlen, aber du kannst jedes der unterstützten von Ultralytics bereitgestellten Modelle laden. So gehst du dabei vor:

Sobald das Modell geladen ist, kannst du eine Validierung deines Datensatzes durchführen. Der folgende Code-Schnipsel hilft dir bei der Berechnung verschiedener Leistungskennzahlen, einschließlich Precision, Recall und mAP:

Die Nutzung von Werkzeugen wie Ultralytics macht die Berechnung von Leistungskennzahlen viel einfacher, sodass du mehr Zeit mit der Verbesserung deines Modells verbringen kannst und dich weniger mit den Details des Bewertungsprozesses befassen musst.

Link to this sectionWie wird die KI-Leistung nach der Bereitstellung gemessen?#

Bei der Entwicklung deines KI-Modells ist es einfach, seine Leistung in einer kontrollierten Umgebung zu testen. Sobald das Modell jedoch bereitgestellt ist, können die Dinge komplizierter werden. Glücklicherweise gibt es Werkzeuge und Best Practices, die dir helfen können, deine KI-Lösung nach der Bereitstellung zu überwachen.

Werkzeuge wie Prometheus, Grafana und Evidently AI wurden entwickelt, um die Leistung deines Modells kontinuierlich zu verfolgen. Sie können Echtzeit-Einblicke liefern, Anomalien erkennen und dich auf mögliche Probleme aufmerksam machen. Diese Werkzeuge gehen über die traditionelle Überwachung hinaus, indem sie automatisierte, skalierbare Lösungen bieten, die sich an die dynamische Natur von KI-Modellen in der Produktion anpassen.

Um den Erfolg deines KI-Modells nach der Bereitstellung zu messen, sind hier einige Best Practices, die du befolgen solltest:

• Lege klare Leistungskennzahlen fest: Entscheide dich für wichtige Metriken wie Genauigkeit, Precision und Antwortzeit, um regelmäßig zu überprüfen, wie gut dein Modell funktioniert.
• Überprüfe regelmäßig auf Data Drift: Achte auf Änderungen in den Daten, die dein Modell verarbeitet, da dies seine Vorhersagen beeinflussen kann, wenn es nicht richtig gehandhabt wird.
• Führe A/B-Tests durch: Verwende A/B-Tests, um die Leistung deines aktuellen Modells mit neuen Versionen oder Optimierungen zu vergleichen. Dies ermöglicht es dir, Verbesserungen oder Regressionen im Modellverhalten quantitativ zu bewerten.
• Dokumentiere und prüfe die Leistung: Führe detaillierte Protokolle der Leistungsmetriken und der an deinem KI-System vorgenommenen Änderungen. Dies ist entscheidend für Audits, Compliance und die langfristige Verbesserung der Architektur deines Modells.

Link to this sectionDie Auswahl optimaler KI-KPIs ist erst der Anfang#

Die erfolgreiche Bereitstellung und Verwaltung einer KI-Lösung hängt davon ab, die richtigen KPIs auszuwählen und auf dem neuesten Stand zu halten. Insgesamt ist es wichtig, Metriken zu wählen, die hervorheben, wie gut die KI-Lösung technisch und im Hinblick auf den geschäftlichen Nutzen abschneidet. Wenn sich Dinge ändern, sei es durch technologische Fortschritte oder Verschiebungen in deiner Geschäftsstrategie, ist es wichtig, diese KPIs erneut zu überprüfen und anzupassen.

Indem du deine Leistungsüberprüfungen dynamisch hältst, kannst du dein KI-System relevant und effektiv halten. Wenn du den Überblick über diese Metriken behältst, gewinnst du wertvolle Erkenntnisse, die helfen, deine Betriebsabläufe zu verbessern. Ein proaktiver Ansatz garantiert, dass deine KI-Bemühungen wirklich wertvoll sind und dazu beitragen, dein Unternehmen voranzubringen!

Werde Teil unserer Community und entwickle gemeinsam mit uns Innovationen! Durchstöbere unser GitHub-Repository, um unsere KI-Fortschritte zu sehen. Erfahre, wie wir Branchen wie das produzierende Gewerbe und das Gesundheitswesen mit bahnbrechender KI-Technologie neu gestalten. 🚀