Messung der KI-Leistung, um die Wirkung deiner Innovationen zu bewerten

Wir haben zuvor untersucht, wie KI in verschiedenen Branchen wie dem Gesundheitswesen, der fertigenden Industrie und dem Tourismus eingesetzt werden kann. Wir haben uns auch angesehen, wie KI alltägliche Arbeitsaufgaben verbessern kann, und führende KI-Geschäftsideen diskutiert. Alle diese Diskussionen führen unweigerlich zu derselben Schlüsselfrage: Wie können wir den Erfolg solcher KI-Implementierungen messen? Das ist eine wichtige Frage, denn es reicht nicht aus, einfach nur KI-Lösungen einzusetzen. Sicherzustellen, dass diese Lösungen tatsächlich Ergebnisse liefern, macht sie zu echten Game-Changern.

Wir können KI-Leistungsmetriken messen, um festzustellen, ob ein KI-Modell wirklich effektiv dabei ist, Prozesse effizienter zu gestalten, Innovationen voranzutreiben oder Probleme zu lösen. Wenn wir uns auf die richtigen Key Performance Indicators (KPIs) konzentrieren, können wir verstehen, wie gut eine KI-Lösung funktioniert und wo sie möglicherweise verbessert werden muss.

In diesem Artikel werfen wir einen Blick darauf, wie sich der Erfolg von KI-Implementierungen anhand der relevantesten KPIs messen lässt. Wir gehen auf die Unterschiede zwischen geschäftlichen KPIs und KI-Leistungs-KPIs ein, besprechen wichtige Metriken wie Precision und Recall und helfen dir dabei, die besten KPIs für deine spezifischen KI-Lösungen auszuwählen.

Der Unterschied zwischen geschäftlichen KI-KPIs und KI-Leistungs-KPIs#

Abb. 1. Vergleich von geschäftlichen KI-KPIs und KI-Leistungs-KPIs.

Wenn du an KPIs denkst, gehst du ganz natürlich davon aus, dass es sich dabei um Geschäftsmetriken wie den Return on Investment (ROI), Kosteneinsparungen oder generierte Umsätze handelt – insbesondere, wenn man von Enterprise-KI spricht. Diese KI-Geschäfts-KPIs messen, wie sich die KI auf den Gesamterfolg eines Unternehmens auswirkt, und stimmen mit umfassenderen Unternehmenszielen überein.

KI-Leistungs-KPIs konzentrieren sich jedoch darauf, wie gut das KI-System selbst funktioniert, wobei Metriken wie Accuracy, Precision und Recall verwendet werden. Wir gehen im Folgenden genauer auf diese Metriken ein, aber im Wesentlichen zeigen Geschäfts-KPIs die finanziellen und strategischen Vorteile von KI auf, während Leistungs-KPIs sicherstellen, dass ein KI-Modell seine Aufgabe effektiv erfüllt.

Bestimmte Metriken können tatsächlich beiden Zwecken dienen. Zum Beispiel können Effizienzsteigerungen – etwa die Reduzierung von Zeit oder Ressourcen, die zum Abschließen einer Aufgabe erforderlich sind – sowohl ein Leistungs-KPI (der zeigt, wie gut die KI-Lösung funktioniert) als auch ein Geschäfts-KPI (der Kosteneinsparungen und Produktivitätsverbesserungen misst) sein. Kundenzufriedenheit ist eine weitere Crossover-Metrik. Sie kann den Erfolg eines KI-gestützten Kundenservicetools sowohl hinsichtlich seiner technischen Leistung als auch hinsichtlich seiner Auswirkungen auf die allgemeinen Unternehmensziele widerspiegeln.

Die wichtigsten KI-Leistungskennzahlen verstehen#

Es gibt einige gängige Metriken, die verwendet werden, um die Leistung eines KI-Modells zu messen. Zuerst schauen wir uns ihre Definition und Berechnung an. Danach sehen wir, wie diese Metriken überwacht werden können.

Precision#

Precision ist eine Metrik, die misst, wie genau ein KI-Modell True Positives erkennt (Fälle, in denen das Modell ein Objekt oder einen Zustand wie vorgesehen korrekt identifiziert). In einem Gesichtserkennungssystem tritt ein True Positive beispielsweise dann auf, wenn das System das Gesicht einer Person, auf deren Erkennung es trainiert wurde, korrekt erkennt und identifiziert.

Um die Precision zu berechnen, zähle zuerst die Anzahl der True Positives. Dann teilst du diese durch die Gesamtzahl der Elemente, die das Modell als positiv gekennzeichnet hat. Diese Summe enthält sowohl korrekte Identifizierungen als auch Fehler, die als False Positives bezeichnet werden. Im Wesentlichen sagt dir die Precision, wie oft das Modell richtig liegt, wenn es behauptet, etwas erkannt zu haben.

Abb. 2 Verständnis von Precision.

Dies ist besonders wichtig in Szenarien, in denen die Folgen von False Positives kostspielig oder störend sein können. In der automatisierten Fertigung weist eine hohe Precision-Rate beispielsweise darauf hin, dass das System defekte Produkte genauer kennzeichnen und das unnötige Aussortieren oder Nacharbeiten guter Teile verhindern kann. Ein weiteres gutes Beispiel ist die Sicherheitsüberwachung. Eine hohe Precision hilft dabei, Fehlalarme zu minimieren und sich nur auf echte Bedrohungen zu konzentrieren, die eine Sicherheitsreaktion erfordern.

Recall#

Recall hilft dabei, die Fähigkeit eines KI-Modells zu messen, alle relevanten Instanzen oder True Positives innerhalb eines Datensatzes zu identifizieren. Einfach ausgedrückt stellt er dar, wie gut ein KI-System alle tatsächlichen Fälle eines Zustands oder Objekts erfassen kann, für deren Erkennung es entwickelt wurde. Der Recall lässt sich berechnen, indem man die Anzahl der korrekten Erkennungen durch die Gesamtzahl der positiven Fälle teilt, die hätten erkannt werden sollen (dies umfasst sowohl die vom Modell korrekt identifizierten als auch die übersehenen Fälle).

Betrachte ein KI-gestütztes medizinisches Bildgebungssystem, das zur Krebsfrüherkennung eingesetzt wird. Der Recall spiegelt in diesem Zusammenhang den Prozentsatz der tatsächlichen Krebsfälle wider, die das System korrekt identifiziert. Ein hoher Recall ist in solchen Szenarien von entscheidender Bedeutung, da das Übersehen einer Krebsdiagnose schwerwiegende Folgen für die Patientenversorgung haben kann.

Precision versus Recall#

Precision und Recall sind wie zwei Seiten derselben Medaille, wenn es um die Bewertung der Leistung eines KI-Modells geht, und sie erfordern oft ein Gleichgewicht. Die Herausforderung besteht darin, dass die Verbesserung einer Metrik oft auf Kosten der anderen gehen kann.

Angenommen, du strebst eine höhere Precision an. Das Modell wird möglicherweise selektiver und ist in der Lage, nur die Positiven zu identifizieren, bei denen es sich sehr sicher ist. Wenn du hingegen den Recall verbessern möchtest, erkennt das Modell möglicherweise mehr Positive, aber dies könnte zu mehr False Positives führen und letztendlich die Precision senken.

Der Schlüssel liegt darin, basierend auf den spezifischen Anforderungen deiner Anwendung das richtige Verhältnis zwischen Precision und Recall zu finden. Ein nützliches Werkzeug dafür ist die Precision-Recall-Kurve, die das Verhältnis zwischen den beiden Metriken bei verschiedenen Schwellenwerten zeigt. Durch die Analyse dieser Kurve kannst du den optimalen Punkt ermitteln, an dem das Modell für deinen spezifischen Anwendungsfall am besten funktioniert. Das Verständnis dieses Kompromisses hilft beim Fine-Tuning von KI-Modellen, damit diese für ihre vorgesehenen Anwendungsfälle optimal funktionieren.

Abb. 3 Ein Beispiel für eine Precision-Recall-Kurve.

Mean Average Precision (mAP)#

Mean Average Precision (mAP) ist eine Metrik zur Bewertung der Leistung von KI-Modellen für Aufgaben wie Objekterkennung, bei denen das Modell mehrere Objekte in einem Bild identifizieren und klassifizieren muss. mAP liefert dir einen einzigen Score, der zeigt, wie gut das Modell über alle verschiedenen Kategorien hinweg abschneidet, für deren Erkennung es trainiert wurde. Schauen wir uns an, wie er berechnet wird.

Die Fläche unter einer Precision-Recall-Kurve ergibt die Average Precision (AP) für diese Klasse. AP misst, wie genau das Modell Vorhersagen für eine spezifische Klasse trifft, unter Berücksichtigung von Precision und Recall bei verschiedenen Konfidenzniveaus (Konfidenzniveaus beziehen sich darauf, wie sicher sich das Modell bei seinen Vorhersagen ist). Sobald die AP für jede Klasse berechnet ist, wird die mAP durch die Mittelwertbildung dieser AP-Werte über alle Klassen hinweg bestimmt.

Abb. 4 Die durchschnittliche Precision verschiedener Klassen.

mAP ist nützlich in Anwendungen wie dem autonomen Fahren, bei denen mehrere Objekte wie Fußgänger, Fahrzeuge und Verkehrsschilder gleichzeitig erkannt werden müssen. Ein hoher mAP-Score bedeutet, dass das Modell in allen Kategorien durchgehend gute Leistungen erbringt, was es in einer Vielzahl von Szenarien zuverlässig und präzise macht.

Leistungskennzahlen mühelos berechnen#

Die Formeln und Methoden zur Berechnung wichtiger KI-Leistungsmetriken können einschüchternd wirken. Tools wie das Ultralytics-Paket machen es jedoch einfach und schnell. Ganz gleich, ob du an Objekterkennungs-, Segmentierungs- oder Klassifizierungsaufgaben arbeitest – Ultralytics stellt die erforderlichen Dienstprogramme bereit, um wichtige Metriken wie Precision, Recall und Mean Average Precision (mAP) schnell zu berechnen.

Um mit der Berechnung von Leistungsmetriken mit Ultralytics zu beginnen, kannst du das Ultralytics-Paket wie unten gezeigt installieren.

Für dieses Beispiel laden wir ein vortrainiertes YOLOv8-Modell und verwenden es zur Validierung von Leistungsmetriken, aber du kannst jedes beliebige der unterstützten von Ultralytics bereitgestellten Modelle laden. Hier ist die Vorgehensweise:

Sobald das Modell geladen ist, kannst du eine Validierung für deinen Datensatz durchführen. Der folgende Code-Schnipsel hilft dir dabei, verschiedene Leistungsmetriken zu berechnen, einschließlich Precision, Recall und mAP:

Die Nutzung von Werkzeugen wie Ultralytics macht die Berechnung von Leistungskennzahlen viel einfacher, sodass du mehr Zeit mit der Verbesserung deines Modells verbringen kannst und dich weniger mit den Details des Bewertungsprozesses befassen musst.

Wie wird die KI-Leistung nach der Bereitstellung gemessen?#

Bei der Entwicklung deines KI-Modells ist es einfach, dessen Leistung in einer kontrollierten Umgebung zu testen. Sobald das Modell jedoch bereitgestellt ist, kann die Sache komplizierter werden. Glücklicherweise gibt es Tools und Best Practices, die dir dabei helfen können, deine KI-Lösung nach der Bereitstellung zu überwachen.

Werkzeuge wie Prometheus, Grafana und Evidently AI wurden entwickelt, um die Leistung deines Modells kontinuierlich zu verfolgen. Sie können Echtzeit-Einblicke liefern, Anomalien erkennen und dich auf mögliche Probleme aufmerksam machen. Diese Werkzeuge gehen über die traditionelle Überwachung hinaus, indem sie automatisierte, skalierbare Lösungen bieten, die sich an die dynamische Natur von KI-Modellen in der Produktion anpassen.

Um den Erfolg deines KI-Modells nach der Bereitstellung zu messen, sind hier einige Best Practices, die du befolgen solltest:

• Lege klare Leistungskennzahlen fest: Entscheide dich für wichtige Metriken wie Genauigkeit, Precision und Antwortzeit, um regelmäßig zu überprüfen, wie gut dein Modell funktioniert.
• Überprüfe regelmäßig auf Data Drift: Achte auf Änderungen in den Daten, die dein Modell verarbeitet, da dies seine Vorhersagen beeinflussen kann, wenn es nicht richtig gehandhabt wird.
• A/B-Tests durchführen: Verwende A/B-Tests, um die Leistung deines aktuellen Modells mit neuen Versionen oder Anpassungen zu vergleichen. Dies ermöglicht es dir, Verbesserungen oder Regressionen im Modellverhalten quantitativ zu bewerten.
• Leistung dokumentieren und auditieren: Führe detaillierte Protokolle der Leistungsmetriken und der an deinem KI-System vorgenommenen Änderungen. Dies ist entscheidend für Audits, die Compliance und die kontinuierliche Verbesserung der Architektur deines Modells.

Die Auswahl optimaler KI-KPIs ist erst der Anfang#

Die erfolgreiche Bereitstellung und Verwaltung einer KI-Lösung hängt von der Auswahl der richtigen KPIs und deren Aktualisierung ab. Insgesamt ist es von vitaler Bedeutung, Metriken auszuwählen, die hervorheben, wie gut die KI-Lösung technisch und im Hinblick auf den geschäftlichen Nutzen abschneidet. Da sich die Dinge ändern – sei es durch technologische Fortschritte oder Verschiebungen in deiner Geschäftsstrategie –, ist es wichtig, diese KPIs regelmäßig zu überprüfen und anzupassen.

Indem du deine Leistungsüberprüfungen dynamisch hältst, kannst du dein KI-System relevant und effektiv halten. Wenn du den Überblick über diese Metriken behältst, gewinnst du wertvolle Erkenntnisse, die helfen, deine Betriebsabläufe zu verbessern. Ein proaktiver Ansatz garantiert, dass deine KI-Bemühungen wirklich wertvoll sind und dazu beitragen, dein Unternehmen voranzubringen!

Werde Teil unserer Community und innoviere gemeinsam mit uns! Erkunde unser GitHub-Repository, um unsere KI-Fortschritte zu sehen. Erfahre, wie wir Branchen wie die fertigende Industrie und das Gesundheitswesen mit bahnbrechender KI-Technologie neu gestalten. 🚀