Die KI-Leistung messen, um die Wirkung deiner Innovationen zu bewerten

Wir haben bereits untersucht, wie KI in verschiedenen Branchen wie dem Gesundheitswesen, der Fertigung und dem Tourismus eingesetzt werden kann. Außerdem haben wir uns angesehen, wie KI alltägliche Arbeitsaufgaben verbessern kann, und über führende Geschäftsideen im Bereich KI gesprochen. All diese Diskussionen führen unweigerlich zur gleichen zentralen Frage: Wie lässt sich der Erfolg solcher KI-Implementierungen messen? Diese Frage ist wichtig, denn KI-Lösungen einfach nur einzusetzen, reicht nicht aus. Entscheidend ist, sicherzustellen, dass diese Lösungen tatsächlich Ergebnisse liefern.

Wir können KI-Leistungsmetriken messen, um festzustellen, ob ein KI-Modell Prozesse tatsächlich effizienter gestaltet, Innovationen anstößt oder Probleme löst. Indem wir uns auf die passenden Leistungskennzahlen (KPIs) konzentrieren, können wir nachvollziehen, wie gut eine KI-Lösung funktioniert und wo Verbesserungen nötig sein könnten.

In diesem Artikel sehen wir uns an, wie sich der Erfolg von KI-Implementierungen anhand der relevantesten KPIs messen lässt. Wir erläutern die Unterschiede zwischen geschäftlichen KPIs und KPIs zur KI-Leistung, behandeln wichtige Metriken wie Präzision und Trefferquote und helfen dir dabei, die passenden KPIs für deine spezifischen KI-Lösungen auszuwählen.

Der Unterschied zwischen geschäftlichen KPIs und KPIs zur KI-Leistung#

Abb. 1. Vergleich von KI-Geschäftskennzahlen und KI-Leistungskennzahlen.

Bei KPIs denkst du wahrscheinlich zunächst an Geschäftskennzahlen wie Kapitalrendite (ROI), Kosteneinsparungen oder erzielte Umsätze – besonders, wenn es um Unternehmens-KI geht. Diese geschäftlichen KI-KPIs messen, wie sich KI auf den Gesamterfolg eines Unternehmens auswirkt, und sind auf umfassendere Geschäftsziele abgestimmt.

Leistungs-KPIs für KI konzentrieren sich dagegen darauf, wie gut das KI-System selbst funktioniert. Dafür werden Kennzahlen wie Genauigkeit, Präzision und Trefferquote verwendet. Auf diese Kennzahlen gehen wir weiter unten genauer ein. Im Wesentlichen zeigen geschäftliche KPIs die finanziellen und strategischen Vorteile von KI auf, während Leistungs-KPIs sicherstellen, dass ein KI-Modell seine Aufgabe effektiv erfüllt.

Bestimmte Kennzahlen können beiden Zwecken dienen. Effizienzgewinne, etwa die Verringerung des Zeit- oder Ressourcenaufwands für eine Aufgabe, können sowohl ein Leistungs-KPI sein, das zeigt, wie gut die KI-Lösung funktioniert, als auch ein geschäftlicher KPI, der Kosteneinsparungen und Produktivitätssteigerungen misst. Auch die Kundenzufriedenheit ist eine Kennzahl, die beide Bereiche verbindet. Sie kann den Erfolg eines KI-gestützten Kundenservice-Tools sowohl im Hinblick auf seine technische Leistung als auch auf seine Auswirkungen auf die übergeordneten Geschäftsziele widerspiegeln.

Wichtige Kennzahlen zur KI-Leistung verstehen#

Es gibt einige gängige Kennzahlen, mit denen sich die Leistung eines KI-Modells messen lässt. Zunächst sehen wir uns ihre Definitionen und Berechnungen an. Anschließend erfahren wir, wie sich diese Kennzahlen überwachen lassen.

Präzision#

Präzision ist eine Kennzahl, die misst, wie genau ein KI-Modell tatsächlich positive Fälle erkennt – also Fälle, in denen das Modell ein Objekt oder einen Zustand wie vorgesehen korrekt identifiziert. In einem Gesichtserkennungssystem läge beispielsweise ein tatsächlich positiver Fall vor, wenn das System ein Gesicht korrekt erkennt und identifiziert, auf dessen Erkennung es trainiert wurde.

Um die Präzision zu berechnen, zählst du zunächst die richtig positiven Fälle. Teile diese Zahl anschließend durch die Gesamtzahl der Fälle, die das Modell als positiv eingestuft hat. Diese Gesamtzahl umfasst sowohl korrekte Erkennungen als auch Fehler, die als falsch positive Fälle bezeichnet werden. Im Wesentlichen zeigt dir die Präzision, wie oft das Modell richtig liegt, wenn es angibt, etwas erkannt zu haben.

Abb. 2. Präzision verstehen.

Besonders wichtig ist die Präzision in Situationen, in denen falsch positive Fälle kostspielige oder störende Folgen haben können. In der automatisierten Fertigung weist eine hohe Präzision beispielsweise darauf hin, dass das System fehlerhafte Produkte genauer kennzeichnen und so verhindern kann, dass einwandfreie Produkte unnötig aussortiert oder nachbearbeitet werden. Ein weiteres gutes Beispiel ist die Sicherheitsüberwachung. Eine hohe Präzision hilft, Fehlalarme zu minimieren und sich auf tatsächliche Bedrohungen zu konzentrieren, die eine Sicherheitsmaßnahme erfordern.

Trefferquote#

Die Trefferquote misst, wie gut ein KI-Modell alle relevanten Fälle oder richtig positiven Fälle in einem Datensatz erkennen kann. Einfach ausgedrückt gibt sie an, wie gut ein KI-System alle tatsächlich vorliegenden Fälle eines Zustands oder Objekts erfasst, für deren Erkennung es ausgelegt ist. Du berechnest die Trefferquote, indem du die Anzahl der korrekten Erkennungen durch die Gesamtzahl der positiven Fälle teilst, die hätten erkannt werden müssen. Diese umfasst sowohl die vom Modell korrekt identifizierten als auch die übersehenen Fälle.

Betrachte ein KI-gestütztes medizinisches Bildgebungssystem, das zur Krebserkennung eingesetzt wird. Die Trefferquote gibt in diesem Zusammenhang den Prozentsatz der tatsächlichen Krebsfälle an, die das System korrekt erkennt. Eine hohe Trefferquote ist in solchen Situationen entscheidend, denn eine übersehene Krebsdiagnose kann schwerwiegende Folgen für die Patientenversorgung haben.

Präzision und Trefferquote im Vergleich#

Bei der Bewertung der Leistung eines KI-Modells sind Präzision und Trefferquote wie zwei Seiten derselben Medaille. Oft muss zwischen ihnen abgewogen werden. Die Herausforderung besteht darin, dass die Verbesserung der einen Kennzahl häufig zulasten der anderen geht.

Nehmen wir an, du strebst eine höhere Präzision an. Das Modell könnte wählerischer werden und nur positive Fälle identifizieren, bei denen es sich sehr sicher ist. Wenn du hingegen die Trefferquote verbessern möchtest, könnte das Modell mehr positive Fälle erkennen. Dazu könnten jedoch auch mehr falsch positive Fälle gehören, wodurch die Präzision sinkt.

Entscheidend ist, je nach den spezifischen Anforderungen deiner Anwendung das richtige Gleichgewicht zwischen Präzision und Trefferquote zu finden. Ein hilfreiches Werkzeug dafür ist die Präzisions-Trefferquoten-Kurve, die den Zusammenhang zwischen den beiden Kennzahlen bei verschiedenen Schwellenwerten zeigt. Anhand dieser Kurve kannst du den optimalen Punkt bestimmen, an dem das Modell für deinen konkreten Anwendungsfall am besten funktioniert. Wenn du diesen Zielkonflikt verstehst, kannst du KI-Modelle optimal abstimmen, damit sie für ihre vorgesehenen Einsatzbereiche die beste Leistung erbringen.

Abb. 3. Beispiel einer Präzisions-Trefferquote-Kurve.

Mittlere durchschnittliche Präzision (mAP)#

Die mittlere durchschnittliche Präzision (mAP) ist eine Kennzahl zur Bewertung der Leistung von KI-Modellen bei Aufgaben wie der Objekterkennung, bei denen das Modell mehrere Objekte in einem Bild identifizieren und klassifizieren muss. Die mAP liefert einen einzelnen Wert, der zeigt, wie gut das Modell über alle verschiedenen Kategorien hinweg abschneidet, auf deren Erkennung es trainiert wurde. Sehen wir uns an, wie sie berechnet wird.

Die Fläche unter einer Präzisions-Trefferquoten-Kurve ergibt die durchschnittliche Präzision (AP) für die jeweilige Klasse. Die AP misst, wie genau das Modell Vorhersagen für eine bestimmte Klasse trifft, wobei Präzision und Trefferquote über verschiedene Konfidenzwerte hinweg berücksichtigt werden. Konfidenzwerte geben an, wie sicher sich das Modell bei seinen Vorhersagen ist. Sobald die AP für jede Klasse berechnet wurde, ergibt sich die mAP aus dem Durchschnitt dieser AP-Werte über alle Klassen hinweg.

Abb. 4. Die durchschnittliche Präzision verschiedener Klassen.

Die mAP ist für Anwendungen wie das autonome Fahren nützlich, bei denen mehrere Objekte wie Fußgänger, Fahrzeuge und Verkehrszeichen gleichzeitig erkannt werden müssen. Ein hoher mAP-Wert bedeutet, dass das Modell über alle Kategorien hinweg konstant gute Ergebnisse erzielt und somit in vielen verschiedenen Situationen zuverlässig und genau ist.

Leistungskennzahlen mühelos berechnen#

Die Formeln und Methoden zur Berechnung wichtiger KI-Leistungskennzahlen können abschreckend wirken. Mit Tools wie dem Ultralytics-Paket geht es jedoch einfach und schnell. Ganz gleich, ob du an Aufgaben zur Objekterkennung, Segmentierung oder Klassifizierung arbeitest: Ultralytics stellt die erforderlichen Werkzeuge bereit, um wichtige Kennzahlen wie Präzision, Trefferquote und mittlere durchschnittliche Präzision (mAP) schnell zu berechnen.

Um mit der Berechnung von Leistungskennzahlen mit Ultralytics zu beginnen, kannst du das Ultralytics-Paket wie unten gezeigt installieren.

pip install ultralytics

Für dieses Beispiel laden wir ein vortrainiertes YOLOv8-Modell und verwenden es zur Validierung von Leistungskennzahlen. Du kannst jedoch jedes der unterstützten von Ultralytics bereitgestellten Modelle laden. So geht's:

from ultralytics import YOLO

# Ein vortrainiertes YOLOv8-Modell laden
model = YOLO("yolov8n.pt")

Sobald das Modell geladen ist, kannst du deinen Datensatz validieren. Mit dem folgenden Codeausschnitt kannst du verschiedene Leistungskennzahlen berechnen, darunter Präzision, Trefferquote und mAP:

# Das Modell anhand eines Datensatzes validieren (COCO8 ist ein kleiner Beispieldatensatz)
metrics = model.val(data="coco8.yaml")

print(metrics.box.mp)  # mittlere Präzision
print(metrics.box.mr)  # mittlere Trefferquote
print(metrics.box.map50)  # mAP bei IoU 0.5
print(metrics.box.map)  # mAP50-95

Mit Tools wie Ultralytics lassen sich Leistungskennzahlen viel einfacher berechnen. So kannst du mehr Zeit in die Verbesserung deines Modells investieren und musst dich weniger mit den Details des Evaluierungsprozesses beschäftigen.

Wie wird die KI-Leistung nach der Bereitstellung gemessen?#

Bei der Entwicklung deines KI-Modells lässt sich seine Leistung in einer kontrollierten Umgebung leicht testen. Nach der Bereitstellung kann es jedoch komplizierter werden. Zum Glück gibt es Tools und bewährte Verfahren, mit denen du deine KI-Lösung nach der Bereitstellung überwachen kannst.

Tools wie Prometheus, Grafana und Evidently AI sind darauf ausgelegt, die Leistung deines Modells kontinuierlich zu verfolgen. Sie liefern Echtzeiteinblicke, erkennen Anomalien und weisen dich auf mögliche Probleme hin. Diese Tools gehen über die herkömmliche Überwachung hinaus und bieten automatisierte, skalierbare Lösungen, die sich an die dynamische Natur von KI-Modellen im Produktivbetrieb anpassen.

Hier sind einige bewährte Verfahren, mit denen du den Erfolg deines KI-Modells nach der Bereitstellung messen kannst:

• Leistungskennzahlen klar festlegen: Lege wichtige Kennzahlen wie Genauigkeit, Präzision und Antwortzeit fest, um regelmäßig zu prüfen, wie gut dein Modell funktioniert.
• Regelmäßig auf Datenverschiebungen prüfen: Achte auf Veränderungen bei den Daten, die dein Modell verarbeitet, denn sie können dessen Vorhersagen beeinflussen, wenn du sie nicht richtig berücksichtigst.
• A/B-Tests durchführen: Nutze A/B-Tests, um die Leistung deines aktuellen Modells mit neuen Versionen oder Anpassungen zu vergleichen. So kannst du Verbesserungen oder Rückschritte im Modellverhalten quantitativ bewerten.
• Leistung dokumentieren und auditieren: Führe detaillierte Protokolle zu Leistungskennzahlen und Änderungen an deinem KI-System. Das ist für Audits und Compliance entscheidend und hilft dir, die Architektur deines Modells im Laufe der Zeit zu verbessern.

Die Auswahl optimaler KI-Kennzahlen ist erst der Anfang#

Die erfolgreiche Bereitstellung und Verwaltung einer KI-Lösung hängt davon ab, die richtigen KPIs auszuwählen und aktuell zu halten. Insgesamt ist es entscheidend, Kennzahlen zu wählen, die zeigen, wie gut die KI-Lösung technisch und hinsichtlich ihrer geschäftlichen Auswirkungen funktioniert. Wenn sich etwas ändert – sei es durch technologische Fortschritte oder eine veränderte Geschäftsstrategie –, solltest du diese KPIs überprüfen und anpassen.

Wenn du deine Leistungsbewertungen dynamisch gestaltest, bleibt dein KI-System relevant und effektiv. Indem du diese Kennzahlen im Blick behältst, gewinnst du wertvolle Erkenntnisse, mit denen du deine Abläufe verbessern kannst. Ein proaktiver Ansatz hilft sicherzustellen, dass deine KI-Bemühungen wirklich einen Mehrwert bieten und dein Unternehmen voranbringen!

Werde Teil unserer Community und entwickle mit uns neue Ideen! Sieh dir unser GitHub-Repository an, um mehr über unsere Fortschritte im Bereich KI zu erfahren. Entdecke, wie wir Branchen wie die Fertigung und das Gesundheitswesen mit Vision AI verändern.