Bereitgestellte Computer-Vision-Modelle auf der Ultralytics Platform überwachen

Das Testen von Computer-Vision-Modellen, die Bilder und Videos analysieren, ist nicht immer dasselbe wie ihr Einsatz in der Produktion. Während der Entwicklung werden solche Modelle oder Algorithmen mit sauberen, gut aufbereiteten Datensätzen unter kontrollierten und vorhersehbaren Bedingungen getestet.

Nach der Bereitstellung wird die Situation dynamischer. Die Modelle sind dann echtem Datenverkehr ausgesetzt, bei dem das Anfragevolumen schwanken, sich Antwortzeiten ändern und es gelegentlich zu Ausfällen kommen kann.

In dieser Phase kommt es darauf an, ob das System zuverlässig läuft und die Endpunkte auch unter wechselnden Bedingungen verfügbar, reaktionsschnell und stabil bleiben.

Deshalb ist Überwachung unverzichtbar. Sie bietet einen klaren Überblick darüber, wie sich bereitgestellte Endpunkte in der Produktion verhalten. Dazu dienen Kennzahlen wie Anfragevolumen, Latenz, Fehlerraten und der allgemeine Systemzustand.

Damit das gelingt, sind die richtigen Tools ebenso wichtig wie das Modell selbst. Vor Kurzem hat Ultralytics die Ultralytics Platform vorgestellt, unsere neue End-to-End-Umgebung, die den gesamten Computer-Vision-Workflow vereint – von Daten und Training bis hin zu Bereitstellung und Überwachung.

Abb. 1. Bereitstellungs-Dashboard der Ultralytics Platform mit Überwachungsfunktionen (Quelle)

Da die Überwachung direkt in diesen Workflow integriert ist, können Nutzer den Zustand von Endpunkten verfolgen, das Anfrageverhalten untersuchen und zuverlässige Systeme betreiben, ohne auf separate Tools angewiesen zu sein. In diesem Artikel erfährst du, wie du mit der Ultralytics Platform bereitgestellte Modellendpunkte überwachst und Produktionssysteme zuverlässig am Laufen hältst. Los geht’s!

Überblick über die Überwachung von KI-Modellen#

Im Lebenszyklus eines KI-Modells bezeichnet Überwachung die Beobachtung des Verhaltens bereitgestellter Systeme, sobald ein Modell in Betrieb ist und echte Anfragen verarbeitet. Training und Validierung zeigen, wie ein Modell des maschinellen Lernens (ML-Modell) mit vorbereiteten Datensätzen abschneidet. Bei der Überwachung geht es dagegen darum, wie der bereitgestellte Endpunkt in einer Produktionsumgebung arbeitet.

Ein wesentlicher Bestandteil der Überwachung ist die Erfassung von Systemkennzahlen, die Zuverlässigkeit und Reaktionsfähigkeit widerspiegeln. Kennzahlen wie Latenz und Verfügbarkeit geben Aufschluss darüber, wie gut das System eingehende Anfragen verarbeitet. Die Latenz misst, wie lange es dauert, eine Anfrage zu verarbeiten und eine Antwort zurückzugeben. Die Verfügbarkeit zeigt, wie zuverlässig der Endpunkt erreichbar bleibt.

Ein weiterer wichtiger Aspekt ist die Beobachtbarkeit, die Einblick in die Verarbeitung von Anfragen gibt. Jedes Mal, wenn eine Eingabe, etwa ein Bild oder ein Videobild, an ein bereitgestelltes Modell gesendet wird, wird sie als Inferenzanfrage verarbeitet.

Protokolle erfassen diese Anfragen samt Details wie Zeitstempeln, Antwortzeiten und Statuscodes. So lassen sich Anfragen leichter nachverfolgen, Probleme beheben und Fehler untersuchen. Besonders hilfreich sind Protokolle, um Muster wie wiederholte Fehler, langsame Antworten oder unerwartetes Systemverhalten zu erkennen.

Durch die Kombination von Kennzahlen und Protokollen hilft die Überwachung Nutzern dabei, den Betrieb ihrer Systeme in der Produktion zu verstehen und bei auftretenden Problemen schnell zu reagieren.

Ein Vergleich von Modellleistungskennzahlen und Systemkennzahlen#

Bevor wir uns mit der Überwachung in der Produktion befassen, sehen wir uns den Unterschied zwischen Modellleistungskennzahlen und Systemkennzahlen an.

Die Modellüberwachung wird üblicherweise mit Bewertungskennzahlen, auch Modellkennzahlen genannt, wie Genauigkeit, Präzision, Trefferquote und mAP (mittlere durchschnittliche Präzision) in Verbindung gebracht. Diese Kennzahlen beschreiben das Verhalten des Modells und bewerten die Qualität seiner Vorhersagen, häufig im Hinblick auf Produktionsdaten oder Eingabedaten. Sie können besonders nützlich sein, um Sonderfälle oder Ausreißer in neuen Daten zu erkennen.

Die Überwachung eines bereitgestellten Produktionssystems ist jedoch etwas anderes. Dabei liegt der Schwerpunkt darauf, wie das System läuft, statt die Vorhersagen des Modells direkt zu bewerten.

Bei der Überwachung einer Bereitstellung kommen statt Modellkennzahlen Signale auf Systemebene zum Einsatz, etwa Anfragevolumen, Latenz, Fehlerraten und Verfügbarkeit. Diese Kennzahlen geben Aufschluss darüber, wie Endpunkte Eingabedaten verarbeiten, wie zuverlässig sie antworten und wie sie in Produktionsumgebungen arbeiten.

Die Rolle der Modellüberwachung in Computer-Vision-Projekten#

Sehen wir uns als Nächstes ein Beispiel aus der Praxis an, das zeigt, warum bei der Bereitstellung von Computer-Vision-Systemen ein Überwachungssystem nötig ist.

Stell dir eine Bildverarbeitungslösung vor, die Posenschätzung nutzt – eine Computer-Vision-Aufgabe, mit der menschliche Körperbewegungen erkannt und analysiert werden –, um die Einhaltung der Sicherheitsvorschriften durch Bauarbeiter zu überwachen. Bei der ersten Bereitstellung könnte ein solches System unter kontrollierten Bedingungen mit guter Sicht und typischen Szenarien gute Ergebnisse erzielen.

Auf echten Baustellen kommen jedoch weitere Herausforderungen hinzu. Das Anfragevolumen kann im Tagesverlauf schwanken, die Netzwerkbedingungen können uneinheitlich sein, und mehrere Kameras oder Endpunkte können gleichzeitig Daten senden. Ohne angemessene Überwachung können diese Faktoren zu langsameren Antworten oder gelegentlichen Ausfällen führen.

Abb. 2. Posenschätzung zur Überwachung von Arbeitskräften auf einer Baustelle (Quelle)

In einer Produktionsumgebung wie dieser ist es wichtig zu verstehen, wie zuverlässig das System arbeitet. Durch Überwachung lässt sich erkennen, ob die Endpunkte verfügbar sind, wie schnell sie auf eingehende Anfragen reagieren und wie zuverlässig sie den Datenverkehr im Zeitverlauf verarbeiten.

Ein Anstieg der Latenz kann beispielsweise auf eine höhere Auslastung oder begrenzte Ressourcen hindeuten. Steigende Fehlerraten können dagegen auf Probleme bei der Verarbeitung von Anfragen oder mit der Systemstabilität hinweisen. Protokolle liefern zusätzlichen Kontext, indem sie zeigen, wie einzelne Anfragen verarbeitet werden und wo Fehler auftreten.

KI-Begeisterte und Datenwissenschaftler können diese Signale verfolgen, um Probleme frühzeitig zu erkennen, effektiver zu beheben und sicherzustellen, dass ihre Systeme auch bei wechselnden Bedingungen zuverlässig laufen.

Mit der Ultralytics Platform bereitgestellte Bildverarbeitungsmodelle überwachen#

In vielen Deep-Learning-Workflows erfolgt die Überwachung häufig mit getrennten Tools für Protokollierung, Kennzahlen und Systemzustand. Diese fragmentierte Einrichtung erschwert den Überblick über den Betrieb bereitgestellter Endpunkte in der Produktion und macht die Verwaltung von Bereitstellungen komplexer.

Die Ultralytics Platform vereinfacht das, indem sie die Überwachung direkt in eine einheitliche Umgebung integriert, die den gesamten Computer-Vision-Workflow abdeckt – von der Datenerfassung und Annotation bis hin zu Training, Bereitstellung und Überwachung.

Mit dieser integrierten Lösung können Nutzer verfolgen, wie ihre bereitgestellten Endpunkte echten Datenverkehr verarbeiten, ohne externe Protokollierungssysteme oder zusätzliche Dashboards einzurichten. Alles ist an einem Ort verfügbar. So lassen sich das Systemverhalten leichter beobachten und Bereitstellungen langfristig zuverlässig betreiben.

Auf die Überwachungsfunktionen kannst du direkt über den Tab Deploy zugreifen. Über ein einzelnes Dashboard können Nutzer wichtige Kennzahlen verfolgen, das Anfrageverhalten im Detail untersuchen und Trends visualisieren. Dank dieser integrierten Visualisierungen lässt sich die Leistung von Lösungen leichter nachvollziehen, ohne zwischen verschiedenen Tools wechseln zu müssen.

Indem die Plattform Überwachung, Bereitstellung und Modellverwaltung in den umfassenderen Workflow integriert, reduziert sie die Komplexität. So kannst du dich einfacher auf die Verwaltung von Bereitstellungen, die Optimierung der Systemleistung und die Aufrechterhaltung der Zuverlässigkeit konzentrieren.

Integrierte Überwachungsfunktionen der Ultralytics Platform#

Bei Bereitstellungen in der Praxis ist eine klare Übersicht darüber wichtig, wie Systeme laufen, während sich die Bedingungen im Zeitverlauf ändern. Dabei geht es um mehr als die Erfassung einiger Kennzahlen: Du musst auch verstehen, wie sich bereitgestellte Endpunkte in unterschiedlichen Umgebungen verhalten und mehrere Bereitstellungen effizient verwalten.

Die Ultralytics Platform orientiert sich am Feedback der Community für visuelle KI zu häufigen Herausforderungen im Bereich Computer Vision und bietet mehrere Funktionen, die die Überwachung praxistauglicher und skalierbarer machen.

Hier ist ein Überblick über einige dieser wichtigen Funktionen:

• Globale Übersicht über Bereitstellungen: Die Deploy-Seite enthält eine interaktive Weltkarte, auf der Bereitstellungsregionen mit visuellen Kennzeichnungen für aktive und laufende Endpunkte dargestellt werden. So können Nutzer die geografische Verteilung und regionale Aktivitäten überwachen.
• Flexible Dashboard-Ansichten: Das Dashboard für Bereitstellungen bietet mehrere Ansichtsmodi, darunter eine Kartenansicht, ein kompaktes Raster und eine Tabellenansicht. Sortierbare Spalten wie Name, Region, Status und Anfragen ermöglichen eine strukturierte Überwachung und den Vergleich.
• Überwachung mehrerer Endpunkte: Das Dashboard fasst Überwachungsdaten aller Bereitstellungen in Übersichtskarten und Bereitstellungslisten zusammen.
• Richtlinien zur Datenspeicherung: Überwachungsdaten werden für einen festgelegten Zeitraum gespeichert. Kennzahlen sind 30 Tage und Protokolle 7 Tage lang verfügbar. Das unterstützt die Analyse der jüngsten Leistung und die Fehlerbehebung.
• Unterstützung externer Überwachung: Bereitstellungsendpunkte lassen sich mit externen Tools wie Datadog und New Relic sowie mit Diensten zur Verfügbarkeitsüberwachung überwachen. Alternativ kannst du über API-Endpunkte eigene Überwachungs- und Zustandsprüfungen einrichten.

Als Nächstes sehen wir uns einige dieser Funktionen genauer an und betrachten, wie sie zur Überwachung bereitgestellter Endpunkte in der Produktion eingesetzt werden können.

So verfolgst du wichtige Leistungskennzahlen mit der Ultralytics Platform#

Sobald ein Modell bereitgestellt ist, beginnt die Überwachung mit der Erfassung wichtiger Systemkennzahlen. Kennzahlen wie Genauigkeit und Recall sind während der Entwicklung nützlich, bei der Überwachung in der Produktion stehen jedoch Signale auf Systemebene wie Antwortzeit und Fehlerraten im Vordergrund. Sie liefern messbare Erkenntnisse darüber, wie zuverlässig Endpunkte den Datenverkehr aus der Praxis verarbeiten.

Die Ultralytics Platform bietet ein zentrales Dashboard, das einen klaren Überblick über die Aktivität der Endpunkte und das Systemverhalten gibt. Insbesondere enthält das Bereitstellungs-Dashboard vier wichtige Kennzahlen, die zeigen, wie die Endpunkte genutzt werden und wie sie auf eingehende Anfragen reagieren.

Hier siehst du diese Kennzahlen genauer:

• Anfragen insgesamt: Die Gesamtzahl der Anfragen, die innerhalb von 24 Stunden an alle Endpunkte gesendet werden. So lassen sich Nutzungsmuster und die Gesamtnachfrage erkennen.
• Aktive Bereitstellungen: Die Anzahl der Endpunkte, die aktuell laufen und Anfragen verarbeiten.
• P95-Latenz: Die Antwortzeit, innerhalb derer 95 % der Anfragen abgeschlossen werden. Da langsamere Antworten berücksichtigt werden, vermittelt diese Kennzahl ein realistischeres Bild der Leistung.
• Fehlerrate: Der prozentuale Anteil fehlgeschlagener Anfragen an der Gesamtzahl aller Anfragen. Diese Kennzahl hilft dabei, Probleme zu erkennen und Anomalien aufzuspüren.

Einfach gesagt vermitteln diese Kennzahlen einen klaren Überblick darüber, wie bereitgestellte Endpunkte in der Produktion arbeiten. Durch die Analyse von Nutzungsmustern können Teams und Einzelpersonen die Verteilung des Datenverkehrs nachvollziehen, Spitzenlastzeiten erkennen und sicherstellen, dass Systeme auch bei zunehmender Nutzung reaktionsfähig und zuverlässig bleiben.

Das Verhalten einer Modellbereitstellung anhand von Protokollen nachvollziehen#

Während Kennzahlen einen übergeordneten Überblick über die Systemleistung bieten, zeigen Protokolle detaillierter, wie bereitgestellte Endpunkte einzelne Anfragen verarbeiten. Protokolle halten jede an einen Endpunkt gesendete Anfrage zusammen mit der entsprechenden Antwort fest.

Sie sind nützlich, um Probleme nachzuverfolgen, Fehler zu untersuchen und zu verstehen, wie Anfragen verarbeitet werden. In der Ultralytics Platform kannst du eine beliebige Bereitstellung auswählen, um ihre Details einschließlich der Protokolle anzuzeigen.

Abb. 3: Beispiel für Protokolle in der Ultralytics Platform (Quelle)

Ein Protokolleintrag wird auf der Plattform in einem strukturierten Format angezeigt, damit du leichter nachvollziehen kannst, was bei jeder Anfrage passiert ist. Jeder Eintrag enthält eine Schweregradstufe, die angibt, wie wichtig das Ereignis ist, sowie einen Zeitstempel, der zeigt, wann es aufgetreten ist.

Außerdem enthält er eine Nachricht, die das Ereignis beschreibt, sowie HTTP-bezogene Angaben wie Statuscodes und Latenz. Diese Informationen helfen dabei, Anfragen nachzuverfolgen, die Fehlerbehebung zu unterstützen und Probleme effektiver zu untersuchen. Darüber hinaus sind die Protokolle nach Schweregrad gruppiert, sodass Nutzer Bereitstellungen mit Handlungsbedarf priorisieren können.

Zustand und Zuverlässigkeit von Endpunkten in der Ultralytics Platform analysieren#

Zur Überwachung gehört auch, den allgemeinen Zustand bereitgestellter Endpunkte zu verstehen. Dazu zählt, ob sie ordnungsgemäß laufen, rechtzeitig antworten und Anfragen zuverlässig und fehlerfrei verarbeiten. Die Ultralytics Platform bietet einen klaren Überblick über den Zustand jeder Bereitstellung und macht es einfach zu überprüfen, ob die Endpunkte wie erwartet arbeiten.

Die Plattform zeigt für jede Bereitstellung visuelle Zustandsanzeigen auf den einzelnen Bereitstellungskarten an.

Eine grüne Anzeige bedeutet beispielsweise, dass der Endpunkt intakt ist und normal antwortet, während eine rote Anzeige auf Probleme oder Ausfallzeiten hinweist. Ein drehendes Symbol zeigt an, dass das System den Status der Bereitstellung gerade überprüft.

Wenn du den Zustand der Endpunkte im Zeitverlauf verfolgst, lassen sich Probleme frühzeitig erkennen, eine gleichbleibende Leistung aufrechterhalten und stabile Anwendungen in der Produktion sicherstellen.

Wie Überwachungsdaten zur Leistungsverbesserung beitragen#

Bei der Modellüberwachung geht es nicht nur darum, Kennzahlen zu erfassen. Sie schafft eine Rückkopplungsschleife, die eine kontinuierliche Verbesserung im Zeitverlauf unterstützt. Während Endpunkte Datenverkehr aus der Praxis verarbeiten, zeichnen sich in Kennzahlen und Protokollen Muster ab, die Probleme wie eine höhere Latenz, steigende Fehlerraten oder ein uneinheitliches Systemverhalten erkennen lassen können.

Die Überwachung zeigt Bereiche auf, die Aufmerksamkeit erfordern. Eine dauerhaft hohe Latenz kann beispielsweise auf den Bedarf an einer besseren Ressourcenzuweisung oder Skalierung hindeuten, während eine steigende Fehlerrate auf Probleme bei der Verarbeitung von Anfragen oder mit der Systemstabilität hinweisen kann.

Sobald diese Probleme erkannt sind, können Maßnahmen zur Verbesserung der Zuverlässigkeit ergriffen werden. Dazu kann gehören, die Infrastruktur anzupassen, Ressourcen zu skalieren oder Fehler bei der Verarbeitung von Anfragen zu beheben. Anschließend lassen sich die Systeme weiter überwachen, um zu bestätigen, dass sich die Leistung verbessert hat.

Indem Nutzer die Überwachung mit laufenden Verbesserungen verknüpfen, können sie robuste Systeme aufrechterhalten, während die Nutzung wächst und sich die Bedingungen ändern.

Ein Praxisbeispiel: Überwachung der Gepäckabfertigung in der Luftfahrt#

Um die Auswirkungen der Überwachung in einem realen Szenario besser zu verstehen, sehen wir uns an, wie sie bei der Automatisierung des Bodenbetriebs in der Luftfahrt eingesetzt wird.

Betrachte ein Bildverarbeitungssystem, das das Be- und Entladen von Gepäck während des Bodenbetriebs eines Flugzeugs überwachen soll. Dabei kann ein Objekterkennungsmodell wie Ultralytics YOLO26 eingesetzt werden, um zu erkennen, ob Gepäckstücke von Förderbändern oder Abfertigungsgeräten fallen.

Während der Tests und in der frühen Bereitstellungsphase kann das Echtzeitsystem gut funktionieren, Gepäckstücke genau erkennen und schnell reagieren.

In einer aktiven Flughafenumgebung sind die Bedingungen jedoch viel weniger vorhersehbar. Die Lichtverhältnisse ändern sich im Tagesverlauf, mehrere Kameras übertragen gleichzeitig Daten und die Zahl der Anfragen steigt in Stoßzeiten stark an. Diese Faktoren können zu höherer Latenz oder Fehlern führen. Ohne Einblick in das System bleiben solche Probleme leicht unbemerkt.

Hier kommt der Nutzen der Überwachung zum Tragen. Wenn Teams neben detaillierten Protokollen Kennzahlen wie Anfragenvolumen, Latenz und Fehlerraten erfassen, erkennen sie schnell, wenn ein Endpunkt langsamer wird oder ausfällt. Steigt die Latenz zu Spitzenzeiten, kann dies auf den Bedarf hindeuten, Ressourcen zu skalieren. Ein plötzlicher Anstieg von Fehlern kann auf Probleme mit bestimmten Kameras oder bei der Verarbeitung von Anfragen hinweisen. Werden diese Signale berücksichtigt, bleibt das System zuverlässig, sodass die Gepäckabfertigung auch bei veränderten Bedingungen weiterhin genau überwacht werden kann.

Die wichtigsten Erkenntnisse#

Die Überwachung sorgt dafür, dass bereitgestellte Computer-Vision-Modelle zuverlässig bleiben, wenn sie die kontrollierten Entwicklungsbedingungen verlassen und Datenverkehr aus der Praxis verarbeiten. Indem sie sich auf Signale auf Systemebene wie Anfragenvolumen, Latenz, Fehlerraten und Verfügbarkeit sowie auf detaillierte Protokolle konzentriert, bietet die Überwachung den nötigen Einblick, um Probleme frühzeitig zu erkennen und einen reibungslosen Betrieb von Produktionssystemen sicherzustellen.

Da die Überwachung direkt in den Bereitstellungsablauf integriert ist, erleichtert die Ultralytics Platform das Verfolgen des Zustands von Endpunkten, die Untersuchung des Anfrageverhaltens und den zuverlässigen Betrieb von Systemen, ohne auf separate Tools angewiesen zu sein. Indem die Plattform Daten, Training, Bereitstellung und Überwachung an einem Ort zusammenführt, unterstützt sie Teams dabei, von Experimenten zu zuverlässigen Bereitstellungen in der Praxis überzugehen.

Werde Teil unserer wachsenden Community und sieh dir unser GitHub-Repository an, um mehr über Vision AI zu erfahren. Wenn du noch heute mit Vision AI entwickeln möchtest, informiere dich über unsere Lizenzoptionen. Entdecke auf unseren Lösungsseiten, wie KI in der Fertigung und KI im Gesundheitswesen die Zukunft prägen.