Überwachung bereitgestellter Computer-Vision-Modelle auf der Ultralytics Platform

Das Testen von Computer-Vision-Modellen, die Bilder und Videos analysieren, ist nicht immer gleichzusetzen mit deren Ausführung in der Produktion. Während der Entwicklung werden solche Modelle oder Algorithmen auf sauberen, gut vorbereiteten Datensätzen getestet, bei denen die Bedingungen kontrolliert und vorhersehbar sind.

Nach der Bereitstellung wird alles dynamischer. Modelle sind dem realen Datenverkehr ausgesetzt, bei dem Anforderungsvolumina variieren, Antwortzeiten sich ändern und gelegentlich Fehler auftreten können.

In dieser Phase verlagert sich der Fokus darauf, ob das System zuverlässig läuft, mit Endpunkten, die unter sich ändernden Bedingungen verfügbar, reaktionsschnell und stabil bleiben.

Deshalb ist Überwachung unerlässlich. Sie bietet einen klaren Einblick in das Verhalten bereitgestellter Endpunkte in der Produktion durch Metriken wie Anforderungsvolumen, Latenz, Fehlerraten und allgemeiner Systemgesundheit.

Um dies zu erleichtern, ist es ebenso wichtig wie das Modell selbst, über die richtigen Werkzeuge zu verfügen. Kürzlich hat Ultralytics die Ultralytics Platform eingeführt, unsere neue End-to-End-Umgebung, die den gesamten Computer-Vision-Workflow zusammenbringt, von Daten und Training bis hin zu Bereitstellung und Überwachung.

Abb. 1. Deployment-Dashboard der Ultralytics Platform mit Überwachungsfunktionen (Quelle)

Mit der direkt in diesen Workflow integrierten Überwachung können Nutzer die Gesundheit von Endpunkten verfolgen, Anforderungsverhalten untersuchen und zuverlässige Systeme aufrechterhalten, ohne auf separate Werkzeuge angewiesen zu sein. In diesem Artikel untersuchen wir, wie du die Ultralytics Platform nutzen kannst, um bereitgestellte Modell-Endpunkte zu überwachen und Produktionssysteme reibungslos am Laufen zu halten. Fangen wir an!

Link to this sectionEin Überblick über die Überwachung von KI-Modellen#

Im Lebenszyklus eines KI-Modells bezieht sich Überwachung auf die Beobachtung des Verhaltens bereitgestellter Systeme, sobald ein Modell live ist und reale Anfragen bedient. Während Training und Validierung zeigen, wie ein Machine-Learning-Modell (ML-Modell) auf vorbereiteten Datensätzen abschneidet, konzentriert sich die Überwachung darauf, wie der bereitgestellte Endpunkt in einer Produktionsumgebung arbeitet.

Ein entscheidender Teil der Überwachung ist das Tracking von Metriken auf Systemebene, die Zuverlässigkeit und Reaktionsfähigkeit widerspiegeln. Metriken wie Latenz und Verfügbarkeit (Uptime) helfen dabei anzuzeigen, wie gut das System eingehende Anfragen verarbeitet. Die Latenz misst, wie lange es dauert, eine Anfrage zu verarbeiten und eine Antwort zurückzugeben, während die Verfügbarkeit hervorhebt, wie konstant der Endpunkt erreichbar bleibt.

Ein weiterer Schlüsselaspekt ist die Observability (Beobachtbarkeit), die Einblick in die Verarbeitung von Anfragen bietet. Jedes Mal, wenn eine Eingabe, wie ein Bild oder ein Videoframework, an ein bereitgestelltes Modell gesendet wird, wird sie als Inferenzanfrage verarbeitet.

Logs erfassen diese Anfragen zusammen mit Details wie Zeitstempeln, Antwortzeiten und Statuscodes. Diese Logs erleichtern die Rückverfolgung von Anfragen, das Debugging von Problemen und die Untersuchung von Fehlern, wenn sie auftreten. Sie sind besonders nützlich, um Muster wie wiederholte Fehler, langsame Antworten oder unerwartetes Systemverhalten zu identifizieren.

Durch die Kombination von Metriken und Logs hilft die Überwachung den Benutzern zu verstehen, wie ihre Systeme in der Produktion arbeiten, und schnell auf Probleme zu reagieren, sobald sie entstehen.

Link to this sectionEin Blick auf Modell-Leistungsmetriken im Vergleich zu Systemmetriken#

Bevor wir in die Produktionsüberwachung eintauchen, lass uns den Unterschied zwischen Modell-Leistungsmetriken und Systemmetriken besprechen.

Normalerweise wird Modellüberwachung mit Bewertungsmetriken in Verbindung gebracht, auch bekannt als Modellmetriken, wie Genauigkeit, Präzision, Recall und mAP (mean average precision). Diese Metriken werden verwendet, um das Modellverhalten zu beschreiben und die Qualität der Modellvorhersagen zu bewerten, oft in Bezug auf Produktionsdaten oder Eingabedaten. Sie können besonders nützlich sein, um Randfälle oder Ausreißer in neuen Daten zu identifizieren.

Dies unterscheidet sich jedoch von der Überwachung eines bereitgestellten Systems in der Produktion. In diesem Kontext konzentriert sich die Überwachung darauf, wie das System läuft, anstatt die Modellvorhersagen direkt zu bewerten.

Anstelle von Modellmetriken stützt sich die Deployment-Überwachung auf Signale der Systemebene wie Anforderungsvolumen, Latenz, Fehlerraten und Verfügbarkeit. Diese Metriken bieten Einblick in die Verarbeitung von Eingabedaten durch Endpunkte, deren Reaktionskonsistenz und deren Betrieb in Produktionsumgebungen.

Link to this sectionDie Rolle der Modellüberwachung bei Computer-Vision-Projekten#

Als Nächstes betrachten wir ein reales Beispiel, das die Notwendigkeit eines Überwachungssystems bei Computer-Vision-Bereitstellungen unterstreicht.

Betrachte eine Vision-Lösung, die Pose Estimation verwendet, eine Computer-Vision-Aufgabe zur Identifizierung und Analyse menschlicher Körperbewegungen, um Bauarbeiter auf Sicherheitskonformität zu überwachen. Während der anfänglichen Modellbereitstellung kann ein solches System unter kontrollierten Bedingungen mit klarer Sicht und Standardszenarien gut funktionieren.

Reale Baustellen führen jedoch zusätzliche Komplexität ein. Anforderungsvolumina können über den Tag variieren, Netzwerkbedingungen können inkonsistent sein und mehrere Kameras oder Endpunkte senden möglicherweise gleichzeitig Daten. Diese Faktoren können zu langsameren Antworten oder gelegentlichen Fehlern führen, wenn das System nicht ordnungsgemäß überwacht wird.

Abb. 2. Pose Estimation zur Überwachung von Arbeitern auf einer Baustelle (Quelle)

In einer solchen Produktionsumgebung ist es wichtig zu verstehen, wie zuverlässig das System arbeitet. Die Überwachung bietet Einblick darin, ob Endpunkte verfügbar sind, wie schnell sie auf eingehende Anfragen reagieren und wie konsistent sie den Datenverkehr im Zeitverlauf bewältigen.

Zum Beispiel kann eine erhöhte Latenz auf eine höhere Last oder Ressourcenengpässe hinweisen, während ein Anstieg der Fehlerraten auf Probleme bei der Anforderungsbearbeitung oder Systemstabilität hindeuten kann. Logs fügen durch das Anzeigen der Verarbeitung einzelner Anfragen und der Orte des Fehleraustritts weiteren Kontext hinzu.

Durch das Tracking dieser Signale können KI-Enthusiasten und Datenwissenschaftler Probleme frühzeitig identifizieren, effektiver Fehler beheben und sicherstellen, dass ihre Systeme bei sich ändernden realen Bedingungen zuverlässig weiterlaufen.

Link to this sectionNutzung der Ultralytics Platform zur Überwachung bereitgestellter Vision-Modelle#

In vielen Deep-Learning-Workflows wird die Überwachung oft mit separaten Werkzeugen für Logging, Metriken und Systemgesundheit gehandhabt. Diese fragmentierte Einrichtung kann es schwierig machen, einen klaren Überblick darüber zu erhalten, wie bereitgestellte Endpunkte in der Produktion arbeiten, und erhöht die Komplexität bei der Verwaltung von Deployments.

Die Ultralytics Platform vereinfacht dies, indem sie die Überwachung direkt in eine einheitliche Umgebung bringt, die den gesamten Computer-Vision-Workflow abdeckt, von Datenerfassung und Annotation bis hin zu Training, Bereitstellung und Überwachung.

Mit dieser integrierten Einrichtung können Benutzer verfolgen, wie ihre bereitgestellten Endpunkte realen Datenverkehr bewältigen, ohne externe Log-Systeme oder zusätzliche Dashboards einrichten zu müssen. Alles ist an einem Ort verfügbar, was es einfacher macht, das Systemverhalten zu beobachten und zuverlässige Bereitstellungen im Zeitverlauf aufrechtzuerhalten.

Überwachungsfunktionen können direkt über den Deploy-Tab aufgerufen werden. Von einem einzigen Dashboard aus können Benutzer wichtige Metriken verfolgen, das Verhalten auf Anforderungsebene analysieren und Trends visualisieren. Diese integrierten Visualisierungen erleichtern das Verständnis der Lösungsleistung, ohne zwischen Werkzeugen wechseln zu müssen.

Indem die Plattform Überwachung, Bereitstellung und Modellmanagement im breiteren Workflow zusammenführt, reduziert sie die Komplexität. Dies macht es reibungsloser, sich auf die Verwaltung von Bereitstellungen, die Optimierung der Systemleistung und die Aufrechterhaltung der Zuverlässigkeit zu konzentrieren.

Link to this sectionIntegrierte Überwachungsfunktionen der Ultralytics Platform#

Bei realen Bereitstellungen hängt die Überwachung davon ab, klare Sicht darauf zu haben, wie Systeme bei sich ändernden Bedingungen über die Zeit laufen. Es geht über das Tracking einiger Metriken hinaus und beinhaltet das Verständnis, wie sich bereitgestellte Endpunkte über Umgebungen hinweg verhalten, sowie die effektive Verwaltung mehrerer Bereitstellungen.

Inspiriert durch Feedback aus der Vision-KI-Community zu gängigen Computer-Vision-Herausforderungen enthält die Ultralytics Platform mehrere Funktionen, die die Überwachung praktischer und skalierbarer machen.

Hier ist ein Überblick über einige dieser Schlüsselfunktionen:

• Globale Sichtbarkeit der Bereitstellung: Die Deploy-Seite enthält eine interaktive Weltkarte, die Bereitstellungsregionen mit visuellen Indikatoren für aktive und in Bearbeitung befindliche Endpunkte anzeigt, wodurch Benutzer die geografische Verteilung und regionale Aktivität überwachen können.
• Flexible Dashboard-Ansichten: Das Deployment-Dashboard bietet mehrere Ansichtsmodi, einschließlich Kartenansicht, kompaktem Raster und Tabellenansicht mit sortierbaren Spalten wie Name, Region, Status und Anfragen, was eine strukturierte Überwachung und einen Vergleich unterstützt.
• Überwachung mehrerer Endpunkte: Das Dashboard aggregiert Überwachungsdaten über alle Bereitstellungen hinweg unter Verwendung von Übersichtskarten und Bereitstellungslisten.
• Datenaufbewahrungsrichtlinien: Überwachungsdaten werden für einen definierten Zeitraum aufbewahrt, wobei Metriken für 30 Tage und Logs für 7 Tage verfügbar sind, was aktuelle Leistungsanalysen und Debugging-Workflows unterstützt.
• Externe Überwachungsunterstützung: Deployment-Endpunkte können mithilfe externer Tools wie Datadog, New Relic und Verfügbarkeitsüberwachungsdiensten überwacht oder über API-Endpunkte für benutzerdefinierte Überwachung und Gesundheitschecks aufgerufen werden.

Als Nächstes werden wir einige dieser Funktionen im Detail durchgehen und sehen, wie sie zur Überwachung bereitgestellter Endpunkte in der Produktion verwendet werden können.

Link to this sectionWie du wichtige Leistungsmetriken mit der Ultralytics Platform verfolgst#

Sobald ein Modell bereitgestellt ist, beginnt die Überwachung mit dem Tracking wichtiger Systemmetriken. Während Metriken wie Genauigkeit und Recall während der Entwicklung nützlich sind, konzentriert sich die Produktionsüberwachung auf Signale der Systemebene wie Antwortzeit und Fehlerraten, die messbare Einblicke in die Zuverlässigkeit bieten, mit der Endpunkte den realen Datenverkehr bewältigen.

Die Ultralytics Platform bietet ein zentrales Dashboard, das einen klaren Einblick in Endpunktaktivität und Systemverhalten bietet. Insbesondere enthält das Deployment-Dashboard vier wichtige Metriken, die zeigen, wie Endpunkte genutzt werden und wie sie auf eingehende Anfragen reagieren.

Hier ist ein genauerer Blick auf diese Metriken:

• Gesamtanzahl der Anfragen: Die Gesamtzahl der Anfragen über alle Endpunkte hinweg innerhalb eines 24-Stunden-Zeitraums. Dies hilft, Nutzungsmuster und die Gesamtnachfrage zu identifizieren.
• Aktive Bereitstellungen: Die Anzahl der Endpunkte, die derzeit laufen und Anfragen bedienen.
• P95-Latenz: Die Antwortzeit, innerhalb derer 95 % der Anfragen abgeschlossen werden. Dies gibt ein realistischeres Bild der Leistung, indem langsamere Antworten berücksichtigt werden.
• Fehlerrate: Dies ist der Prozentsatz der fehlgeschlagenen Anfragen im Verhältnis zur Gesamtzahl der Anfragen. Diese Metrik hilft dabei, Probleme zu identifizieren und kann zur Erkennung von Anomalien genutzt werden.

Einfach ausgedrückt bieten diese Metriken einen klaren Einblick in die Arbeitsweise bereitgestellter Endpunkte in der Produktion. Durch die Analyse von Nutzungsmustern können Teams und Einzelpersonen die Verkehrsverteilung verstehen, Spitzenlastperioden identifizieren und sicherstellen, dass Systeme bei wachsender Nutzung reaktionsfähig und zuverlässig bleiben.

Link to this sectionVerständnis des Modell-Deployment-Verhaltens durch Logs#

Während Metriken einen Überblick auf hoher Ebene über die Systemleistung bieten, ermöglichen Logs einen detaillierteren Blick darauf, wie bereitgestellte Endpunkte einzelne Anfragen bearbeiten. Logs erfassen jede an einen Endpunkt gesendete Anfrage zusammen mit der entsprechenden Antwort.

Sie sind nützlich für die Verfolgung von Problemen, die Inspektion von Fehlern und das Verständnis, wie Anfragen verarbeitet werden. Innerhalb der Ultralytics Platform kannst du jedes Deployment auswählen, um dessen Details, einschließlich der Logs, anzuzeigen.

Abb. 3. Ein Beispiel für Logs innerhalb der Ultralytics Platform (Quelle)

Ein Log-Eintrag auf der Plattform wird in einem strukturierten Format angezeigt, was es einfacher macht zu verstehen, was während jeder Anfrage passiert ist. Jeder Eintrag enthält einen Schweregrad, der angibt, wie wichtig das Ereignis ist, zusammen mit einem Zeitstempel, der zeigt, wann es auftrat.

Er enthält zudem eine Nachricht, die das Ereignis beschreibt, sowie HTTP-bezogene Details wie Statuscodes und Latenz. Diese Informationen helfen dabei, Anfragen zurückzuverfolgen, das Beheben von Problemen zu unterstützen und Fehler effektiver zu debuggen. Darüber hinaus sind Logs nach Schweregrad gruppiert, sodass Benutzer Bereitstellungen priorisieren können, die Aufmerksamkeit erfordern.

Link to this sectionAnalyse der Endpunktgesundheit und -zuverlässigkeit auf der Ultralytics Platform#

Überwachung beinhaltet auch das Verständnis der allgemeinen Gesundheit bereitgestellter Endpunkte, einschließlich der Frage, ob sie ordnungsgemäß laufen, pünktlich reagieren und Anfragen konsistent ohne Fehler bearbeiten. Die Ultralytics Platform bietet einen klaren Blick auf den Gesundheitsstatus jedes Deployments, was es unkompliziert macht zu verifizieren, dass Endpunkte wie erwartet funktionieren.

Die Plattform enthält visuelle Gesundheitsindikatoren für jede Bereitstellung, die auf individuellen Bereitstellungskarten angezeigt werden.

Zum Beispiel zeigt ein grüner Indikator, dass der Endpunkt gesund ist und normal reagiert, während ein roter Indikator Probleme oder Ausfallzeiten signalisiert. Ein rotierendes Symbol zeigt an, dass das System aktiv den Status der Bereitstellung überprüft.

Durch das Tracking der Endpunktgesundheit im Zeitverlauf wird es möglich, Probleme frühzeitig zu erkennen, eine konsistente Leistung aufrechtzuerhalten und ein stabiles Erlebnis für Anwendungen in der Produktion zu gewährleisten.

Link to this sectionDie Verbindung zwischen Überwachungsdaten und Leistungsverbesserung#

Modellüberwachung besteht nicht nur aus dem Tracking von Metriken. Sie erzeugt eine Rückkopplungsschleife, die kontinuierliche Verbesserungen im Zeitverlauf unterstützt. Da Endpunkte realen Datenverkehr bewältigen, beginnen in Metriken und Logs Muster aufzutauchen, die Probleme wie erhöhte Latenz, höhere Fehlerraten oder inkonsistentes Systemverhalten aufdecken können.

Die Überwachung hebt Bereiche hervor, die Aufmerksamkeit erfordern. Zum Beispiel kann eine konstant hohe Latenz auf die Notwendigkeit einer besseren Ressourcenallokation oder Skalierung hindeuten, während eine steigende Fehlerrate auf Probleme bei der Anforderungsbearbeitung oder Systemstabilität hinweisen kann.

Sobald diese Probleme identifiziert sind, können Schritte zur Verbesserung der Zuverlässigkeit unternommen werden. Dies kann die Anpassung der Infrastruktur, die Skalierung von Ressourcen oder die Behebung von Fehlern bei der Anforderungsverarbeitung beinhalten. Nach diesen Änderungen können Systeme weiter überwacht werden, um zu bestätigen, dass sich die Leistung verbessert hat.

Durch die Verknüpfung von Überwachung mit fortlaufenden Verbesserungen können Benutzer robuste Systeme bei wachsender Nutzung und sich ändernden Bedingungen aufrechterhalten.

Link to this sectionEin reales Beispiel erforschen: Überwachung der Gepäckabfertigung in der Luftfahrt#

Um ein besseres Verständnis für die Auswirkungen der Überwachung in einem realen Szenario zu erhalten, lass uns untersuchen, wie sie auf die Automatisierung von Bodenabfertigungsoperationen in der Luftfahrt angewendet wird.

Nimm ein Vision-System, das zur Überwachung des Be- und Entladens von Gepäck während der Bodenabfertigung von Flugzeugen entwickelt wurde. In dieser Einrichtung kann ein Objekterkennungsmodell wie Ultralytics YOLO26 verwendet werden, um zu erkennen, ob Gepäck von Förderbändern oder Abfertigungsgeräten fällt.

Während Tests und der frühen Bereitstellung kann das Echtzeitsystem gut funktionieren, Gepäck genau identifizieren und schnell reagieren.

In einer Live-Flughafenumgebung sind die Bedingungen jedoch weit weniger vorhersehbar. Die Beleuchtung ändert sich im Laufe des Tages, mehrere Kameras streamen gleichzeitig Daten und Anforderungsvolumina steigen während geschäftiger Perioden sprunghaft an. Diese Faktoren können dazu führen, dass die Latenz steigt oder Fehler erscheinen, und ohne Einblick in das System können solche Probleme leicht unbemerkt bleiben.

Hier wird Überwachung wertvoll. Durch das Tracking von Metriken wie Anforderungsvolumen, Latenz und Fehlerraten neben detaillierten Logs können Teams schnell sehen, wenn ein Endpunkt langsamer wird oder ausfällt. Wenn die Latenz während der Spitzenzeiten steigt, kann dies auf die Notwendigkeit einer Ressourcenskalierung hinweisen, während ein plötzlicher Anstieg der Fehler auf Probleme mit spezifischen Kameras oder der Anforderungsbearbeitung hindeuten kann. Das Handeln auf Basis dieser Signale hilft, das System zuverlässig zu halten, sodass die Gepäckabfertigung auch bei sich ändernden Bedingungen genau überwacht werden kann.

Link to this sectionWichtige Erkenntnisse#

Überwachung ist das, was bereitgestellte Computer-Vision-Modelle zuverlässig hält, sobald sie die kontrollierten Bedingungen der Entwicklung verlassen und beginnen, realen Datenverkehr zu verarbeiten. Durch die Konzentration auf Signale der Systemebene wie Anforderungsvolumen, Latenz, Fehlerraten und Verfügbarkeit sowie detaillierte Logs, bietet die Überwachung die notwendige Sichtbarkeit, um Probleme frühzeitig zu erkennen und Produktionssysteme reibungslos laufen zu lassen.

Mit der direkt in den Deployment-Workflow integrierten Überwachung macht die Ultralytics Platform es einfacher, die Endpunktgesundheit zu verfolgen, das Anforderungsverhalten zu prüfen und zuverlässige Systeme aufrechtzuerhalten, ohne auf separate Tools angewiesen zu sein. Indem sie Daten, Training, Bereitstellung und Überwachung an einem Ort zusammenführt, unterstützt die Plattform Teams dabei, von der Experimentierphase zu zuverlässigen, realen Bereitstellungen überzugehen.

Tritt unserer wachsenden Community bei und erkunde unser GitHub-Repository, um mehr über Vision-KI zu erfahren. Um heute mit Vision-KI zu bauen, schau dir unsere Lizenzoptionen an. Entdecke, wie KI in der Fertigung und KI im Gesundheitswesen die Zukunft gestalten, indem du unsere Lösungsseiten besuchst.