Überwachung bereitgestellter Computer-Vision-Modelle auf der Ultralytics Platform

Das Testen von Computer-Vision-Modellen, die Bilder und Videos analysieren, ist nicht immer gleichzusetzen mit deren Ausführung in der Produktion. Während der Entwicklung werden solche Modelle oder Algorithmen auf sauberen, gut vorbereiteten Datensätzen getestet, bei denen die Bedingungen kontrolliert und vorhersehbar sind.

Nach der Bereitstellung wird alles dynamischer. Modelle sind dem realen Datenverkehr ausgesetzt, bei dem Anfragevolumina variieren, Antwortzeiten sich ändern und gelegentlich Fehler auftreten können.

In dieser Phase verlagert sich der Fokus darauf, ob das System zuverlässig läuft, mit Endpunkten, die verfügbar, reaktionsschnell und unter sich ändernden Bedingungen stabil bleiben.

Deshalb ist Überwachung unerlässlich. Sie bietet einen klaren Einblick in das Verhalten bereitgestellter Endpunkte in der Produktion durch Metriken wie Anfragevolumen, Latenz, Fehlerraten und den allgemeinen Systemzustand.

Um dies zu erleichtern, ist die Bereitstellung der richtigen Tools genauso wichtig wie das Modell selbst. Kürzlich hat Ultralytics die Ultralytics Platform eingeführt, unsere neue End-to-End-Umgebung, die den gesamten Computer-Vision-Workflow von Daten und Training bis hin zu Bereitstellung und Überwachung vereint.

Abb. 1. Deployment-Dashboard der Ultralytics Platform mit Überwachungsfunktionen (Quelle)

Da die Überwachung direkt in diesen Workflow integriert ist, können Benutzer den Status ihrer Endpunkte verfolgen, das Anfrageverhalten überprüfen und zuverlässige Systeme aufrechterhalten, ohne auf separate Tools angewiesen zu sein. In diesem Artikel untersuchen wir, wie du die Ultralytics Platform nutzt, um bereitgestellte Modell-Endpunkte zu überwachen und Produktionssysteme reibungslos am Laufen zu halten. Legen wir los!

Link to this sectionEin Überblick über die Überwachung von KI-Modellen#

Im Lebenszyklus eines KI-Modells bezieht sich die Überwachung darauf, das Verhalten bereitgestellter Systeme zu beobachten, sobald ein Modell live ist und reale Anfragen bedient. Während Training und Validierung zeigen, wie ein Machine-Learning-Modell (ML-Modell) auf vorbereiteten Datensätzen abschneidet, konzentriert sich die Überwachung darauf, wie der bereitgestellte Endpunkt in einer Produktionsumgebung funktioniert.

Ein entscheidender Teil der Überwachung ist das Nachverfolgen von systemweiten Metriken, die Zuverlässigkeit und Reaktionsfähigkeit widerspiegeln. Metriken wie Latenz und Verfügbarkeit (Uptime) helfen dabei, zu erkennen, wie gut das System eingehende Anfragen verarbeitet. Die Latenz misst, wie lange es dauert, eine Anfrage zu verarbeiten und eine Antwort zurückzugeben, während die Verfügbarkeit hervorhebt, wie konsistent der Endpunkt erreichbar bleibt.

Ein weiterer wichtiger Aspekt ist die Beobachtbarkeit (Observability), die Einblick in die Verarbeitung von Anfragen gibt. Jedes Mal, wenn eine Eingabe, wie ein Bild oder ein Videoframework, an ein bereitgestelltes Modell gesendet wird, wird dies als Inferenzanfrage verarbeitet.

Protokolle (Logs) erfassen diese Anfragen zusammen mit Details wie Zeitstempeln, Antwortzeiten und Statuscodes. Diese Protokolle erleichtern die Rückverfolgung von Anfragen, das Debuggen von Problemen und die Untersuchung von Fehlern, wenn sie auftreten. Sie sind besonders nützlich, um Muster wie wiederholte Fehler, langsame Antworten oder unerwartetes Systemverhalten zu identifizieren.

Durch die Kombination von Metriken und Protokollen hilft die Überwachung Benutzern zu verstehen, wie ihre Systeme in der Produktion arbeiten, und schnell auf auftretende Probleme zu reagieren.

Link to this sectionEin Blick auf Modellleistungsmetriken vs. Systemmetriken#

Bevor wir in die Produktionsüberwachung eintauchen, lass uns den Unterschied zwischen Modellleistungsmetriken und Systemmetriken besprechen.

Typischerweise wird Modellüberwachung mit Bewertungsmetriken in Verbindung gebracht, auch Modellmetriken genannt, wie Genauigkeit (Accuracy), Präzision (Precision), Recall und mAP (mean average precision). Diese Metriken werden verwendet, um das Modellverhalten zu beschreiben und die Qualität der Modellvorhersagen zu beurteilen, oft im Verhältnis zu Produktions- oder Eingabedaten. Sie können besonders nützlich sein, um Randfälle oder Ausreißer in neuen Daten zu identifizieren.

Dies unterscheidet sich jedoch von der Überwachung eines bereitgestellten Systems in der Produktion. In diesem Kontext konzentriert sich die Überwachung darauf, wie das System läuft, anstatt die Modellvorhersagen direkt zu bewerten.

Anstelle von Modellmetriken stützt sich die Deployment-Überwachung auf Signale auf Systemebene wie Anfragevolumen, Latenz, Fehlerraten und Verfügbarkeit. Diese Metriken bieten Einblick in die Art und Weise, wie Endpunkte Eingabedaten verarbeiten, wie konsistent sie antworten und wie sie in Produktionsumgebungen funktionieren.

Link to this sectionDie Rolle der Modellüberwachung in Computer-Vision-Projekten#

Lass uns als Nächstes ein reales Beispiel betrachten, das die Notwendigkeit eines Überwachungssystems bei Computer-Vision-Bereitstellungen unterstreicht.

Stell dir eine Vision-Lösung vor, die Pose Estimation nutzt – eine Computer-Vision-Aufgabe zur Identifizierung und Analyse menschlicher Körperbewegungen –, um Bauarbeiter auf Sicherheitskonformität zu überwachen. Bei der anfänglichen Bereitstellung des Modells kann ein solches System unter kontrollierten Bedingungen mit klarer Sicht und Standardszenarien gut funktionieren.

Reale Baustellen bringen jedoch zusätzliche Komplexität mit sich. Anfragevolumina können im Tagesverlauf schwanken, Netzwerkbedingungen können inkonsistent sein und mehrere Kameras oder Endpunkte können gleichzeitig Daten senden. Diese Faktoren können zu langsameren Antworten oder gelegentlichen Ausfällen führen, wenn das System nicht ordnungsgemäß überwacht wird.

Abb. 2. Pose Estimation wird verwendet, um Arbeiter auf einer Baustelle zu überwachen (Quelle)

In einer Produktionsumgebung wie dieser wird es wichtig zu verstehen, wie zuverlässig das System arbeitet. Die Überwachung bietet Einblick darin, ob Endpunkte verfügbar sind, wie schnell sie auf eingehende Anfragen reagieren und wie konsistent sie den Datenverkehr über die Zeit hinweg verarbeiten.

Beispielsweise kann eine Erhöhung der Latenz auf eine höhere Last oder Ressourcenengpässe hindeuten, während ein Anstieg der Fehlerraten auf Probleme bei der Anfrageverarbeitung oder Systemstabilität hinweisen kann. Protokolle fügen weiteren Kontext hinzu, indem sie zeigen, wie einzelne Anfragen verarbeitet werden und wo Fehler auftreten.

Durch die Verfolgung dieser Signale können KI-Enthusiasten und Data Scientists Probleme frühzeitig erkennen, Fehler effektiver beheben und sicherstellen, dass ihre Systeme bei sich ändernden realen Bedingungen weiterhin zuverlässig laufen.

Link to this sectionVerwendung der Ultralytics Platform zur Überwachung bereitgestellter Vision-Modelle#

In vielen Deep-Learning-Workflows wird die Überwachung oft mit separaten Tools für Protokollierung, Metriken und Systemzustand abgewickelt. Diese fragmentierte Einrichtung kann es schwierig machen, einen klaren Überblick über die Funktionsweise bereitgestellter Endpunkte in der Produktion zu erhalten, und erhöht die Komplexität bei der Verwaltung von Bereitstellungen.

Die Ultralytics Platform vereinfacht dies, indem sie die Überwachung direkt in eine einheitliche Umgebung integriert, die den gesamten Computer-Vision-Workflow abdeckt, von der Datenaufnahme und Annotation bis hin zu Training, Bereitstellung und Überwachung.

Mit dieser integrierten Einrichtung können Benutzer verfolgen, wie ihre bereitgestellten Endpunkte den realen Datenverkehr bewältigen, ohne externe Protokollierungssysteme oder zusätzliche Dashboards einrichten zu müssen. Alles ist an einem Ort verfügbar, was es einfacher macht, das Systemverhalten zu beobachten und zuverlässige Bereitstellungen langfristig aufrechtzuerhalten.

Überwachungsfunktionen können direkt über den Deploy-Tab aufgerufen werden. Von einem einzigen Dashboard aus können Benutzer wichtige Metriken verfolgen, das Verhalten auf Anfrageebene analysieren und Trends visualisieren. Diese integrierten Visualisierungen erleichtern das Verständnis der Lösungsperformance, ohne zwischen Tools wechseln zu müssen.

Indem Überwachung, Bereitstellung und Modellverwaltung innerhalb des breiteren Workflows zusammengeführt werden, reduziert die Plattform die Komplexität. Dies macht es nahtloser, sich auf die Verwaltung von Bereitstellungen, die Optimierung der Systemleistung und die Aufrechterhaltung der Zuverlässigkeit zu konzentrieren.

Link to this sectionIntegrierte Überwachungsfunktionen der Ultralytics Platform#

Bei realen Bereitstellungen hängt die Überwachung davon ab, klare Sicht darauf zu haben, wie Systeme bei sich ändernden Bedingungen im Laufe der Zeit laufen. Es geht über das Nachverfolgen einiger weniger Metriken hinaus und beinhaltet das Verständnis dafür, wie sich bereitgestellte Endpunkte über Umgebungen hinweg verhalten und wie mehrere Bereitstellungen effektiv verwaltet werden.

Inspiriert durch das Feedback aus der Vision-KI-Community zu gängigen Computer-Vision-Herausforderungen, enthält die Ultralytics Platform mehrere Funktionen, die die Überwachung praktischer und skalierbarer machen.

Hier ist ein Überblick über einige dieser Schlüsselfunktionen:

• Globale Bereitstellungssichtbarkeit: Die Deploy-Seite enthält eine interaktive Weltkarte, die Bereitstellungsregionen mit visuellen Indikatoren für aktive und in Bearbeitung befindliche Endpunkte anzeigt, sodass Benutzer die geografische Verteilung und regionale Aktivität überwachen können.
• Flexible Dashboard-Ansichten: Das Deployment-Dashboard bietet mehrere Ansichtsmodi, einschließlich Kartenansicht, kompakter Rasteransicht und Tabellenansicht mit sortierbaren Spalten wie Name, Region, Status und Anfragen, was eine strukturierte Überwachung und Vergleichbarkeit unterstützt.
• Überwachung mehrerer Endpunkte: Das Dashboard aggregiert Überwachungsdaten über alle Bereitstellungen hinweg mithilfe von Übersichts-Cards und Bereitstellungslisten.
• Datenaufbewahrungsrichtlinien: Überwachungsdaten werden für einen definierten Zeitraum aufbewahrt, wobei Metriken für 30 Tage und Protokolle für 7 Tage verfügbar sind, was aktuelle Leistungsanalysen und Debugging-Workflows unterstützt.
• Unterstützung für externe Überwachung: Bereitstellungs-Endpunkte können mit externen Tools wie Datadog, New Relic und Uptime-Monitoring-Diensten überwacht oder über API-Endpunkte für benutzerdefinierte Überwachungs- und Zustandsprüfungen (Health Checks) aufgerufen werden.

Als Nächstes gehen wir einige dieser Funktionen im Detail durch und sehen, wie sie zur Überwachung bereitgestellter Endpunkte in der Produktion verwendet werden können.

Link to this sectionWie man wichtige Leistungsmetriken mit der Ultralytics Platform verfolgt#

Sobald ein Modell bereitgestellt ist, beginnt die Überwachung mit der Verfolgung wichtiger Systemmetriken. Während Metriken wie Genauigkeit und Recall während der Entwicklung nützlich sind, konzentriert sich die Produktionsüberwachung auf Signale auf Systemebene wie Antwortzeit und Fehlerraten, die messbare Einblicke in die Zuverlässigkeit bieten, mit der Endpunkte den realen Datenverkehr bewältigen.

Die Ultralytics Platform bietet ein zentrales Dashboard, das einen klaren Blick auf die Endpunktaktivität und das Systemverhalten ermöglicht. Insbesondere enthält das Deployment-Dashboard vier Schlüsselmetriken, die zeigen, wie Endpunkte verwendet werden und wie sie auf eingehende Anfragen reagieren.

Hier ist ein genauerer Blick auf diese Metriken:

• Gesamtzahl der Anfragen: Die Gesamtzahl der Anfragen, die über alle Endpunkte hinweg über einen Zeitraum von 24 Stunden gestellt wurden. Dies hilft dabei, Nutzungsmuster und die Gesamtnachfrage zu identifizieren.
• Aktive Bereitstellungen: Die Anzahl der Endpunkte, die aktuell laufen und Anfragen bedienen.
• P95-Latenz: Die Antwortzeit, innerhalb derer 95 % der Anfragen abgeschlossen werden. Dies bietet eine realistischere Sicht auf die Leistung, indem langsamere Antworten berücksichtigt werden.
• Fehlerrate: Dies ist der Prozentsatz der fehlgeschlagenen Anfragen an der Gesamtzahl der Anfragen. Diese Metrik hilft dabei, Probleme zu identifizieren und kann verwendet werden, um Anomalien zu erkennen.

Einfach ausgedrückt bieten diese Metriken einen klaren Blick darauf, wie bereitgestellte Endpunkte in der Produktion arbeiten. Durch die Analyse von Nutzungsmustern können Teams und Einzelpersonen die Verkehrsverteilung verstehen, Lastspitzen identifizieren und sicherstellen, dass Systeme reaktionsfähig und zuverlässig bleiben, wenn die Nutzung wächst.

Link to this sectionVerständnis des Modell-Deployment-Verhaltens durch Protokolle (Logs)#

Während Metriken einen allgemeinen Überblick über die Systemleistung bieten, liefern Protokolle einen detaillierteren Einblick in die Art und Weise, wie bereitgestellte Endpunkte einzelne Anfragen bearbeiten. Protokolle erfassen jede an einen Endpunkt gesendete Anfrage zusammen mit der entsprechenden Antwort.

Sie sind nützlich, um Probleme zu verfolgen, Fehler zu untersuchen und zu verstehen, wie Anfragen verarbeitet werden. Innerhalb der Ultralytics Platform kannst du jede Bereitstellung auswählen, um deren Details, einschließlich Protokolle, anzuzeigen.

Abb. 3. Ein Beispiel für Protokolle innerhalb der Ultralytics Platform (Quelle)

Ein Protokolleintrag in der Plattform wird in einem strukturierten Format angezeigt, was es einfacher macht zu verstehen, was während jeder Anfrage passiert ist. Jeder Eintrag enthält eine Schweregrad-Stufe (Severity Level), die angibt, wie wichtig das Ereignis ist, zusammen mit einem Zeitstempel, der zeigt, wann es aufgetreten ist.

Er enthält auch eine Nachricht, die das Ereignis beschreibt, sowie HTTP-bezogene Details wie Statuscodes und Latenz. Diese Informationen helfen dabei, Anfragen nachzuverfolgen, die Fehlerbehebung zu unterstützen und Probleme effektiver zu debuggen. Darüber hinaus sind Protokolle nach Schweregrad gruppiert, sodass Benutzer Bereitstellungen priorisieren können, die Aufmerksamkeit erfordern.

Link to this sectionAnalyse des Endpunktzustands und der Zuverlässigkeit auf der Ultralytics Platform#

Zur Überwachung gehört auch das Verständnis des Gesamtzustands bereitgestellter Endpunkte, einschließlich der Frage, ob sie ordnungsgemäß laufen, rechtzeitig reagieren und Anfragen konsistent ohne Fehler bearbeiten. Die Ultralytics Platform bietet einen klaren Blick auf den Gesundheitszustand jeder Bereitstellung, was es einfach macht zu überprüfen, ob Endpunkte wie erwartet funktionieren.

Die Plattform enthält visuelle Gesundheitsindikatoren für jede Bereitstellung, die auf einzelnen Bereitstellungskarten angezeigt werden.

Zum Beispiel zeigt ein grüner Indikator an, dass der Endpunkt gesund ist und normal reagiert, während ein roter Indikator Probleme oder Ausfallzeiten signalisiert. Ein sich drehendes Symbol zeigt an, dass das System den Status der Bereitstellung aktiv überprüft.

Durch die Verfolgung des Endpunktzustands über die Zeit hinweg wird es möglich, Probleme frühzeitig zu erkennen, eine konsistente Leistung aufrechtzuerhalten und eine stabile Erfahrung für Anwendungen in der Produktion sicherzustellen.

Link to this sectionDie Verbindung zwischen Überwachungsdaten und Leistungsverbesserung#

Modellüberwachung besteht nicht nur aus dem Nachverfolgen von Metriken. Sie schafft einen Feedback-Loop, der kontinuierliche Verbesserung im Laufe der Zeit unterstützt. Da Endpunkte realen Datenverkehr bewältigen, beginnen sich in Metriken und Protokollen Muster abzuzeichnen, die Probleme wie erhöhte Latenz, höhere Fehlerraten oder inkonsistentes Systemverhalten aufdecken können.

Die Überwachung hebt Bereiche hervor, die Aufmerksamkeit erfordern. Zum Beispiel kann eine konstant hohe Latenz auf die Notwendigkeit einer besseren Ressourcenzuweisung oder Skalierung hindeuten, während eine steigende Fehlerrate auf Probleme bei der Anfrageverarbeitung oder Systemstabilität hinweisen kann.

Sobald diese Probleme identifiziert sind, können Schritte unternommen werden, um die Zuverlässigkeit zu verbessern. Dies kann die Anpassung der Infrastruktur, die Skalierung von Ressourcen oder die Behebung von Problemen bei der Art und Weise, wie Anfragen verarbeitet werden, beinhalten. Nach diesen Änderungen können Systeme weiterhin überwacht werden, um zu bestätigen, dass sich die Leistung verbessert hat.

Indem Überwachung mit kontinuierlichen Verbesserungen verknüpft wird, können Benutzer robuste Systeme aufrechterhalten, während die Nutzung wächst und sich die Bedingungen ändern.

Link to this sectionErkundung eines realen Beispiels: Überwachung der Gepäckabfertigung in der Luftfahrt#

Um ein besseres Verständnis für die Auswirkungen der Überwachung in einem realen Szenario zu bekommen, lass uns untersuchen, wie sie auf die Automatisierung von Bodenabfertigungsvorgängen in der Luftfahrt angewendet wird.

Betrachte ein Vision-System, das dazu entwickelt wurde, das Be- und Entladen von Gepäck während der Bodenabfertigung von Flugzeugen zu überwachen. In dieser Einrichtung kann ein Objekterkennungsmodell wie Ultralytics YOLO26 verwendet werden, um zu erkennen, ob Gepäck von Förderbändern oder Abfertigungsausrüstung fällt.

Während der Testphase und der frühen Bereitstellung kann das Echtzeitsystem gut funktionieren, Gepäck präzise identifizieren und schnell reagieren.

In einer Live-Flughafenumgebung sind die Bedingungen jedoch weit weniger vorhersehbar. Die Beleuchtung ändert sich im Laufe des Tages, mehrere Kameras streamen gleichzeitig Daten, und Anfragevolumina steigen in Stoßzeiten sprunghaft an. Diese Faktoren können dazu führen, dass die Latenz steigt oder Fehler auftreten, und ohne Einblick in das System können solche Probleme leicht unbemerkt bleiben.

Hier wird die Überwachung wertvoll. Durch die Verfolgung von Metriken wie Anfragevolumen, Latenz und Fehlerraten neben detaillierten Protokollen können Teams schnell sehen, wenn ein Endpunkt langsamer wird oder ausfällt. Wenn die Latenz während der Stoßzeiten steigt, kann dies auf die Notwendigkeit hindeuten, Ressourcen zu skalieren, während ein plötzlicher Anstieg der Fehler auf Probleme mit bestimmten Kameras oder der Anfrageverarbeitung hinweisen kann. Das Handeln auf Basis dieser Signale trägt dazu bei, das System zuverlässig zu halten, sodass die Gepäckabfertigung auch bei sich ändernden Bedingungen präzise überwacht werden kann.

Link to this sectionWichtige Erkenntnisse#

Überwachung ist das, was bereitgestellte Computer-Vision-Modelle zuverlässig hält, sobald sie die kontrollierten Bedingungen der Entwicklung verlassen und beginnen, realen Datenverkehr zu bewältigen. Indem sie sich auf Signale auf Systemebene wie Anfragevolumen, Latenz, Fehlerraten und Verfügbarkeit neben detaillierten Protokollen konzentriert, bietet die Überwachung die notwendige Sichtbarkeit, um Probleme frühzeitig zu erkennen und Produktionssysteme reibungslos am Laufen zu halten.

Mit der direkt in den Deployment-Workflow integrierten Überwachung macht die Ultralytics Platform es einfacher, den Endpunktzustand zu verfolgen, das Anfrageverhalten zu überprüfen und zuverlässige Systeme aufrechtzuerhalten, ohne auf separate Tools angewiesen zu sein. Indem sie Daten, Training, Bereitstellung und Überwachung an einem Ort zusammenführt, hilft die Plattform Teams dabei, von Experimenten zu zuverlässigen realen Bereitstellungen überzugehen.

Tritt unserer wachsenden Community bei und erkunde unser GitHub-Repository, um mehr über Vision-KI zu erfahren. Um noch heute mit Vision-KI zu entwickeln, sieh dir unsere Lizenzoptionen an. Entdecke, wie KI in der Fertigung und KI im Gesundheitswesen die Zukunft gestalten, indem du unsere Lösungsseiten besuchst.