Überwachung der auf Ultralytics bereitgestellten Computer-Vision-Modelle
Erfahren Sie, wie Sie Computer-Vision-Modelle in der Produktion mit Ultralytics überwachen können. Verfolgen Sie Kennzahlen, detect und steigern Sie die Zuverlässigkeit.
Erfahren Sie, wie Sie Computer-Vision-Modelle in der Produktion mit Ultralytics überwachen können. Verfolgen Sie Kennzahlen, detect und steigern Sie die Zuverlässigkeit.
Das Testen von Computer-Vision-Modellen, die Bilder und Videos analysieren, ist nicht immer dasselbe wie deren Einsatz in der Produktion. Während der Entwicklung werden solche Modelle oder Algorithmen an sauberen, gut aufbereiteten Datensätzen getestet, bei denen die Bedingungen kontrolliert und vorhersehbar sind.
Nach der Bereitstellung wird die Situation dynamischer. Die Modelle sind dem realen Datenverkehr ausgesetzt, bei dem das Anfragevolumen schwanken, die Antwortzeiten variieren und gelegentlich Ausfälle auftreten können.
In dieser Phase liegt der Schwerpunkt darauf, ob das System zuverlässig läuft und die Endpunkte unter wechselnden Bedingungen verfügbar, reaktionsfähig und stabil bleiben.
Deshalb ist die Überwachung unverzichtbar. Sie vermittelt anhand von Kennzahlen wie Anfragemenge, Latenz, Fehlerraten und dem allgemeinen Systemzustand einen klaren Überblick darüber, wie sich die bereitgestellten Endpunkte in der Produktion verhalten.
Um dies zu vereinfachen, ist der Einsatz der richtigen Tools ebenso wichtig wie das Modell selbst. Vor kurzem Ultralytics Ultralytics Ultralytics , unsere neue End-to-End-Umgebung, die den gesamten Computer-Vision-Workflow vereint – von den Daten über das Training bis hin zur Bereitstellung und Überwachung.
Da die Überwachung direkt in diesen Arbeitsablauf integriert ist, können Nutzer den Zustand track , das Anforderungsverhalten überprüfen und zuverlässige Systeme aufrechterhalten, ohne auf separate Tools zurückgreifen zu müssen. In diesem Artikel erfahren Sie, wie Sie mit Ultralytics bereitgestellte Modell-Endpunkte überwachen und den reibungslosen Betrieb Ihrer Produktionssysteme sicherstellen können. Legen wir los!
Im Lebenszyklus eines KI-Modells bezieht sich die Überwachung darauf, zu beobachten, wie sich bereitgestellte Systeme verhalten, sobald ein Modell live ist und Anfragen aus der Praxis bearbeitet. Während Training und Validierung zeigen, wie ein Machine-Learning-Modell (ML-Modell) auf vorbereiteten Datensätzen abschneidet, konzentriert sich die Überwachung darauf, wie der bereitgestellte Endpunkt in einer Produktionsumgebung funktioniert.
Ein wesentlicher Bestandteil der Überwachung ist die Erfassung von Kennzahlen auf Systemebene, die Aufschluss über die Zuverlässigkeit und Reaktionsfähigkeit geben. Kennzahlen wie Latenz und Verfügbarkeit geben Aufschluss darüber, wie gut das System eingehende Anfragen verarbeitet. Die Latenz misst, wie lange es dauert, eine Anfrage zu bearbeiten und eine Antwort zurückzugeben, während die Verfügbarkeit angibt, wie konstant der Endpunkt verfügbar bleibt.
Ein weiterer wichtiger Aspekt ist die Beobachtbarkeit, die Einblick in die Verarbeitung von Anfragen bietet. Jedes Mal, wenn eine Eingabe – beispielsweise ein Bild oder ein Videobild – an ein bereitgestelltes Modell gesendet wird, wird sie als Inferenzanfrage verarbeitet.
In den Protokollen werden diese Anfragen zusammen mit Details wie Zeitstempeln, Antwortzeiten und Statuscodes erfasst. Diese Protokolle erleichtern die Nachverfolgung von Anfragen, die Fehlerbehebung und die Untersuchung von Störungen, sobald diese auftreten. Sie sind besonders nützlich, um Muster wie wiederkehrende Fehler, langsame Antworten oder unerwartetes Systemverhalten zu erkennen.
Durch die Kombination von Metriken und Protokollen hilft die Überwachung den Benutzern zu verstehen, wie ihre Systeme in der Produktion funktionieren, und schnell auf auftretende Probleme zu reagieren.
Bevor wir uns mit der Produktionsüberwachung befassen, wollen wir zunächst den Unterschied zwischen Kennzahlen zur Modellleistung und Systemkennzahlen erörtern.
In der Regel wird die Modellüberwachung mit Bewertungskennzahlen – auch als Modellmetriken bezeichnet – wie Genauigkeit, Präzision, Recall und mAP Mean Average Precision) in Verbindung gebracht. Diese Kennzahlen dienen dazu, das Modellverhalten zu beschreiben und die Qualität der Modellvorhersagen zu bewerten, häufig im Zusammenhang mit Produktionsdaten oder Eingabedaten. Sie können besonders nützlich sein, um Randfälle oder Ausreißer in neuen Daten zu identifizieren.
Dies unterscheidet sich jedoch von der Überwachung eines im Produktivbetrieb eingesetzten Systems. In diesem Zusammenhang konzentriert sich die Überwachung darauf, wie das System läuft, anstatt die Modellvorhersagen direkt zu bewerten.
Anstelle von Modellkennzahlen stützt sich die Bereitstellungsüberwachung auf Signale auf Systemebene wie Anforderungsvolumen, Latenz, Fehlerraten und Verfügbarkeit. Diese Kennzahlen geben Aufschluss darüber, wie Endpunkte Eingabedaten verarbeiten, wie konsistent sie reagieren und wie sie in Produktionsumgebungen funktionieren.
Betrachten wir nun ein Beispiel aus der Praxis, das verdeutlicht, warum ein Überwachungssystem bei der Umsetzung von Computer-Vision-Anwendungen unerlässlich ist.
Stellen Sie sich eine Bildverarbeitungslösung vor, die auf Posenschätzung basiert – einer Aufgabe der Bildverarbeitung, mit der menschliche Körperbewegungen erkannt und analysiert werden –, um die Einhaltung von Sicherheitsvorschriften bei Bauarbeitern zu überwachen. Bei der ersten Modellimplementierung könnte ein solches System unter kontrollierten Bedingungen mit guter Sicht und in Standardszenarien gute Ergebnisse liefern.
Auf realen Baustellen kommt es jedoch zu zusätzlichen Komplikationen. Das Anforderungsvolumen kann im Laufe des Tages schwanken, die Netzwerkbedingungen können unbeständig sein, und es kann vorkommen, dass mehrere Kameras oder Endgeräte gleichzeitig Daten senden. Diese Faktoren können zu langsameren Reaktionszeiten oder gelegentlichen Ausfällen führen, wenn das System nicht ordnungsgemäß überwacht wird.
In einer solchen Produktionsumgebung ist es wichtig zu wissen, wie zuverlässig das System funktioniert. Durch die Überwachung lässt sich feststellen, ob Endpunkte verfügbar sind, wie schnell sie auf eingehende Anfragen reagieren und wie konsistent sie den Datenverkehr im Laufe der Zeit verarbeiten.
So kann beispielsweise eine erhöhte Latenz auf eine höhere Auslastung oder Ressourcenengpässe hindeuten, während steigende Fehlerraten auf Probleme bei der Bearbeitung von Anfragen oder bei der Systemstabilität hinweisen können. Protokolle liefern zusätzlichen Kontext, indem sie aufzeigen, wie einzelne Anfragen verarbeitet werden und wo Fehler auftreten.
Durch die Überwachung dieser Signale können KI-Begeisterte und Datenwissenschaftler Probleme frühzeitig erkennen, Fehler effektiver beheben und sicherstellen, dass ihre Systeme auch bei sich ändernden realen Bedingungen weiterhin zuverlässig laufen.
In vielen Deep-Learning-Workflows erfolgt die Überwachung häufig mithilfe separater Tools für Protokollierung, Metriken und Systemzustand. Diese fragmentierte Struktur kann es erschweren, einen klaren Überblick über den Betrieb der bereitgestellten Endpunkte in der Produktion zu erhalten, und erhöht die Komplexität bei der Verwaltung der Bereitstellungen.
Ultralytics vereinfacht diesen Prozess, indem sie die Überwachung direkt in eine einheitliche Umgebung integriert, die den gesamten Computer-Vision-Workflow abdeckt – von der Datenerfassung und Annotation bis hin zum Training, zur Bereitstellung und zur Überwachung.
Dank dieser integrierten Lösung können Anwender track ihre bereitgestellten Endpunkte den realen Datenverkehr verarbeiten, ohne externe Protokollierungssysteme oder zusätzliche Dashboards einrichten zu müssen. Alle Informationen sind an einem Ort verfügbar, was die Beobachtung des Systemverhaltens erleichtert und langfristig für zuverlässige Bereitstellungen sorgt.
Auf die Überwachungsfunktionen kann direkt über die Registerkarte „Bereitstellung“ zugegriffen werden. Über ein einziges Dashboard können Benutzer track Kennzahlen track , das Verhalten auf Anforderungsebene analysieren und Trends visualisieren. Diese integrierten Visualisierungen erleichtern es, die Leistung von Lösungen nachzuvollziehen, ohne zwischen verschiedenen Tools wechseln zu müssen.
Indem die Plattform Überwachung, Bereitstellung und Modellverwaltung in den übergeordneten Arbeitsablauf integriert, reduziert sie die Komplexität. Dadurch wird es einfacher, sich auf die Verwaltung von Bereitstellungen, die Optimierung der Systemleistung und die Aufrechterhaltung der Zuverlässigkeit zu konzentrieren.
In der Praxis hängt die Überwachung davon ab, dass man einen klaren Überblick darüber hat, wie sich der Betrieb der Systeme im Laufe der Zeit verändert. Dabei geht es um mehr als nur die Erfassung einiger weniger Kennzahlen; vielmehr muss man verstehen, wie sich die bereitgestellten Endpunkte in verschiedenen Umgebungen verhalten, und mehrere Bereitstellungen effektiv verwalten.
Inspiriert durch das Feedback der Vision-AI-Community zu gängigen Herausforderungen im Bereich Computer Vision bietet die Ultralytics mehrere Funktionen, die die Überwachung praktischer und skalierbarer machen.
Hier ein Überblick über einige dieser wichtigsten Funktionen:
Als Nächstes werden wir einige dieser Funktionen genauer betrachten und sehen, wie sie zur Überwachung der in der Produktion eingesetzten Endgeräte genutzt werden können.
Sobald ein Modell bereitgestellt wurde, beginnt die Überwachung mit der Erfassung wichtiger Systemkennzahlen. Während Kennzahlen wie Genauigkeit und Recall während der Entwicklung nützlich sind, konzentriert sich die Überwachung im Produktivbetrieb auf Signale auf Systemebene wie Antwortzeiten und Fehlerquoten, die messbare Einblicke darin liefern, wie zuverlässig die Endpunkte den realen Datenverkehr verarbeiten.
Ultralytics bietet ein zentrales Dashboard, das einen klaren Überblick über die Endgeräteaktivitäten und das Systemverhalten gewährt. Insbesondere enthält das Deployment-Dashboard vier wichtige Kennzahlen, die Aufschluss darüber geben, wie die Endgeräte genutzt werden und wie sie auf eingehende Anfragen reagieren.
Hier ein genauerer Blick auf diese Kennzahlen:
Einfach ausgedrückt bieten diese Kennzahlen einen klaren Überblick darüber, wie die bereitgestellten Endgeräte im Produktivbetrieb funktionieren. Durch die Analyse von Nutzungsmustern können Teams und einzelne Mitarbeiter die Verteilung des Datenverkehrs nachvollziehen, Spitzenauslastungszeiten erkennen und sicherstellen, dass die Systeme auch bei steigender Nutzung reaktionsschnell und zuverlässig bleiben.
Während Metriken einen allgemeinen Überblick über die Systemleistung bieten, geben Protokolle einen detaillierteren Einblick darin, wie bereitgestellte Endpunkte einzelne Anfragen verarbeiten. Protokolle zeichnen jede an einen Endpunkt gesendete Anfrage zusammen mit der entsprechenden Antwort auf.
Sie sind nützlich, um Probleme nachzuverfolgen, Fehler zu untersuchen und zu verstehen, wie Anfragen verarbeitet werden. Innerhalb der Ultralytics können Sie eine beliebige Bereitstellung auswählen, um deren Details, einschließlich der Protokolle, anzuzeigen.
Ein Protokolleintrag in der Plattform wird in einem strukturierten Format angezeigt, wodurch leichter nachvollziehbar ist, was bei jeder Anfrage geschehen ist. Jeder Eintrag enthält einen Schweregrad, der angibt, wie wichtig das Ereignis ist, sowie einen Zeitstempel, der angibt, wann es aufgetreten ist.
Außerdem enthält es eine Beschreibung des Vorfalls sowie HTTP-bezogene Details wie Statuscodes und Latenzzeiten. Diese Informationen helfen dabei, Anfragen nachzuverfolgen, die Fehlerbehebung zu unterstützen und Probleme effektiver zu beheben. Darüber hinaus werden die Protokolle nach Schweregrad gruppiert, sodass Benutzer die Bereitstellungen priorisieren können, die besondere Aufmerksamkeit erfordern.
Zur Überwachung gehört auch, den Gesamtzustand der bereitgestellten Endgeräte zu erfassen – darunter, ob sie ordnungsgemäß laufen, rechtzeitig reagieren und Anfragen konsistent und fehlerfrei bearbeiten. Die Ultralytics bietet einen klaren Überblick über den Betriebszustand jeder Bereitstellung, sodass sich leicht überprüfen lässt, ob die Endgeräte wie erwartet funktionieren.
Die Plattform umfasst visuelle Statusanzeigen für jede Bereitstellung, die auf den jeweiligen Bereitstellungskarten angezeigt werden.
Ein grüner Indikator zeigt beispielsweise an, dass der Endpunkt einwandfrei funktioniert und normal reagiert, während ein roter Indikator auf Probleme oder Ausfälle hinweist. Ein sich drehendes Symbol zeigt an, dass das System gerade den Status der Bereitstellung überprüft.
Durch die kontinuierliche Überwachung des Zustands der Endgeräte lassen sich detect frühzeitig detect , eine gleichbleibende Leistung gewährleisten und ein stabiler Betrieb der in der Produktion laufenden Anwendungen sicherstellen.
Bei der Modellüberwachung geht es nicht nur darum, Kennzahlen zu verfolgen. Sie schafft einen Regelkreis, der eine kontinuierliche Verbesserung im Laufe der Zeit ermöglicht. Wenn Endpunkte den realen Datenverkehr verarbeiten, zeichnen sich in den Kennzahlen und Protokollen Muster ab, die auf Probleme wie erhöhte Latenzzeiten, höhere Fehlerquoten oder inkonsistentes Systemverhalten hinweisen können.
Die Überwachung macht Bereiche deutlich, die besondere Aufmerksamkeit erfordern. So kann beispielsweise eine anhaltend hohe Latenz darauf hindeuten, dass eine bessere Ressourcenzuweisung oder Skalierung erforderlich ist, während eine steigende Fehlerquote auf Probleme bei der Bearbeitung von Anfragen oder der Systemstabilität hindeuten kann.
Sobald diese Probleme identifiziert sind, können Maßnahmen zur Verbesserung der Zuverlässigkeit ergriffen werden. Dazu können Anpassungen an der Infrastruktur, die Skalierung von Ressourcen oder die Behebung von Problemen bei der Verarbeitung von Anfragen gehören. Nach diesen Änderungen können die Systeme weiterhin überwacht werden, um sicherzustellen, dass sich die Leistung verbessert hat.
Durch die Verknüpfung von Überwachung und kontinuierlicher Verbesserung können Anwender ihre Systeme auch bei steigender Nutzung und sich ändernden Bedingungen stabil halten.
Um ein besseres Verständnis für die Auswirkungen der Überwachung in der Praxis zu gewinnen, wollen wir uns ansehen, wie sie bei der Automatisierung des Bodenbetriebs in der Luftfahrt zum Einsatz kommt.
Nehmen wir ein Bildverarbeitungssystem, das für die Überwachung des Be- und Entladens von Gepäck während des Bodenbetriebs von Flugzeugen entwickelt wurde. In dieser Konfiguration kann ein Objekterkennungsmodell wie Ultralytics eingesetzt werden, um detect Gepäckstücke von Förderbändern oder Umschlaggeräten herunterfallen.
Während der Testphase und der ersten Einsatzphase funktioniert das Echtzeitsystem möglicherweise einwandfrei, identifiziert das Gepäck präzise und reagiert schnell.
Beginnen Sie Ihre Reise mit der Zukunft des maschinellen Lernens
