Ultralytics Platform Monitoring: Behalte deine Vision-KI-Bereitstellungen im Blick

Das Bereitstellen eines Computer-Vision-Modells ist ein wichtiger Meilenstein, aber der Erfolg in der Produktion hängt davon ab, was als Nächstes geschieht. Wenn der Traffic wächst und sich die Bedingungen in der Praxis ändern, müssen Teams wissen, ob Endpunkte reaktionsfähig, zuverlässig und nützlich bleiben.

Monitoring in der Ultralytics Platform gibt Teams Einblick in bereitgestellte Ultralytics YOLO-Modelle über dieselbe Umgebung, die zur Verwaltung von Daten, Training und Deployment genutzt wird. Verfolge den Betriebszustand, untersuche Vorhersagetrends, behebe Probleme und verwandle nützliche Produktionsbeispiele in Daten für zukünftige Modellverbesserungen.

Was ist Vision-KI-Modell-Monitoring?#

Das Vision-KI-Modell-Monitoring hilft Teams zu verstehen, wie sich bereitgestellte Endpunkte und deren Vorhersagen in der Produktion verhalten.

Ultralytics Platform beantwortet zwei wichtige Fragen:

• Arbeitet der Endpunkt zuverlässig? Verfolge Anfragen, P95-Latenz, Fehlerraten, den Status der Betriebsbereitschaft und Logs.
• Was sieht und prognostiziert das Modell? Untersuche Beispielvorhersagen und Statistiken wie Klassenzahlen, Konfidenz, Inferenzzeit und Vorhersagepositionen, sofern unterstützt.

Zusammen vermitteln diese Einblicke ein klareres Bild als die reine Verfügbarkeit des Endpunkts. Ein Endpunkt kann online bleiben, während sich Traffic-Muster, Reaktionszeiten oder Vorhersageverteilungen ändern. Durch das Monitoring lassen sich solche Signale einfacher untersuchen.

Deployment-Gesundheit auf einen Blick verstehen#

Die Deploy-Seite dient als zentrales Monitoring-Dashboard für deine Endpunkte. Übersichtskarten fassen HTTP-Anfragen, aktive Deployments, Fehlerraten und die P95-Latenz der letzten 24 Stunden zusammen.

Mit diesen Metriken können Teams:

• Nachfrage verstehen: Sieh nach, ob der Endpoint-Traffic steigt, sinkt oder sich unerwartet verändert.
• Leistungsprobleme identifizieren: Nutze die P95-Latenz, um langsamere Antworten zu untersuchen, die eine Anwendung beeinträchtigen könnten.
• Fehler aufdecken: Erkenne erhöhte HTTP-Fehlerraten und nutze Deployment-Logs, um die Ursache zu diagnostizieren.
• Verfügbarkeit prüfen: Bestätige, ob einzelne Endpunkte fehlerfrei sind und reagieren.
• Deployments vergleichen: Überprüfe Endpunkte über Karten-, Kompakt- oder sortierbare Tabellenansichten.

Die Karte für die Fehlerrate wird hervorgehoben, wenn die Rate 5 % überschreitet. Dies hilft dabei, Betriebsprobleme hervorzuheben, ohne dass Teams jeden Endpunkt einzeln überprüfen müssen.

Schnellere Fehlerbehebung mit Gesundheitsprüfungen und Logs#

Wenn ein Endpunkt Probleme hat, benötigen Teams mehr als nur eine hochrangige Metrik. Jedes einsatzbereite Deployment enthält eine Gesundheitsanzeige und Zugriff auf aktuelle Logs.

Gesundheitsprüfungen zeigen, ob ein Endpunkt reagiert, und melden dessen Antwortlatenz. Sie können auch dabei helfen, einen Endpunkt aufzuwärmen, der auf Null skaliert wurde, bevor Produktionstraffic gesendet wird.

Logs bieten zusätzlichen Kontext durch Zeitstempel, Schweregrade, Nachrichten und HTTP-Details. Dies hilft Teams dabei, fehlgeschlagene Anfragen, unerwartete Antworten oder Leistungsänderungen zu untersuchen, ohne sofort zu einer separaten Logging-Schnittstelle wechseln zu müssen.

Durch die Verknüpfung von Metriken, Gesundheitsprüfungen und Logs mit jedem Deployment schafft Ultralytics Platform einen direkteren Weg von der Identifizierung eines Problems bis zu dessen Verständnis.

Live-Vorhersageverhalten untersuchen#

Kostenpflichtige, nach Betriebszeit abgerechnete dedizierte Endpunkte, die eine für das Monitoring fähige Laufzeit ausführen, bieten einen zusätzlichen Monitoring-Tab mit temporären Beispielen und Vorhersagestatistiken.

Die Galerie der temporären Beispiele zeigt eine rollierende Stichprobe verarbeiteter Bilder mit Vorhersage-Overlays. Teams können diese Beispiele nutzen, um stichprobenartig zu prüfen, was ein Modell sieht, seine Ausgaben zu inspizieren und Eingaben zu identifizieren, die eine weitere Überprüfung verdienen.

Verfügbare Vorhersagestatistiken hängen von der Modellaufgabe ab und können Folgendes umfassen:

• Verarbeitete Bilder und Vorhersagen im Zeitverlauf
• Mittlere Modellinferenzzeit
• Häufig vorhergesagte Klassen
• Vorhersagen pro Bild
• Vorhersagekonfidenz und Konfidenztrends
• Vorhersageabmessungen
• Räumliche Heatmaps der Vorhersagestandorte

Diese Signale können Veränderungen offenbaren, die eine Untersuchung wert sind, wie etwa eine sinkende Konfidenz, eine unerwartete Verschiebung der Klassenverteilung oder Vorhersagen, die in ungewöhnlichen Teilen eines Bildes auftreten.

Konfidenz zeigt die Modellsicherheit an, nicht die Korrektheit. Teams sollten Beispiele überprüfen und Vorhersagen bei der Bewertung der Modellgenauigkeit mit überprüften Labels vergleichen.

Produktionsbeispiele in bessere Trainingsdaten umwandeln#

Monitoring wird wertvoller, wenn Erkenntnisse aus der Produktion in den nächsten Entwicklungszyklus einfließen können.

Wenn ein Beispiel eine schwierige Bedingung, ein ungewöhnliches Objekt oder eine potentielle Abdeckungslücke offenbart, können Workspace-Mitglieder mit den entsprechenden Berechtigungen dieses direkt in einem kompatiblen Dataset speichern. Das Bild und seine Vorhersagen durchlaufen dann den Standard-Dataset-Inaring-Workflow, in dem Labels überprüft werden können, bevor die Daten für das Training verwendet werden.

Dies schafft eine vernetzte Verbesserungsschleife:

1. Trainiere ein Ultralytics YOLO-Modell mit deinem Dataset.
2. Stelle es bereit an einem dedizierten Endpunkt.
3. Überwache die Gesundheit des Endpunkts und das Vorhersageverhalten.
4. Untersuche nützliche oder problematische Produktionsbeispiele.
5. Speichere und überprüfe ausgewählte Beispiele in einem Dataset.
6. Trainiere neu und stelle erneut bereit unter Verwendung von Daten, die auf realen Bedingungen basieren.

Anstatt Produktionsbeobachtungen isoliert in einem anderen System zu belassen, können Teams sie mit den Datasets und Modellen verknüpfen, die bereits in Ultralytics Platform verwaltet werden.

Für operative Sichtbarkeit ohne zusätzliche Komplexität entwickelt#

Computer-Vision-Workflows in der Produktion beinhalten oft separate Systeme für Deployment, Metriken, Logs, Modellinspektion und Datenmanagement. Der Wechsel zwischen diesen Systemen kann die Untersuchung verlangsamen und es schwieriger machen, das Modellverhalten mit zukünftigen Verbesserungen zu verknüpfen.

Ultralytics Platform führt diese Phasen zusammen. Teams können vom Training zum Deployment übergehen, die Endpoint-Gesundheit überprüfen, stichprobenartige Vorhersagen untersuchen und nützliche Beispiele speichern, ohne den Kontext über mehrere Werkzeuge hinweg neu aufzubauen.

Beispielsweise könnte ein Fertigungsteam untersuchen, ob Defektvorhersagen in erwarteten Bereichen eines Bildes auftreten. Ein Logistikteam könnte Veränderungen bei häufig erkennten Klassen überprüfen, während sich die Betriebsbedingungen entwickeln. Ein Einzelhandelsteam könnte einen Anstieg der Latenz untersuchen und feststellen, ob die Endpoint-Konfiguration oder die eingehende Bildgröße Aufmerksamkeit erfordert.

In jedem Fall hilft das Monitoring Teams dabei, von „etwas hat sich geändert“ zu einem fundierteren nächsten Schritt zu gelangen.

Monitoring-Daten und Berechtigung#

Das operative Monitoring, einschließlich Anfragen, Latenz, Fehlern, Gesundheitsprüfungen und Logs, ist über das Deployment-Erlebnis verfügbar.

Live-Vorhersagestatistiken und temporäre Beispiele erfordern einen einsatzbereiten, kostenpflichtigen dedizierten Endpunkt mit einer für das Monitoring fähigen Laufzeit. Ältere Endpunkte müssen möglicherweise aktualisiert werden, bevor der Monitoring-Tab verfügbar wird.

Vorhersagebeispiele und -statistiken werden im Speicher der Serving-Instanz gehalten. Sie können gelöscht werden, wenn ein Endpunkt gestoppt, neu gestartet, neu bereitgestellt, Ressourcen geändert oder sein Modell ersetzt wird. Speichere alle Beispiele, die du behalten möchtest, in einem Dataset, bevor du den Endpunkt änderst.

Beginne mit dem Monitoring deiner bereitgestellten Modelle#

Ultralytics Platform Monitoring gibt Teams die nötige Sichtbarkeit, um Vision-KI über das Deployment hinaus zu verwalten. Indem Endpoint-Metriken, Logs, Gesundheitsprüfungen, Vorhersageerkenntnisse und Dataset-Feedback in einem einzigen Workflow zusammengeführt werden, hilft es Teams, Probleme schneller zu erkennen und einen klareren Weg zu zuverlässigen Produktionssystemen aufzubauen.

Melde dich bei Ultralytics Platform an, öffne Deploy und wähle einen einsatzbereiten Endpunkt aus, um dessen Gesundheit und Leistung zu überprüfen. Erkunde die Feature-Verfügbarkeit, Vorhersagestatistiken und Details zur Datenaufbewahrung in der Monitoring-Dokumentation.