Überwachung in Ultralytics Platform: Halte Bereitstellungen für Computer Vision auf Kurs
Überwache bereitgestellte KI-Modelle für Computer Vision mit Ultralytics Platform. Verfolge den Status, die Latenz, Fehler und Protokolle von Endpunkten sowie Live-Statistiken zu Vorhersagen.
Die Bereitstellung eines Computer-Vision-Modells ist ein wichtiger Meilenstein, doch der Erfolg im Produktivbetrieb hängt davon ab, was danach geschieht. Wenn der Datenverkehr zunimmt und sich die Bedingungen in der Praxis ändern, müssen Teams wissen, ob die Endpunkte weiterhin reaktionsschnell, zuverlässig und nützlich sind.
Monitoring in der Ultralytics Platform gibt Teams Einblick in bereitgestellte Ultralytics-YOLO-Modelle – in derselben Umgebung, in der sie Daten, Training und Bereitstellung verwalten. Verfolge den Betriebszustand, untersuche Vorhersagetrends, behebe Probleme und verwandle nützliche Beispiele aus dem Produktivbetrieb in Daten für künftige Modellverbesserungen.
Was ist das Monitoring von Vision-KI-Modellen?#
Das Monitoring von Vision-KI-Modellen hilft Teams zu verstehen, wie sich bereitgestellte Endpunkte und ihre Vorhersagen im Produktivbetrieb verhalten.
Die Ultralytics Platform beantwortet zwei wichtige Fragen:
- Funktioniert der Endpunkt zuverlässig? Verfolge Anfragen, P95-Latenz, Fehlerraten, den Status und Protokolle.
- Was sieht und prognostiziert das Modell? Untersuche Beispielvorhersagen und Statistiken wie Klassenanzahl, Konfidenz, Inferenzzeit und – sofern unterstützt – Positionen der Vorhersagen.
Zusammengenommen vermitteln diese Einblicke ein klareres Bild als die bloße Verfügbarkeit des Endpunkts. Ein Endpunkt kann weiterhin online sein, während sich Verkehrsmuster, Antwortzeiten oder Vorhersageverteilungen ändern. Mit Monitoring lassen sich solche Signale leichter untersuchen.
Den Zustand deiner Bereitstellungen auf einen Blick erfassen#
Die Seite Deploy dient als zentrales Monitoring-Dashboard für deine Endpunkte. Übersichtskarten fassen HTTP-Anfragen, aktive Bereitstellungen, Fehlerraten und die P95-Latenz der vergangenen 24 Stunden zusammen.
Mit diesen Metriken können Teams:
- Die Nachfrage verstehen: Erkennen, ob der Datenverkehr am Endpunkt zunimmt, abnimmt oder sich unerwartet verändert.
- Leistungsprobleme erkennen: Mithilfe der P95-Latenz langsamere Antworten untersuchen, die eine Anwendung beeinträchtigen könnten.
- Fehler aufdecken: Erhöhte HTTP-Fehlerraten erkennen und mithilfe der Bereitstellungsprotokolle die Ursache ermitteln.
- Die Verfügbarkeit prüfen: Sicherstellen, dass einzelne Endpunkte funktionsfähig sind und antworten.
- Bereitstellungen vergleichen: Endpunkte in Karten-, Kompakt- oder sortierbaren Tabellenansichten prüfen.
Die Karte zur Fehlerrate wird hervorgehoben, wenn die Rate 5 % überschreitet. So fallen betriebliche Probleme auf, ohne dass Teams jeden Endpunkt einzeln prüfen müssen.
Probleme mit Zustandsprüfungen und Protokollen schneller beheben#
Wenn bei einem Endpunkt Probleme auftreten, reicht eine übergeordnete Metrik nicht aus. Jede betriebsbereite Bereitstellung bietet eine Statusanzeige und Zugriff auf aktuelle Protokolle.
Zustandsprüfungen zeigen, ob ein Endpunkt antwortet, und geben seine Antwortlatenz an. Außerdem können sie einen Endpunkt, der auf null herunterskaliert wurde, wieder aufwärmen, bevor Produktionsverkehr an ihn gesendet wird.
Protokolle liefern zusätzlichen Kontext mit Zeitstempeln, Schweregraden, Meldungen und HTTP-Details. So können Teams fehlgeschlagene Anfragen, unerwartete Antworten oder Leistungsänderungen untersuchen, ohne sofort zu einer separaten Protokollierungsoberfläche wechseln zu müssen.
Indem Metriken, Zustandsprüfungen und Protokolle mit jeder Bereitstellung verknüpft werden, ermöglicht die Ultralytics Platform einen direkteren Weg vom Erkennen eines Problems bis zu dessen Verständnis.
Das Verhalten von Live-Vorhersagen untersuchen#
Dedizierte Endpunkte mit nutzungsabhängiger Abrechnung für die Betriebszeit, die kostenpflichtig sind und eine monitoringfähige Laufzeitumgebung verwenden, bieten einen zusätzlichen Tab Monitoring mit temporären Beispielen und Vorhersagestatistiken.
Die Galerie temporärer Beispiele zeigt eine laufend aktualisierte Auswahl verarbeiteter Bilder mit eingeblendeten Vorhersagen. Teams können diese Beispiele nutzen, um stichprobenartig zu prüfen, was ein Modell erkennt, seine Ausgaben zu untersuchen und Eingaben zu ermitteln, die genauer überprüft werden sollten.
Die verfügbaren Vorhersagestatistiken hängen von der Modellaufgabe ab und können Folgendes umfassen:
- Verarbeitete Bilder und Vorhersagen im Zeitverlauf
- Mittlere Inferenzzeit des Modells
- Am häufigsten vorhergesagte Klassen
- Vorhersagen pro Bild
- Konfidenz der Vorhersagen und Konfidenztrends
- Abmessungen der Vorhersagen
- Räumliche Heatmaps der Positionen von Vorhersagen
Diese Signale können auf Veränderungen hinweisen, die untersucht werden sollten – etwa eine sinkende Konfidenz, eine unerwartete Verschiebung der Klassenverteilung oder Vorhersagen an ungewöhnlichen Stellen eines Bildes.
Die Konfidenz gibt die Sicherheit des Modells an, nicht die Korrektheit seiner Vorhersagen. Bei der Bewertung der Modellgenauigkeit sollten Teams Beispiele prüfen und Vorhersagen mit überprüften Labels vergleichen.
Produktionsbeispiele in bessere Trainingsdaten umwandeln#
Monitoring ist besonders wertvoll, wenn Erkenntnisse aus dem Produktivbetrieb in den nächsten Entwicklungszyklus einfließen können.
Wenn ein Beispiel eine schwierige Bedingung, ein ungewöhnliches Objekt oder eine mögliche Lücke in der Abdeckung aufzeigt, können Mitglieder des Arbeitsbereichs mit den entsprechenden Berechtigungen das Beispiel direkt in einem kompatiblen Datensatz speichern. Das Bild und seine Vorhersagen durchlaufen anschließend den regulären Workflow zur Aufnahme in den Datensatz. Dort können die Labels überprüft werden, bevor die Daten für das Training verwendet werden.
So entsteht ein durchgängiger Verbesserungsprozess:
- Trainiere ein Ultralytics-YOLO-Modell mit deinem Datensatz.
- Stelle es an einem dedizierten Endpunkt bereit.
- Überwache den Zustand des Endpunkts und das Verhalten der Vorhersagen.
- Prüfe nützliche oder problematische Beispiele aus dem Produktivbetrieb.
- Speichere ausgewählte Beispiele in einem Datensatz und prüfe sie.
- Trainiere das Modell mit Daten, die reale Bedingungen widerspiegeln, erneut und stelle es erneut bereit.
Statt Beobachtungen aus dem Produktivbetrieb isoliert in einem anderen System zu lassen, können Teams sie mit den Datensätzen und Modellen verknüpfen, die bereits in der Ultralytics Platform verwaltet werden.
Betriebliche Transparenz ohne zusätzliche Komplexität#
Für Computer-Vision-Workflows im Produktivbetrieb kommen häufig separate Systeme für Bereitstellung, Metriken, Protokolle, Modellprüfung und Datenverwaltung zum Einsatz. Der Wechsel zwischen diesen Systemen kann die Untersuchung verlangsamen und es erschweren, das Modellverhalten mit künftigen Verbesserungen zu verknüpfen.
Die Ultralytics Platform vereint diese Phasen. Teams können vom Training zur Bereitstellung übergehen, den Zustand von Endpunkten prüfen, Stichproben von Vorhersagen untersuchen und nützliche Beispiele speichern, ohne den Kontext in mehreren Tools erneut herstellen zu müssen.
Ein Fertigungsteam könnte zum Beispiel prüfen, ob Fehlererkennungsvorhersagen an den erwarteten Stellen eines Bildes erscheinen. Ein Logistikteam könnte Veränderungen bei häufig erkannten Klassen untersuchen, wenn sich die betrieblichen Bedingungen ändern. Ein Einzelhandelsteam könnte einen Anstieg der Latenz analysieren und herausfinden, ob die Endpunktkonfiguration oder die Größe der eingehenden Bilder angepasst werden muss.
In allen diesen Fällen hilft Monitoring Teams dabei, von „Etwas hat sich geändert“ zu einem fundierteren nächsten Schritt zu gelangen.
Monitoring-Daten und Voraussetzungen#
Betriebliches Monitoring einschließlich Anfragen, Latenz, Fehlern, Zustandsprüfungen und Protokollen ist in der Bereitstellungsansicht verfügbar.
Live-Vorhersagestatistiken und temporäre Beispiele setzen einen betriebsbereiten, kostenpflichtigen dedizierten Endpunkt mit einer monitoringfähigen Laufzeitumgebung voraus. Ältere Endpunkte müssen möglicherweise aktualisiert werden, bevor der Tab „Monitoring“ verfügbar ist.
Vorhersagebeispiele und Statistiken werden im Arbeitsspeicher der Serving-Instanz gespeichert. Sie können gelöscht werden, wenn ein Endpunkt angehalten, neu gestartet oder erneut bereitgestellt wird, Ressourcen geändert oder das Modell ersetzt wird. Speichere alle Beispiele, die du behalten möchtest, in einem Datensatz, bevor du den Endpunkt änderst.
Beginne mit dem Monitoring deiner bereitgestellten Modelle#
Das Monitoring der Ultralytics Platform bietet Teams die nötige Transparenz, um Vision-KI auch über die Bereitstellung hinaus zu verwalten. Indem Metriken, Protokolle, Zustandsprüfungen, Einblicke in Vorhersagen und Rückmeldungen zu Datensätzen in einem Workflow zusammengeführt werden, hilft es Teams, Probleme schneller zu erkennen und zuverlässigere Produktionssysteme aufzubauen.
Melde dich bei der Ultralytics Platform an, öffne Deploy und wähle einen betriebsbereiten Endpunkt aus, um dessen Zustand und Leistung zu prüfen. Einzelheiten zur Verfügbarkeit von Funktionen, zu Vorhersagestatistiken und zur Datenspeicherung findest du in der Monitoring-Dokumentation.
