Surveillance avec Ultralytics Platform : garde tes déploiements de vision par IA sur la bonne voie

Déployer un modèle de vision par ordinateur est une étape importante, mais le succès en production dépend de ce qui se passe ensuite. À mesure que le trafic augmente et que les conditions du monde réel changent, les équipes ont besoin de savoir si les points de terminaison restent réactifs, fiables et utiles.

La Surveillance dans Ultralytics Platform donne aux équipes une visibilité sur les modèles Ultralytics YOLO déployés depuis le même environnement utilisé pour gérer les données, l'entraînement et le déploiement. Suis la santé opérationnelle, inspecte les tendances de prédiction, résous les problèmes et transforme des exemples de production utiles en données pour de futures améliorations de modèle.

Qu'est-ce que la surveillance des modèles d'IA de vision ?#

La surveillance des modèles d'IA de vision aide les équipes à comprendre comment les points de terminaison déployés et leurs prédictions se comportent en production.

Ultralytics Platform répond à deux questions importantes :

• Le point de terminaison fonctionne-t-il de manière fiable ? Suis les requêtes, la latence P95, les taux d'erreur, l'état de santé et les journaux.
• Que voit et prédit le modèle ? Inspecte des exemples de prédictions et des statistiques telles que les comptes de classes, la confiance, le temps d'inférence et les emplacements de prédiction lorsque cela est pris en charge.

Ensemble, ces perspectives offrent une image plus claire que la seule disponibilité du point de terminaison. Un point de terminaison peut rester en ligne tandis que les modèles de trafic, les temps de réponse ou les distributions de prédiction changent. La surveillance rend ces signaux plus faciles à étudier.

Comprends la santé du déploiement en un coup d'œil#

La page Déployer sert de tableau de bord de surveillance central pour tes points de terminaison. Des cartes de synthèse résument les requêtes HTTP, les déploiements actifs, les taux d'erreur et la latence P95 au cours des 24 heures précédentes.

Avec ces métriques, les équipes peuvent :

• Comprendre la demande : vois si le trafic des points de terminaison augmente, diminue ou change de manière inattendue.
• Identifier les problèmes de performance : utilise la latence P95 pour étudier les réponses plus lentes qui pourraient affecter une application.
• Détecter les pannes : repère des taux d'erreur HTTP élevés et utilise les journaux de déploiement pour en diagnostiquer la cause.
• Vérifier la disponibilité : confirme si les points de terminaison individuels sont sains et répondent.
• Comparer les déploiements : examine les points de terminaison via des vues en cartes, compactes ou sous forme de tableau triable.

La carte du taux d'erreur est mise en surbrillance lorsque le taux dépasse 5 %, ce qui aide les problèmes opérationnels à se démarquer sans obliger les équipes à inspecter chaque point de terminaison individuellement.

Répare plus rapidement grâce aux contrôles de santé et aux journaux#

Lorsqu'un point de terminaison rencontre des problèmes, les équipes ont besoin de plus qu'une métrique de haut niveau. Chaque déploiement prêt comprend un indicateur de santé et un accès aux journaux récents.

Les contrôles de santé montrent si un point de terminaison répond et signalent sa latence de réponse. Ils peuvent également aider à réchauffer un point de terminaison qui a atteint l'échelle zéro avant que le trafic de production ne soit envoyé.

Les journaux fournissent un contexte supplémentaire grâce aux horodatages, aux niveaux de sévérité, aux messages et aux détails HTTP. Cela aide les équipes à étudier les requêtes échouées, les réponses inattendues ou les changements de performance sans passer immédiatement à une interface de journalisation séparée.

En connectant les métriques, les contrôles de santé et les journaux à chaque déploiement, Ultralytics Platform crée un chemin plus direct entre l'identification d'un problème et sa compréhension.

Inspecte le comportement des prédictions en direct#

Les points de terminaison dédiés payants et facturés à la disponibilité exécutant un runtime capable de surveillance fournissent un onglet Surveillance supplémentaire avec des exemples temporaires et des statistiques de prédiction.

La galerie d'exemples temporaires présente un échantillon continu d'images traitées avec des superpositions de prédiction. Les équipes peuvent utiliser ces exemples pour vérifier rapidement ce que voit un modèle, inspecter ses sorties et identifier les entrées qui méritent un examen plus approfondi.

Les statistiques de prédiction disponibles dépendent de la tâche du modèle et peuvent inclure :

• Images traitées et prédictions au fil du temps
• Temps d'inférence moyen du modèle
• Classes fréquemment prédites
• Prédictions par image
• Confiance des prédictions et tendances de confiance
• Dimensions des prédictions
• Cartes de chaleur spatiales des emplacements de prédiction

Ces signaux peuvent révéler des changements méritant d'être étudiés, tels qu'une baisse de la confiance, un changement inattendu dans la distribution des classes ou des prédictions apparaissant dans des parties inhabituelles d'une image.

La confiance indique la certitude du modèle, et non l'exactitude. Les équipes doivent inspecter les exemples et comparer les prédictions avec les étiquettes examinées lors de l'évaluation de la précision du modèle.

Transforme les exemples de production en de meilleures données d'entraînement#

La surveillance devient plus précieuse lorsque les perspectives de production peuvent éclairer le prochain cycle de développement.

Si un exemple révèle une condition difficile, un objet inhabituel ou un écart de couverture potentiel, les membres de l'espace de travail dotés des autorisations appropriées peuvent l'enregistrer directement dans un ensemble de données compatible. L'image et ses prédictions passent ensuite par le flux de travail d'ingestion d'ensemble de données standard, où les étiquettes peuvent être examinées avant que les données ne soient utilisées pour l'entraînement.

Cela crée une boucle d'amélioration connectée :

1. Entraîne un modèle Ultralytics YOLO en utilisant ton ensemble de données.
2. Déploie-le sur un point de terminaison dédié.
3. Surveille la santé du point de terminaison et le comportement des prédictions.
4. Inspecte les exemples de production utiles ou problématiques.
5. Enregistre et examine les exemples sélectionnés dans un ensemble de données.
6. Réentraîne et redéploie en utilisant des données éclairées par les conditions du monde réel.

Au lieu de laisser les observations de production isolées dans un autre système, les équipes peuvent les connecter aux ensembles de données et aux modèles déjà gérés dans Ultralytics Platform.

Conçu pour une visibilité opérationnelle sans complexité ajoutée#

Les flux de travail de vision par ordinateur en production impliquent souvent des systèmes distincts pour le déploiement, les métriques, les journaux, l'inspection des modèles et la gestion des données. Naviguer entre ces systèmes peut ralentir l'investigation et rendre plus difficile la liaison du comportement du modèle avec les améliorations futures.

Ultralytics Platform rassemble ces étapes. Les équipes peuvent passer de l'entraînement au déploiement, examiner la santé du point de terminaison, inspecter les prédictions échantillonnées et enregistrer des exemples utiles sans recréer le contexte à travers de multiples outils.

Par exemple, une équipe de fabrication pourrait vérifier si les prédictions de défauts apparaissent dans les zones attendues d'une image. Une équipe de logistique pourrait examiner les changements dans les classes fréquemment détectées à mesure que les conditions opérationnelles évoluent. Une équipe de vente au détail pourrait étudier une augmentation de la latence et déterminer si la configuration du point de terminaison ou la taille de l'image entrante nécessite de l'attention.

Dans chaque cas, la surveillance aide les équipes à passer de « quelque chose a changé » à une prochaine étape plus informée.

Données de surveillance et éligibilité#

La surveillance opérationnelle, incluant les requêtes, la latence, les erreurs, les contrôles de santé et les journaux, est disponible depuis l'expérience de déploiement.

Les statistiques de prédiction en direct et les exemples temporaires nécessitent un point de terminaison dédié, prêt et payant avec un runtime capable de surveillance. Les points de terminaison plus anciens devront peut-être être mis à jour avant que l'onglet Surveillance ne devienne disponible.

Les exemples de prédiction et les statistiques sont conservés dans la mémoire de l'instance de service. Ils peuvent être effacés lorsqu'un point de terminaison s'arrête, redémarre, se redéploie, change de ressources ou remplace son modèle. Enregistre tous les exemples que tu souhaites conserver dans un ensemble de données avant de modifier le point de terminaison.

Commence à surveiller tes modèles déployés#

Ultralytics Platform Monitoring donne aux équipes la visibilité nécessaire pour gérer l'IA de vision au-delà du déploiement. En regroupant les métriques de points de terminaison, les journaux, les contrôles de santé, les perspectives de prédiction et les retours d'ensembles de données en un seul flux de travail, il aide les équipes à identifier les problèmes plus rapidement et à tracer un chemin plus clair vers des systèmes de production fiables.

Connecte-toi à Ultralytics Platform, ouvre Déployer, et sélectionne un point de terminaison prêt pour examiner sa santé et ses performances. Explore la disponibilité des fonctionnalités, les statistiques de prédiction et les détails de rétention des données dans la documentation sur la surveillance.