Suivi Ultralytics Platform : garde le cap sur tes déploiements d’IA visuelle

Le déploiement d’un modèle de vision par ordinateur est une étape importante, mais la réussite en production dépend de ce qui se passe ensuite. À mesure que le trafic augmente et que les conditions réelles évoluent, les équipes doivent savoir si les points de terminaison restent réactifs, fiables et utiles.

Le Monitoring d’Ultralytics Platform donne aux équipes une visibilité sur les modèles Ultralytics YOLO déployés, depuis le même environnement que celui utilisé pour gérer les données, l’entraînement et le déploiement. Suis l’état opérationnel, examine les tendances des prédictions, résous les problèmes et transforme des exemples pertinents issus de la production en données pour améliorer les futurs modèles.

Qu’est-ce que la surveillance des modèles d’IA de vision ?#

La surveillance des modèles d’IA de vision aide les équipes à comprendre le comportement en production des points de terminaison déployés et de leurs prédictions.

Ultralytics Platform répond à deux questions importantes :

• Le point de terminaison fonctionne-t-il de manière fiable ? Suis les requêtes, la latence P95, les taux d’erreur, l’état de santé et les journaux.
• Que voit et prédit le modèle ? Examine des exemples de prédictions et des statistiques telles que le nombre de classes, le niveau de confiance, le temps d’inférence et, lorsque cette fonctionnalité est prise en charge, l’emplacement des prédictions.

Ensemble, ces informations donnent une vision plus claire que la simple disponibilité du point de terminaison. Un point de terminaison peut rester en ligne alors que les tendances du trafic, les temps de réponse ou la répartition des prédictions évoluent. La surveillance facilite l’examen de ces signaux.

Comprends l’état du déploiement en un coup d’œil#

La page Deploy sert de tableau de bord central pour surveiller tes points de terminaison. Les cartes de synthèse récapitulent les requêtes HTTP, les déploiements actifs, les taux d’erreur et la latence P95 sur les dernières 24 heures.

Grâce à ces métriques, les équipes peuvent :

• Comprendre la demande : voir si le trafic vers les points de terminaison augmente, diminue ou évolue de façon inattendue.
• Repérer les problèmes de performance : utiliser la latence P95 pour examiner les réponses plus lentes susceptibles d’affecter une application.
• Détecter les défaillances : repérer les taux d’erreur HTTP élevés et utiliser les journaux de déploiement pour en diagnostiquer la cause.
• Vérifier la disponibilité : confirmer que chaque point de terminaison est sain et répond aux requêtes.
• Comparer les déploiements : examiner les points de terminaison sous forme de cartes, en vue compacte ou dans des tableaux triables.

La carte du taux d’erreur est mise en évidence lorsque le taux dépasse 5 %, ce qui permet de repérer les problèmes opérationnels sans que les équipes aient à examiner chaque point de terminaison individuellement.

Résous les problèmes plus vite grâce aux contrôles d’état et aux journaux#

Lorsqu’un point de terminaison rencontre des problèmes, les équipes ont besoin de plus qu’une métrique générale. Chaque déploiement prêt à l’emploi comprend un indicateur d’état et un accès aux journaux récents.

Les contrôles d’état indiquent si un point de terminaison répond et signalent sa latence de réponse. Ils peuvent également aider à réchauffer un point de terminaison mis à l’échelle à zéro avant l’arrivée du trafic de production.

Les journaux fournissent un contexte supplémentaire grâce aux horodatages, aux niveaux de gravité, aux messages et aux détails HTTP. Les équipes peuvent ainsi examiner les requêtes échouées, les réponses inattendues ou les changements de performance sans passer immédiatement à une interface de journalisation distincte.

En reliant les métriques, les contrôles d’état et les journaux à chaque déploiement, Ultralytics Platform facilite le passage du repérage d’un problème à sa compréhension.

Examine le comportement des prédictions en direct#

Les points de terminaison dédiés payants, facturés selon leur durée de disponibilité et exécutant un environnement d’exécution compatible avec la surveillance, offrent un onglet Monitoring supplémentaire avec des exemples temporaires et des statistiques de prédiction.

La galerie d’exemples temporaires présente un échantillon évolutif d’images traitées avec des superpositions de prédictions. Les équipes peuvent s’appuyer sur ces exemples pour vérifier ce que voit un modèle, examiner ses sorties et repérer les entrées qui méritent une analyse plus approfondie.

Les statistiques de prédiction disponibles dépendent de la tâche du modèle et peuvent inclure :

• Images traitées et prédictions au fil du temps
• Temps moyen d’inférence du modèle
• Classes les plus souvent prédites
• Prédictions par image
• Niveau de confiance des prédictions et tendances associées
• Dimensions des prédictions
• Cartes thermiques spatiales des emplacements des prédictions

Ces signaux peuvent révéler des changements à examiner, comme une baisse du niveau de confiance, une évolution inattendue de la répartition des classes ou des prédictions apparaissant dans des zones inhabituelles d’une image.

Le niveau de confiance indique la certitude du modèle, pas l’exactitude de ses prédictions. Pour évaluer la précision du modèle, les équipes doivent examiner des exemples et comparer les prédictions aux annotations vérifiées.

Transforme les exemples de production en meilleures données d’entraînement#

La surveillance prend davantage de valeur lorsque les informations issues de la production peuvent alimenter le prochain cycle de développement.

Si un exemple révèle une situation difficile, un objet inhabituel ou une éventuelle lacune de couverture, les membres de l’espace de travail disposant des autorisations appropriées peuvent l’enregistrer directement dans un jeu de données compatible. L’image et ses prédictions suivent ensuite le processus standard d’ingestion des données, où les annotations peuvent être vérifiées avant l’utilisation des données pour l’entraînement.

Cela crée une boucle d’amélioration intégrée :

1. Entraîne un modèle Ultralytics YOLO à partir de ton jeu de données.
2. Déploie le modèle sur un point de terminaison dédié.
3. Surveille l’état du point de terminaison et le comportement des prédictions.
4. Examine les exemples de production pertinents ou problématiques.
5. Enregistre et vérifie les exemples sélectionnés dans un jeu de données.
6. Réentraîne et redéploie le modèle à partir de données tenant compte des conditions réelles.

Au lieu de laisser les observations de production isolées dans un autre système, les équipes peuvent les relier aux jeux de données et aux modèles déjà gérés dans Ultralytics Platform.

Conçu pour offrir une visibilité opérationnelle sans complexité supplémentaire#

Les processus de vision par ordinateur en production impliquent souvent des systèmes distincts pour le déploiement, les métriques, les journaux, l’inspection des modèles et la gestion des données. Passer d’un système à l’autre peut ralentir les analyses et compliquer le rapprochement entre le comportement du modèle et les améliorations futures.

Ultralytics Platform réunit ces étapes. Les équipes peuvent passer de l’entraînement au déploiement, examiner l’état des points de terminaison, inspecter des prédictions échantillonnées et enregistrer des exemples utiles sans devoir reconstituer le contexte dans plusieurs outils.

Par exemple, une équipe industrielle pourrait vérifier si les prédictions de défauts apparaissent dans les zones attendues d’une image. Une équipe logistique pourrait examiner l’évolution des classes fréquemment détectées à mesure que les conditions opérationnelles changent. Une équipe de vente au détail pourrait étudier une hausse de la latence et déterminer si la configuration du point de terminaison ou la taille des images entrantes nécessite une intervention.

Dans chaque cas, la surveillance aide les équipes à passer de « quelque chose a changé » à une prochaine étape mieux éclairée.

Données de surveillance et critères d’accès#

La surveillance opérationnelle, notamment des requêtes, de la latence, des erreurs, des contrôles d’état et des journaux, est disponible dans l’interface de déploiement.

Les statistiques de prédiction en direct et les exemples temporaires nécessitent un point de terminaison dédié payant et prêt à l’emploi, avec un environnement d’exécution compatible avec la surveillance. Les anciens points de terminaison peuvent devoir être mis à jour avant que l’onglet Monitoring soit disponible.

Les exemples et les statistiques de prédiction sont conservés dans la mémoire de l’instance de service. Ils peuvent être effacés si un point de terminaison s’arrête, redémarre, est redéployé, change de ressources ou remplace son modèle. Enregistre dans un jeu de données tous les exemples que tu souhaites conserver avant de modifier le point de terminaison.

Commence à surveiller tes modèles déployés#

Le Monitoring d’Ultralytics Platform offre aux équipes la visibilité nécessaire pour gérer l’IA de vision au-delà du déploiement. En réunissant les métriques des points de terminaison, les journaux, les contrôles d’état, les informations sur les prédictions et les retours des jeux de données dans un seul processus, il aide les équipes à repérer les problèmes plus vite et à bâtir un parcours plus clair vers des systèmes de production fiables.

Connecte-toi à Ultralytics Platform, ouvre Deploy, puis sélectionne un point de terminaison prêt à l’emploi pour examiner son état et ses performances. Consulte les fonctionnalités disponibles, les statistiques de prédiction et les détails de conservation des données dans la documentation Monitoring.