Surveillance des modèles de vision par ordinateur déployés sur la plateforme Ultralytics

Tester des modèles de vision par ordinateur qui analysent des images et des vidéos n'est pas toujours équivalent à les exécuter en production. Pendant le développement, ces modèles ou algorithmes sont testés sur des jeux de données propres et bien préparés, où les conditions sont contrôlées et prévisibles.

Une fois déployés, les choses deviennent plus dynamiques. Les modèles sont exposés au trafic du monde réel, où les volumes de requêtes peuvent varier, les temps de réponse changer et des défaillances occasionnelles survenir.

À ce stade, l'accent est mis sur la fiabilité du système, avec des points de terminaison qui restent disponibles, réactifs et stables dans des conditions changeantes.

C'est pourquoi la surveillance est essentielle. Elle offre une vision claire du comportement des points de terminaison déployés en production grâce à des métriques telles que le volume de requêtes, la latence, les taux d'erreur et la santé globale du système.

Pour faciliter cela, disposer des bons outils est tout aussi important que le modèle lui-même. Récemment, Ultralytics a introduit la plateforme Ultralytics, notre nouvel environnement de bout en bout qui rassemble l'intégralité du flux de travail de vision par ordinateur, des données et de l'entraînement au déploiement et à la surveillance.

Fig 1. Tableau de bord de déploiement de la plateforme Ultralytics avec fonctionnalités de surveillance (Source)

Avec une surveillance intégrée directement dans ce flux de travail, tu peux suivre la santé des points de terminaison, inspecter le comportement des requêtes et maintenir des systèmes fiables sans dépendre d'outils distincts. Dans cet article, nous explorerons comment utiliser la plateforme Ultralytics pour surveiller les points de terminaison de modèles déployés et assurer le bon fonctionnement des systèmes en production. Commençons !

Link to this sectionUn aperçu de la surveillance des modèles d'IA#

Dans le cycle de vie d'un modèle d'IA, la surveillance désigne l'observation du comportement des systèmes déployés une fois qu'un modèle est en ligne et traite des requêtes réelles. Alors que l'entraînement et la validation montrent les performances d'un modèle d'apprentissage automatique (ML model) sur des jeux de données préparés, la surveillance se concentre sur le fonctionnement du point de terminaison déployé dans un environnement de production.

Une partie cruciale de la surveillance consiste à suivre les métriques au niveau du système qui reflètent la fiabilité et la réactivité. Des métriques comme la latence et le temps de disponibilité aident à indiquer à quel point le système gère bien les requêtes entrantes. La latence mesure le temps nécessaire pour traiter une requête et renvoyer une réponse, tandis que le temps de disponibilité souligne la constance de la disponibilité du point de terminaison.

Un autre aspect clé est l'observabilité, qui offre une visibilité sur la manière dont les requêtes sont traitées. Chaque fois qu'une entrée, comme une image ou une image vidéo, est envoyée à un modèle déployé, elle est traitée comme une requête d'inférence.

Les journaux capturent ces requêtes ainsi que des détails tels que les horodatages, les temps de réponse et les codes d'état. Ces journaux facilitent le suivi des requêtes, le débogage des problèmes et l'investigation des défaillances lorsqu'elles surviennent. Ils sont particulièrement utiles pour identifier des modèles tels que des erreurs répétées, des réponses lentes ou un comportement inattendu du système.

En combinant métriques et journaux, la surveillance aide les utilisateurs à comprendre comment leurs systèmes fonctionnent en production et à répondre rapidement aux problèmes dès qu'ils apparaissent.

Link to this sectionUn regard sur les métriques de performance des modèles par rapport aux métriques système#

Avant de plonger dans la surveillance de production, discutons de la différence entre les métriques de performance du modèle et les métriques système.

Généralement, la surveillance des modèles est associée à des métriques d'évaluation, aussi appelées métriques de modèle, telles que l'exactitude (accuracy), la précision, le rappel (recall) et le mAP (mean average precision). Ces métriques sont utilisées pour décrire le comportement du modèle et évaluer la qualité de ses prédictions, souvent par rapport aux données de production ou aux données d'entrée. Elles peuvent être particulièrement utiles pour identifier des cas limites ou des valeurs aberrantes dans de nouvelles données.

Cependant, c'est différent de la surveillance d'un système déployé en production. Dans ce contexte, la surveillance se concentre sur le fonctionnement du système plutôt que sur l'évaluation directe des prédictions du modèle.

Au lieu des métriques de modèle, la surveillance du déploiement s'appuie sur des signaux au niveau du système tels que le volume de requêtes, la latence, les taux d'erreur et le temps de disponibilité. Ces métriques offrent une visibilité sur la façon dont les points de terminaison traitent les données d'entrée, répondent de manière cohérente et opèrent dans les environnements de production.

Link to this sectionLe rôle de la surveillance des modèles dans les projets de vision par ordinateur#

Ensuite, examinons un exemple concret qui souligne la nécessité d'un système de surveillance dans les déploiements de vision par ordinateur.

Considère une solution de vision qui utilise l'estimation de pose, une tâche de vision par ordinateur utilisée pour identifier et analyser les mouvements du corps humain, afin de surveiller les travailleurs de la construction pour la conformité en matière de sécurité. Lors du déploiement initial du modèle, un tel système peut bien fonctionner dans des conditions contrôlées avec une visibilité claire et des scénarios standard.

Cependant, les chantiers de construction réels introduisent une complexité supplémentaire. Les volumes de requêtes peuvent varier tout au long de la journée, les conditions réseau peuvent être incohérentes et plusieurs caméras ou points de terminaison peuvent envoyer des données en même temps. Ces facteurs peuvent entraîner des réponses plus lentes ou des défaillances occasionnelles si le système n'est pas correctement surveillé.

Fig 2. Estimation de pose utilisée pour surveiller les travailleurs sur un chantier de construction (Source)

Dans un environnement de production comme celui-ci, il devient important de comprendre à quel point le système est fiable. La surveillance offre une visibilité sur la disponibilité des points de terminaison, leur réactivité aux requêtes entrantes et la constance avec laquelle ils gèrent le trafic au fil du temps.

Par exemple, une augmentation de la latence peut indiquer une charge plus élevée ou des contraintes de ressources, tandis qu'une hausse des taux d'erreur peut indiquer des problèmes de gestion des requêtes ou de stabilité du système. Les journaux ajoutent plus de contexte en montrant comment chaque requête est traitée et où surviennent les défaillances.

En suivant ces signaux, les passionnés d'IA et les scientifiques des données peuvent identifier les problèmes tôt, résoudre les incidents plus efficacement et garantir que leurs systèmes continuent de fonctionner de manière fiable à mesure que les conditions réelles changent.

Link to this sectionUtiliser la plateforme Ultralytics pour surveiller les modèles de vision déployés#

Dans de nombreux flux de travail d'apprentissage profond, la surveillance est souvent gérée à l'aide d'outils distincts pour la journalisation, les métriques et la santé du système. Cette configuration fragmentée peut rendre difficile l'obtention d'une vision claire du fonctionnement des points de terminaison déployés en production et ajoute de la complexité à la gestion des déploiements.

La plateforme Ultralytics simplifie cela en intégrant la surveillance directement dans un environnement unifié qui couvre l'intégralité du flux de travail de vision par ordinateur, de l'ingestion et l'annotation des données à l'entraînement, au déploiement et à la surveillance.

Avec cette configuration intégrée, tu peux suivre la façon dont tes points de terminaison déployés gèrent le trafic réel sans avoir à configurer de systèmes de journalisation externes ou de tableaux de bord supplémentaires. Tout est disponible au même endroit, ce qui facilite l'observation du comportement du système et le maintien de déploiements fiables dans la durée.

Les fonctionnalités de surveillance sont accessibles directement depuis l'onglet Déploiement. Depuis un tableau de bord unique, tu peux suivre des métriques clés, analyser le comportement au niveau des requêtes et visualiser les tendances. Ces visualisations intégrées facilitent la compréhension des performances de tes solutions sans changer d'outil.

En réunissant la surveillance, le déploiement et la gestion des modèles au sein d'un flux de travail plus large, la plateforme réduit la complexité. Cela rend plus fluide la gestion des déploiements, l'optimisation des performances système et le maintien de la fiabilité.

Link to this sectionFonctionnalités de surveillance intégrées de la plateforme Ultralytics#

Dans les déploiements réels, la surveillance dépend d'une visibilité claire sur le fonctionnement des systèmes à mesure que les conditions évoluent. Cela va au-delà du suivi de quelques métriques et implique de comprendre le comportement des points de terminaison déployés dans différents environnements et de gérer efficacement plusieurs déploiements.

Inspirée par les retours de la communauté de l'IA de vision sur les défis courants de la vision par ordinateur, la plateforme Ultralytics inclut plusieurs fonctionnalités qui rendent la surveillance plus pratique et évolutive.

Voici un aperçu de certaines de ces fonctionnalités clés :

• Visibilité globale du déploiement : La page Déploiement inclut une carte du monde interactive qui affiche les régions de déploiement avec des indicateurs visuels pour les points de terminaison actifs et en cours, permettant de surveiller la distribution géographique et l'activité régionale.
• Vues de tableau de bord flexibles : Le tableau de bord des déploiements offre plusieurs modes d'affichage, y compris la vue par carte, la grille compacte et la vue par tableau avec des colonnes triables comme le nom, la région, le statut et les requêtes, prenant en charge la surveillance structurée et la comparaison.
• Surveillance de plusieurs points de terminaison : Le tableau de bord agrège les données de surveillance sur tous les déploiements à l'aide de cartes de synthèse et de listes de déploiement.
• Politiques de rétention des données : Les données de surveillance sont conservées pendant une période définie, avec des métriques disponibles pendant 30 jours et des journaux pendant 7 jours, prenant en charge l'analyse des performances récentes et les flux de travail de débogage.
• Prise en charge de la surveillance externe : Les points de terminaison de déploiement peuvent être surveillés à l'aide d'outils externes tels que Datadog, New Relic et des services de surveillance du temps de disponibilité, ou consultés via des points de terminaison API pour une surveillance personnalisée et des vérifications de santé.

Ensuite, nous passerons en revue certaines de ces fonctionnalités plus en détail et verrons comment elles peuvent être utilisées pour surveiller les points de terminaison déployés en production.

Link to this sectionComment suivre les métriques de performance clés avec la plateforme Ultralytics#

Une fois qu'un modèle est déployé, la surveillance commence par le suivi des métriques système clés. Alors que des métriques comme l'exactitude et le rappel sont utiles pendant le développement, la surveillance de production se concentre sur les signaux au niveau du système comme le temps de réponse et les taux d'erreur, qui fournissent des insights mesurables sur la fiabilité avec laquelle les points de terminaison traitent le trafic réel.

La plateforme Ultralytics fournit un tableau de bord centralisé qui offre une vision claire de l'activité des points de terminaison et du comportement du système. En particulier, le tableau de bord de déploiement inclut quatre métriques clés qui montrent comment les points de terminaison sont utilisés et comment ils répondent aux requêtes entrantes.

Voici un regard plus attentif sur ces métriques :

• Total des requêtes : Le nombre total de requêtes effectuées sur tous les points de terminaison sur une période de 24 heures. Cela aide à identifier les modèles d'utilisation et la demande globale.
• Déploiements actifs : Le nombre de points de terminaison actuellement en cours d'exécution et traitant des requêtes.
• Latence P95 : Le temps de réponse dans lequel 95 % des requêtes sont complétées. Cela donne une vision plus réaliste de la performance en tenant compte des réponses plus lentes.
• Taux d'erreur : C'est le pourcentage de requêtes ayant échoué par rapport au nombre total de requêtes. Cette métrique aide à identifier les problèmes et peut être utilisée pour détecter des anomalies.

En termes simples, ces métriques offrent une vision claire de la façon dont les points de terminaison déployés fonctionnent en production. En analysant les modèles d'utilisation, les équipes et les individus peuvent comprendre la répartition du trafic, identifier les périodes de charge maximale et garantir que les systèmes restent réactifs et fiables à mesure que l'utilisation augmente.

Link to this sectionComprendre le comportement de déploiement des modèles grâce aux journaux#

Alors que les métriques offrent une vision de haut niveau des performances du système, les journaux offrent un regard plus détaillé sur la façon dont les points de terminaison déployés traitent les requêtes individuelles. Les journaux enregistrent chaque requête envoyée à un point de terminaison ainsi que la réponse correspondante.

Ils sont utiles pour suivre les problèmes, inspecter les défaillances et comprendre comment les requêtes sont traitées. Au sein de la plateforme Ultralytics, tu peux sélectionner n'importe quel déploiement pour voir ses détails, y compris les journaux.

Fig 3. Exemple de journaux au sein de la plateforme Ultralytics (Source)

Une entrée de journal dans la plateforme est affichée dans un format structuré, ce qui facilite la compréhension de ce qui s'est passé lors de chaque requête. Chaque entrée inclut un niveau de sévérité, qui indique l'importance de l'événement, ainsi qu'un horodatage montrant quand il s'est produit.

Elle contient également un message décrivant l'événement et des détails liés au protocole HTTP tels que les codes d'état et la latence. Ces informations aident à tracer les requêtes, à faciliter le dépannage et à déboguer les problèmes plus efficacement. De plus, les journaux sont regroupés par sévérité, afin que les utilisateurs puissent prioriser les déploiements qui nécessitent une attention particulière.

Link to this sectionAnalyser la santé et la fiabilité des points de terminaison sur la plateforme Ultralytics#

La surveillance implique également de comprendre la santé globale des points de terminaison déployés, y compris s'ils fonctionnent correctement, s'ils répondent à temps et s'ils traitent systématiquement les requêtes sans erreur. La plateforme Ultralytics offre une vision claire de l'état de santé de chaque déploiement, ce qui permet de vérifier facilement que les points de terminaison fonctionnent comme prévu.

La plateforme inclut des indicateurs de santé visuels pour chaque déploiement, affichés sur des cartes de déploiement individuelles.

Par exemple, un indicateur vert montre que le point de terminaison est sain et répond normalement, tandis qu'un indicateur rouge signale des problèmes ou un temps d'arrêt. Une icône rotative indique que le système vérifie activement l'état du déploiement.

En suivant la santé des points de terminaison au fil du temps, il devient possible de détecter les problèmes tôt, de maintenir des performances constantes et d'assurer une expérience stable pour les applications fonctionnant en production.

Link to this sectionLa connexion entre les données de surveillance et l'amélioration des performances#

La surveillance des modèles ne consiste pas seulement à suivre des métriques. Elle crée une boucle de rétroaction qui soutient l'amélioration continue au fil du temps. À mesure que les points de terminaison traitent le trafic réel, des modèles commencent à émerger dans les métriques et les journaux, pouvant révéler des problèmes tels qu'une latence accrue, des taux d'erreur plus élevés ou un comportement système incohérent.

La surveillance met en évidence les domaines nécessitant une attention particulière. Par exemple, une latence constamment élevée peut indiquer le besoin d'une meilleure allocation des ressources ou d'une mise à l'échelle, tandis qu'un taux d'erreur croissant peut pointer vers des problèmes de gestion des requêtes ou de stabilité du système.

Une fois ces problèmes identifiés, des mesures peuvent être prises pour améliorer la fiabilité. Cela peut impliquer l'ajustement de l'infrastructure, la mise à l'échelle des ressources ou la correction de problèmes dans la manière dont les requêtes sont traitées. Après ces changements, les systèmes peuvent continuer à être surveillés pour confirmer que la performance s'est améliorée.

En reliant la surveillance aux améliorations continues, tu peux maintenir des systèmes robustes à mesure que l'utilisation augmente et que les conditions changent.

Link to this sectionExplorer un exemple concret : surveillance de la gestion des bagages dans l'aviation#

Pour mieux comprendre l'impact de la surveillance dans un scénario réel, explorons comment elle s'applique à l'automatisation des opérations au sol aéroportuaires.

Prends un système de vision conçu pour surveiller le chargement et le déchargement des bagages lors des opérations au sol des aéronefs. Dans cette configuration, un modèle de détection d'objets comme Ultralytics YOLO26 peut être utilisé pour détecter si des bagages tombent des tapis roulants ou des équipements de manutention.

Lors des tests et du déploiement initial, le système en temps réel peut bien fonctionner, identifiant précisément les bagages et répondant rapidement.

Dans un environnement aéroportuaire actif, cependant, les conditions sont bien moins prévisibles. L'éclairage change tout au long de la journée, plusieurs caméras diffusent des données en même temps et les volumes de requêtes augmentent pendant les périodes de forte affluence. Ces facteurs peuvent entraîner une hausse de la latence ou l'apparition d'erreurs, et sans visibilité sur le système, de tels problèmes peuvent facilement passer inaperçus.

C'est là que la surveillance devient précieuse. En suivant des métriques comme le volume de requêtes, la latence et les taux d'erreur parallèlement à des journaux détaillés, les équipes peuvent rapidement voir quand un point de terminaison ralentit ou échoue. Si la latence grimpe pendant les heures de pointe, cela peut signaler le besoin de mettre à l'échelle les ressources, tandis qu'une hausse soudaine des erreurs peut pointer vers des problèmes avec des caméras spécifiques ou la gestion des requêtes. Agir sur ces signaux aide à maintenir la fiabilité du système, de sorte que la gestion des bagages puisse continuer à être surveillée avec précision même lorsque les conditions changent.

Link to this sectionPoints clés#

La surveillance est ce qui maintient la fiabilité des modèles de vision par ordinateur déployés une fois qu'ils quittent les conditions contrôlées du développement pour commencer à traiter du trafic réel. En se concentrant sur des signaux au niveau du système comme le volume de requêtes, la latence, les taux d'erreur et le temps de disponibilité, ainsi que des journaux détaillés, la surveillance fournit la visibilité nécessaire pour détecter les problèmes tôt et assurer le bon fonctionnement des systèmes en production.

Avec une surveillance intégrée directement dans le flux de travail de déploiement, la plateforme Ultralytics facilite le suivi de la santé des points de terminaison, l'inspection du comportement des requêtes et le maintien de systèmes fiables sans dépendre d'outils distincts. En réunissant les données, l'entraînement, le déploiement et la surveillance au même endroit, la plateforme aide les équipes à passer de l'expérimentation à des déploiements réels fiables.

Rejoins notre communauté grandissante et explore notre dépôt GitHub pour en savoir plus sur l'IA de vision. Pour construire avec l'IA de vision dès aujourd'hui, consulte nos options de licence. Découvre comment l'IA dans la fabrication et l'IA dans la santé façonnent l'avenir en visitant nos pages de solutions.