Surveillance de modèles de vision par ordinateur déployés sur la plateforme Ultralytics

Tester des modèles de vision par ordinateur qui analysent des images et des vidéos n'est pas toujours la même chose que de les faire fonctionner en production. Lors du développement, ces modèles ou algorithmes sont testés sur des jeux de données propres et bien préparés, où les conditions sont contrôlées et prévisibles.

Une fois déployées, les choses deviennent plus dynamiques. Les modèles sont exposés au trafic réel, où les volumes de requêtes peuvent varier, les temps de réponse peuvent changer et des défaillances occasionnelles peuvent survenir.

À ce stade, l'accent est mis sur la fiabilité du système, avec des points de terminaison qui restent disponibles, réactifs et stables dans des conditions changeantes.

C'est pourquoi la surveillance est essentielle. Elle offre une vue claire du comportement des points de terminaison déployés en production grâce à des mesures telles que le volume de requêtes, la latence, les taux d'erreur et la santé globale du système.

Pour faciliter cela, disposer des bons outils est devenu tout aussi important que le modèle lui-même. Récemment, Ultralytics a lancé la plateforme Ultralytics, notre nouvel environnement de bout en bout qui regroupe tout le flux de travail de vision par ordinateur, des données et de l'entraînement au déploiement et à la surveillance.

Fig 1. Tableau de bord de déploiement de la plateforme Ultralytics avec fonctions de surveillance (Source)

Grâce à la surveillance intégrée directement dans ce flux de travail, tu peux suivre la santé des points de terminaison, inspecter le comportement des requêtes et maintenir des systèmes fiables sans dépendre d'outils distincts. Dans cet article, nous explorerons comment utiliser la plateforme Ultralytics pour surveiller les points de terminaison des modèles déployés et assurer le bon fonctionnement des systèmes en production. Commençons !

Link to this sectionUn aperçu de la surveillance des modèles d'IA#

Dans le cycle de vie d'un modèle d'IA, la surveillance consiste à observer le comportement des systèmes déployés une fois qu'un modèle est en ligne et traite des requêtes réelles. Alors que l'entraînement et la validation montrent les performances d'un modèle d'apprentissage automatique (modèle ML) sur des jeux de données préparés, la surveillance se concentre sur le fonctionnement du point de terminaison déployé dans un environnement de production.

Une partie cruciale de la surveillance consiste à suivre les mesures au niveau du système qui reflètent la fiabilité et la réactivité. Des mesures telles que la latence et la disponibilité aident à indiquer si le système gère bien les requêtes entrantes. La latence mesure le temps nécessaire pour traiter une requête et renvoyer une réponse, tandis que la disponibilité souligne la constance avec laquelle le point de terminaison reste accessible.

Un autre aspect clé est l'observabilité, qui permet de voir comment les requêtes sont traitées. Chaque fois qu'une entrée, comme une image ou une image vidéo, est envoyée à un modèle déployé, elle est traitée comme une requête d'inférence.

Les journaux capturent ces requêtes ainsi que des détails tels que les horodatages, les temps de réponse et les codes d'état. Ces journaux facilitent le suivi des requêtes, le débogage des problèmes et l'analyse des échecs lorsqu'ils surviennent. Ils sont particulièrement utiles pour identifier des modèles tels que des erreurs répétées, des réponses lentes ou un comportement inattendu du système.

En combinant les mesures et les journaux, la surveillance aide les utilisateurs à comprendre le fonctionnement de leurs systèmes en production et à réagir rapidement aux problèmes dès qu'ils surviennent.

Link to this sectionUn regard sur les mesures de performance des modèles vs les mesures du système#

Avant de plonger dans la surveillance de la production, discutons de la différence entre les mesures de performance du modèle et les mesures du système.

Généralement, la surveillance des modèles est associée aux mesures d'évaluation, également appelées mesures du modèle, telles que l'exactitude, la précision, le rappel et la mAP (moyenne de la précision moyenne). Ces mesures sont utilisées pour décrire le comportement du modèle et évaluer la qualité des prédictions, souvent par rapport aux données de production ou aux données d'entrée. Elles peuvent être particulièrement utiles pour identifier des cas limites ou des valeurs aberrantes dans de nouvelles données.

Cependant, c'est différent de la surveillance d'un système déployé en production. Dans ce contexte, la surveillance se concentre sur le fonctionnement du système plutôt que sur l'évaluation directe des prédictions du modèle.

Au lieu des mesures du modèle, la surveillance du déploiement s'appuie sur des signaux au niveau du système tels que le volume de requêtes, la latence, les taux d'erreur et la disponibilité. Ces mesures offrent une visibilité sur la façon dont les points de terminaison traitent les données d'entrée, sur la constance de leurs réponses et sur leur fonctionnement dans des environnements de production.

Link to this sectionLe rôle de la surveillance des modèles dans les projets de vision par ordinateur#

Ensuite, examinons un exemple concret qui souligne la nécessité d'un système de surveillance dans les déploiements de vision par ordinateur.

Considère une solution de vision qui utilise l'estimation de pose, une tâche de vision par ordinateur utilisée pour identifier et analyser les mouvements du corps humain, pour surveiller les travailleurs de la construction pour la conformité en matière de sécurité. Lors du déploiement initial du modèle, un tel système peut fonctionner correctement dans des conditions contrôlées avec une visibilité claire et des scénarios standard.

Cependant, les chantiers de construction réels introduisent une complexité supplémentaire. Les volumes de requêtes peuvent varier au cours de la journée, les conditions du réseau peuvent être incohérentes et plusieurs caméras ou points de terminaison peuvent envoyer des données en même temps. Ces facteurs peuvent entraîner des réponses plus lentes ou des défaillances occasionnelles si le système n'est pas correctement surveillé.

Fig 2. Estimation de pose utilisée pour surveiller les travailleurs sur un chantier de construction (Source)

Dans un environnement de production comme celui-ci, il devient important de comprendre la fiabilité du fonctionnement du système. La surveillance offre une visibilité sur la disponibilité des points de terminaison, sur la rapidité avec laquelle ils répondent aux requêtes entrantes et sur la constance avec laquelle ils gèrent le trafic au fil du temps.

Par exemple, une augmentation de la latence peut indiquer une charge plus élevée ou des contraintes de ressources, tandis qu'une hausse des taux d'erreur peut indiquer des problèmes de traitement des requêtes ou de stabilité du système. Les journaux ajoutent plus de contexte en montrant comment les requêtes individuelles sont traitées et où les défaillances se produisent.

En suivant ces signaux, les passionnés d'IA et les scientifiques des données peuvent identifier les problèmes tôt, dépanner plus efficacement et s'assurer que leurs systèmes continuent de fonctionner de manière fiable à mesure que les conditions réelles changent.

Link to this sectionUtiliser la plateforme Ultralytics pour surveiller les modèles de vision déployés#

Dans de nombreux flux de travail d'apprentissage profond, la surveillance est souvent gérée à l'aide d'outils distincts pour la journalisation, les mesures et la santé du système. Cette configuration fragmentée peut rendre difficile l'obtention d'une vision claire du fonctionnement des points de terminaison déployés en production et ajoute de la complexité à la gestion des déploiements.

La plateforme Ultralytics simplifie cela en intégrant la surveillance directement dans un environnement unifié qui couvre l'ensemble du flux de travail de vision par ordinateur, de l'ingestion et de l'annotation des données à l'entraînement, au déploiement et à la surveillance.

Avec cette configuration intégrée, tu peux suivre la façon dont tes points de terminaison déployés gèrent le trafic réel sans configurer de systèmes de journalisation externes ou de tableaux de bord supplémentaires. Tout est disponible au même endroit, ce qui facilite l'observation du comportement du système et le maintien de déploiements fiables au fil du temps.

Les fonctions de surveillance sont accessibles directement depuis l'onglet Déploiement. À partir d'un tableau de bord unique, tu peux suivre les mesures clés, analyser le comportement au niveau des requêtes et visualiser les tendances. Ces visualisations intégrées facilitent la compréhension des performances des solutions sans basculer entre différents outils.

En regroupant la surveillance, le déploiement et la gestion des modèles au sein du flux de travail global, la plateforme réduit la complexité. Cela rend plus fluide la gestion des déploiements, l'optimisation des performances du système et le maintien de la fiabilité.

Link to this sectionFonctionnalités de surveillance intégrées de la plateforme Ultralytics#

Dans les déploiements réels, la surveillance dépend d'une visibilité claire sur le fonctionnement des systèmes à mesure que les conditions changent. Cela va au-delà du suivi de quelques mesures et implique de comprendre le comportement des points de terminaison déployés dans différents environnements et de gérer efficacement les déploiements multiples.

Inspirée par les retours de la communauté de l'IA visuelle sur les défis courants de la vision par ordinateur, la plateforme Ultralytics inclut plusieurs capacités qui rendent la surveillance plus pratique et évolutive.

Voici un aperçu de certaines de ces fonctionnalités clés :

• Visibilité globale du déploiement : La page Déploiement comprend une carte mondiale interactive qui affiche les régions de déploiement avec des indicateurs visuels pour les points de terminaison actifs et en cours, permettant aux utilisateurs de surveiller la distribution géographique et l'activité régionale.
• Vues de tableau de bord flexibles : Le tableau de bord des déploiements propose plusieurs modes de vue, notamment la vue carte, la grille compacte et la vue tableau avec des colonnes triables telles que le nom, la région, le statut et les requêtes, prenant en charge une surveillance et une comparaison structurées.
• Surveillance de plusieurs points de terminaison : Le tableau de bord agrège les données de surveillance sur tous les déploiements à l'aide de cartes de synthèse et de listes de déploiement.
• Politiques de conservation des données : Les données de surveillance sont conservées pendant une période définie, avec des mesures disponibles pendant 30 jours et des journaux pendant 7 jours, prenant en charge l'analyse récente des performances et les flux de travail de débogage.
• Prise en charge de la surveillance externe : Les points de terminaison de déploiement peuvent être surveillés à l'aide d'outils externes tels que Datadog, New Relic et des services de surveillance de disponibilité, ou consultés via des points de terminaison API pour une surveillance personnalisée et des vérifications de santé.

Ensuite, nous passerons en revue certaines de ces fonctionnalités plus en détail et verrons comment elles peuvent être utilisées pour surveiller les points de terminaison déployés en production.

Link to this sectionComment suivre les mesures de performance clés à l'aide de la plateforme Ultralytics#

Une fois qu'un modèle est déployé, la surveillance commence par le suivi des mesures système clés. Alors que des mesures telles que l'exactitude et le rappel sont utiles pendant le développement, la surveillance de la production se concentre sur les signaux au niveau du système comme le temps de réponse et les taux d'erreur, qui fournissent des informations mesurables sur la fiabilité avec laquelle les points de terminaison gèrent le trafic réel.

La plateforme Ultralytics fournit un tableau de bord centralisé qui offre une vision claire de l'activité des points de terminaison et du comportement du système. En particulier, le tableau de bord Déploiement inclut quatre mesures clés qui montrent comment les points de terminaison sont utilisés et comment ils répondent aux requêtes entrantes.

Voici un examen plus approfondi de ces mesures :

• Requêtes totales : Le nombre total de requêtes effectuées sur tous les points de terminaison sur une période de 24 heures. Cela aide à identifier les modèles d'utilisation et la demande globale.
• Déploiements actifs : Le nombre de points de terminaison actuellement en cours d'exécution et répondant aux requêtes.
• Latence P95 : Le temps de réponse dans lequel 95 % des requêtes sont terminées. Cela donne une vision plus réaliste des performances en tenant compte des réponses plus lentes.
• Taux d'erreur : Il s'agit du pourcentage de requêtes ayant échoué par rapport au nombre total de requêtes. Cette mesure aide à identifier les problèmes et peut être utilisée pour détecter des anomalies.

En termes simples, ces mesures offrent une vision claire du fonctionnement des points de terminaison déployés en production. En analysant les modèles d'utilisation, les équipes et les individus peuvent comprendre la distribution du trafic, identifier les périodes de charge maximale et s'assurer que les systèmes restent réactifs et fiables à mesure que l'utilisation augmente.

Link to this sectionComprendre le comportement du déploiement de modèles grâce aux journaux#

Alors que les mesures offrent une vue de haut niveau des performances du système, les journaux offrent un regard plus détaillé sur la façon dont les points de terminaison déployés gèrent les requêtes individuelles. Les journaux enregistrent chaque requête envoyée à un point de terminaison ainsi que la réponse correspondante.

Ils sont utiles pour suivre les problèmes, inspecter les échecs et comprendre comment les requêtes sont traitées. Au sein de la plateforme Ultralytics, tu peux sélectionner n'importe quel déploiement pour afficher ses détails, y compris les journaux.

Fig 3. Un exemple de journaux au sein de la plateforme Ultralytics (Source)

Une entrée de journal dans la plateforme est affichée dans un format structuré, ce qui facilite la compréhension de ce qui s'est passé lors de chaque requête. Chaque entrée comprend un niveau de gravité, qui indique l'importance de l'événement, ainsi qu'un horodatage indiquant quand il s'est produit.

Elle contient également un message décrivant l'événement et des détails liés au HTTP tels que les codes d'état et la latence. Ces informations aident à tracer les requêtes, à faciliter le dépannage et à déboguer les problèmes plus efficacement. En plus de cela, les journaux sont regroupés par gravité, afin que les utilisateurs puissent prioriser les déploiements qui nécessitent une attention particulière.

Link to this sectionAnalyser la santé et la fiabilité des points de terminaison sur la plateforme Ultralytics#

La surveillance implique également de comprendre la santé globale des points de terminaison déployés, notamment s'ils fonctionnent correctement, s'ils répondent à temps et s'ils gèrent les requêtes de manière cohérente sans erreurs. La plateforme Ultralytics offre une vision claire de l'état de santé de chaque déploiement, ce qui permet de vérifier facilement que les points de terminaison fonctionnent comme prévu.

La plateforme inclut des indicateurs de santé visuels pour chaque déploiement, affichés sur les cartes de déploiement individuelles.

Par exemple, un indicateur vert montre que le point de terminaison est sain et répond normalement, tandis qu'un indicateur rouge signale des problèmes ou une interruption. Une icône rotative indique que le système vérifie activement le statut du déploiement.

En suivant la santé des points de terminaison au fil du temps, il devient possible de détecter les problèmes tôt, de maintenir des performances constantes et d'assurer une expérience stable pour les applications fonctionnant en production.

Link to this sectionLe lien entre les données de surveillance et l'amélioration des performances#

La surveillance des modèles ne consiste pas seulement à suivre des mesures. Elle crée une boucle de rétroaction qui favorise l'amélioration continue au fil du temps. À mesure que les points de terminaison gèrent le trafic réel, des modèles commencent à émerger dans les mesures et les journaux qui peuvent révéler des problèmes tels qu'une latence accrue, des taux d'erreur plus élevés ou un comportement incohérent du système.

La surveillance met en évidence les domaines qui nécessitent une attention particulière. Par exemple, une latence constamment élevée peut indiquer la nécessité d'une meilleure allocation des ressources ou d'une mise à l'échelle, tandis qu'un taux d'erreur croissant peut indiquer des problèmes de traitement des requêtes ou de stabilité du système.

Une fois ces problèmes identifiés, des mesures peuvent être prises pour améliorer la fiabilité. Cela peut impliquer l'ajustement de l'infrastructure, la mise à l'échelle des ressources ou la correction des problèmes dans la façon dont les requêtes sont traitées. Après ces changements, les systèmes peuvent continuer à être surveillés pour confirmer que les performances se sont améliorées.

En liant la surveillance aux améliorations continues, les utilisateurs peuvent maintenir des systèmes robustes à mesure que l'utilisation augmente et que les conditions changent.

Link to this sectionExplorer un exemple concret : surveillance de la manutention des bagages dans l'aviation#

Pour mieux comprendre l'impact de la surveillance dans un scénario réel, explorons comment elle s'applique à l'automatisation des opérations au sol en aviation.

Prends un système de vision conçu pour surveiller le chargement et le déchargement des bagages pendant les opérations au sol des aéronefs. Dans cette configuration, un modèle de détection d'objets comme Ultralytics YOLO26 peut être utilisé pour détecter si des bagages tombent des tapis roulants ou des équipements de manutention.

Lors des tests et du déploiement précoce, le système en temps réel peut fonctionner correctement, en identifiant avec précision les bagages et en répondant rapidement.

Dans un environnement aéroportuaire en direct, cependant, les conditions sont beaucoup moins prévisibles. L'éclairage change tout au long de la journée, plusieurs caméras diffusent des données en même temps et les volumes de requêtes augmentent pendant les périodes chargées. Ces facteurs peuvent provoquer une augmentation de la latence ou l'apparition d'erreurs, et sans visibilité sur le système, de tels problèmes peuvent facilement passer inaperçus.

C'est là que la surveillance devient précieuse. En suivant des mesures telles que le volume de requêtes, la latence et les taux d'erreur ainsi que des journaux détaillés, les équipes peuvent voir rapidement quand un point de terminaison ralentit ou échoue. Si la latence augmente pendant les heures de pointe, cela peut signaler la nécessité d'augmenter les ressources, tandis qu'une augmentation soudaine des erreurs peut indiquer des problèmes avec des caméras spécifiques ou le traitement des requêtes. Agir sur ces signaux aide à maintenir le système fiable, afin que la manutention des bagages puisse continuer à être surveillée avec précision même lorsque les conditions changent.

Link to this sectionPoints clés#

La surveillance est ce qui maintient la fiabilité des modèles de vision par ordinateur déployés une fois qu'ils quittent les conditions contrôlées du développement et commencent à gérer le trafic réel. En se concentrant sur les signaux au niveau du système tels que le volume de requêtes, la latence, les taux d'erreur et la disponibilité, parallèlement à des journaux détaillés, la surveillance offre la visibilité nécessaire pour détecter les problèmes tôt et assurer le bon fonctionnement des systèmes en production.

Avec la surveillance intégrée directement dans le flux de travail de déploiement, la plateforme Ultralytics facilite le suivi de la santé des points de terminaison, l'inspection du comportement des requêtes et le maintien de systèmes fiables sans dépendre d'outils distincts. En regroupant les données, l'entraînement, le déploiement et la surveillance en un seul endroit, la plateforme aide les équipes à passer de l'expérimentation à des déploiements réels fiables.

Rejoins notre communauté grandissante et explore notre dépôt GitHub pour en savoir plus sur l'IA visuelle. Pour construire avec l'IA visuelle dès aujourd'hui, consulte nos options de licence. Découvre comment l'IA dans la fabrication et l'IA dans la santé façonnent l'avenir en visitant nos pages de solutions.