Surveiller les modèles de vision par ordinateur déployés sur Ultralytics Platform

Tester des modèles de vision par ordinateur qui analysent des images et des vidéos n’est pas toujours comparable à leur exécution en production. Pendant le développement, ces modèles ou algorithmes sont testés sur des jeux de données propres et bien préparés, dans des conditions contrôlées et prévisibles.

Une fois déployés, les choses deviennent plus dynamiques. Les modèles sont exposés au trafic réel, où le volume des requêtes peut varier, les temps de réponse changer et des défaillances ponctuelles survenir.

À ce stade, l’objectif est de vérifier que le système fonctionne de manière fiable, avec des points de terminaison qui restent disponibles, réactifs et stables malgré les changements de conditions.

C’est pourquoi la surveillance est essentielle. Elle donne une vue claire du comportement en production des points de terminaison déployés, grâce à des indicateurs tels que le volume des requêtes, la latence, le taux d’erreur et l’état général du système.

Pour faciliter cette tâche, disposer des bons outils est tout aussi important que le modèle lui-même. Ultralytics a récemment lancé Ultralytics Platform, notre nouvel environnement de bout en bout qui réunit l’ensemble du workflow de vision par ordinateur, des données et de l’entraînement au déploiement et à la surveillance.

Fig. 1. Tableau de bord de déploiement d’Ultralytics Platform avec des fonctionnalités de surveillance (Source)

Grâce à la surveillance intégrée directement à ce workflow, les utilisateurs peuvent suivre l’état des points de terminaison, examiner le comportement des requêtes et maintenir des systèmes fiables sans dépendre d’outils distincts. Dans cet article, nous allons voir comment utiliser Ultralytics Platform pour surveiller les points de terminaison des modèles déployés et assurer le bon fonctionnement des systèmes en production. C’est parti !

Présentation de la surveillance des modèles d’IA#

Dans le cycle de vie d’un modèle d’IA, la surveillance consiste à observer le comportement des systèmes déployés lorsqu’un modèle est en service et traite des requêtes réelles. Alors que l’entraînement et la validation montrent les performances d’un modèle d’apprentissage automatique (modèle ML) sur des jeux de données préparés, la surveillance porte sur le fonctionnement du point de terminaison déployé dans un environnement de production.

Un aspect essentiel de la surveillance consiste à suivre les indicateurs au niveau du système qui reflètent sa fiabilité et sa réactivité. Des indicateurs comme la latence et la disponibilité permettent d’évaluer la façon dont le système traite les requêtes entrantes. La latence mesure le temps nécessaire au traitement d’une requête et à l’envoi d’une réponse, tandis que la disponibilité indique dans quelle mesure le point de terminaison reste accessible de façon constante.

L’observabilité constitue un autre aspect clé : elle permet de voir comment les requêtes sont traitées. Chaque fois qu’une entrée, comme une image ou une image vidéo, est envoyée à un modèle déployé, elle est traitée comme une requête d’inférence.

Les journaux enregistrent ces requêtes ainsi que des informations comme les horodatages, les temps de réponse et les codes d’état. Ils facilitent le suivi des requêtes, le débogage et l’analyse des défaillances lorsqu’elles surviennent. Ils sont particulièrement utiles pour repérer des tendances comme des erreurs répétées, des réponses lentes ou un comportement inattendu du système.

En combinant indicateurs et journaux, la surveillance aide les utilisateurs à comprendre le fonctionnement de leurs systèmes en production et à réagir rapidement aux problèmes dès qu’ils surviennent.

Comparaison des indicateurs de performance du modèle et des indicateurs système#

Avant d’aborder la surveillance en production, examinons la différence entre les indicateurs de performance du modèle et les indicateurs système.

La surveillance des modèles est généralement associée aux indicateurs d’évaluation, également appelés indicateurs du modèle, tels que l’exactitude, la précision, le rappel et la précision moyenne (mAP). Ces indicateurs décrivent le comportement du modèle et évaluent la qualité de ses prédictions, souvent par rapport aux données de production ou aux données d’entrée. Ils peuvent être particulièrement utiles pour repérer les cas limites ou les valeurs aberrantes dans de nouvelles données.

Toutefois, cela diffère de la surveillance d’un système déployé en production. Dans ce contexte, la surveillance porte sur le fonctionnement du système plutôt que sur l’évaluation directe des prédictions du modèle.

Au lieu des indicateurs du modèle, la surveillance du déploiement s’appuie sur des signaux au niveau du système, comme le volume des requêtes, la latence, le taux d’erreur et la disponibilité. Ces indicateurs permettent de voir comment les points de terminaison traitent les données d’entrée, avec quelle constance ils répondent et comment ils fonctionnent en production.

Le rôle de la surveillance des modèles dans les projets de vision par ordinateur#

Voyons maintenant un exemple concret qui met en évidence la nécessité d’un système de surveillance pour les déploiements de vision par ordinateur.

Prenons une solution de vision qui utilise l’estimation de pose, une tâche de vision par ordinateur servant à identifier et analyser les mouvements du corps humain, pour surveiller le respect des règles de sécurité par les ouvriers du bâtiment. Lors du déploiement initial du modèle, un tel système peut bien fonctionner dans des conditions contrôlées, avec une bonne visibilité et des situations standard.

Cependant, les chantiers réels ajoutent de la complexité. Le volume des requêtes peut varier au cours de la journée, les conditions réseau peuvent être instables et plusieurs caméras ou points de terminaison peuvent envoyer des données simultanément. Ces facteurs peuvent ralentir les réponses ou entraîner des défaillances ponctuelles si le système n’est pas correctement surveillé.

Fig. 2. Utilisation de l’estimation de pose pour surveiller les ouvriers sur un chantier (Source)

Dans un environnement de production comme celui-ci, il est important de savoir si le système fonctionne de manière fiable. La surveillance permet de vérifier si les points de terminaison sont disponibles, à quelle vitesse ils répondent aux requêtes entrantes et avec quelle constance ils traitent le trafic au fil du temps.

Par exemple, une hausse de la latence peut signaler une charge accrue ou des contraintes de ressources, tandis qu’une augmentation du taux d’erreur peut indiquer des problèmes de traitement des requêtes ou de stabilité du système. Les journaux apportent davantage de contexte en montrant comment les requêtes individuelles sont traitées et où surviennent les défaillances.

En suivant ces signaux, les passionnés d’IA et les spécialistes des données peuvent détecter les problèmes tôt, les résoudre plus efficacement et veiller à ce que leurs systèmes continuent de fonctionner de façon fiable malgré l’évolution des conditions réelles.

Utiliser Ultralytics Platform pour surveiller les modèles de vision déployés#

Dans de nombreux workflows d’apprentissage profond, la surveillance s’appuie souvent sur des outils distincts pour les journaux, les indicateurs et l’état du système. Cette configuration fragmentée peut compliquer l’obtention d’une vue claire du fonctionnement en production des points de terminaison déployés et rendre la gestion des déploiements plus complexe.

Ultralytics Platform simplifie cette tâche en intégrant directement la surveillance à un environnement unifié couvrant l’ensemble du workflow de vision par ordinateur, de l’ingestion et de l’annotation des données à l’entraînement, au déploiement et à la surveillance.

Grâce à cette configuration intégrée, les utilisateurs peuvent suivre la façon dont leurs points de terminaison déployés traitent le trafic réel sans configurer de systèmes de journalisation externes ni de tableaux de bord supplémentaires. Tout est accessible au même endroit, ce qui facilite l’observation du comportement du système et le maintien de déploiements fiables au fil du temps.

Les fonctionnalités de surveillance sont accessibles directement depuis l’onglet Deploy. À partir d’un seul tableau de bord, les utilisateurs peuvent suivre les indicateurs clés, analyser le comportement des requêtes et visualiser les tendances. Ces visualisations intégrées facilitent l’évaluation des performances des solutions sans avoir à passer d’un outil à l’autre.

En réunissant la surveillance, le déploiement et la gestion des modèles dans un workflow plus large, la plateforme réduit la complexité. Il devient ainsi plus facile de gérer les déploiements, d’optimiser les performances du système et d’en maintenir la fiabilité.

Fonctionnalités de surveillance intégrées à Ultralytics Platform#

Dans les déploiements réels, la surveillance nécessite une bonne visibilité sur le fonctionnement des systèmes lorsque les conditions évoluent. Elle ne se limite pas au suivi de quelques indicateurs : elle consiste aussi à comprendre le comportement des points de terminaison déployés dans différents environnements et à gérer efficacement plusieurs déploiements.

Inspirée par les retours de la communauté de l’IA visuelle sur les défis courants de la vision par ordinateur, Ultralytics Platform comprend plusieurs fonctionnalités qui rendent la surveillance plus pratique et évolutive.

Voici un aperçu de quelques-unes de ces fonctionnalités clés :

• Visibilité globale des déploiements : La page Deploy comprend une carte interactive du monde qui affiche les régions de déploiement et indique visuellement les points de terminaison actifs et en cours de déploiement, ce qui permet de surveiller la répartition géographique et l’activité régionale.
• Vues flexibles du tableau de bord : Le tableau de bord des déploiements propose plusieurs modes d’affichage, notamment les cartes, la grille compacte et le tableau avec des colonnes triables comme le nom, la région, l’état et le nombre de requêtes, pour faciliter la surveillance structurée et la comparaison.
• Surveillance de plusieurs points de terminaison : Le tableau de bord regroupe les données de surveillance de tous les déploiements au moyen de cartes récapitulatives et de listes de déploiements.
• Politiques de conservation des données : Les données de surveillance sont conservées pendant une période définie : les indicateurs sont disponibles pendant 30 jours et les journaux pendant 7 jours, ce qui facilite l’analyse des performances récentes et le débogage.
• Prise en charge de la surveillance externe : Les points de terminaison des déploiements peuvent être surveillés avec des outils externes comme Datadog, New Relic et des services de surveillance de la disponibilité, ou accessibles via des points de terminaison API pour mettre en place une surveillance personnalisée et des contrôles d’état.

Ensuite, nous allons examiner certaines de ces fonctionnalités plus en détail et voir comment elles peuvent servir à surveiller les points de terminaison déployés en production.

Comment suivre les indicateurs clés de performance avec Ultralytics Platform#

Une fois un modèle déployé, le suivi commence par la surveillance des principaux indicateurs système. Si des indicateurs tels que la précision et le rappel sont utiles pendant le développement, la surveillance en production se concentre sur les signaux système, comme le temps de réponse et le taux d’erreur, qui donnent des informations mesurables sur la fiabilité avec laquelle les points de terminaison traitent le trafic réel.

Ultralytics Platform propose un tableau de bord centralisé qui offre une vue claire de l’activité des points de terminaison et du comportement du système. Plus précisément, le tableau de bord Deployment comprend quatre indicateurs clés qui montrent comment les points de terminaison sont utilisés et comment ils répondent aux requêtes entrantes.

Examinons ces indicateurs de plus près :

• Requêtes totales : nombre total de requêtes envoyées à tous les points de terminaison sur une période de 24 heures. Cet indicateur aide à repérer les tendances d’utilisation et la demande globale.
• Déploiements actifs : nombre de points de terminaison actuellement en cours d’exécution et traitant des requêtes.
• Latence P95 : temps de réponse dans lequel 95 % des requêtes sont traitées. Cet indicateur donne une vision plus réaliste des performances en tenant compte des réponses les plus lentes.
• Taux d’erreur : pourcentage de requêtes en échec par rapport au nombre total de requêtes. Cet indicateur aide à repérer les problèmes et peut servir à détecter les anomalies.

En bref, ces indicateurs donnent une vision claire du fonctionnement des points de terminaison déployés en production. En analysant les tendances d’utilisation, les équipes et les personnes peuvent comprendre la répartition du trafic, repérer les périodes de charge maximale et s’assurer que les systèmes restent réactifs et fiables à mesure que l’utilisation augmente.

Comprendre le comportement des déploiements de modèles à l’aide des journaux#

Les indicateurs donnent une vue d’ensemble des performances du système, tandis que les journaux détaillent la façon dont les points de terminaison déployés traitent chaque requête. Les journaux enregistrent chaque requête envoyée à un point de terminaison ainsi que la réponse correspondante.

Ils sont utiles pour suivre les problèmes, examiner les échecs et comprendre le traitement des requêtes. Dans Ultralytics Platform, tu peux sélectionner n’importe quel déploiement pour consulter ses détails, notamment ses journaux.

Fig. 3. Exemple de journaux dans Ultralytics Platform (Source)

Dans la plateforme, chaque entrée de journal s’affiche dans un format structuré qui permet de comprendre plus facilement ce qui s’est passé lors de chaque requête. Chaque entrée comprend un niveau de gravité, qui indique l’importance de l’événement, ainsi qu’un horodatage qui précise quand il s’est produit.

Elle contient aussi un message décrivant l’événement et des détails liés à HTTP, comme les codes d’état et la latence. Ces informations aident à suivre les requêtes, à faciliter le dépannage et à déboguer les problèmes plus efficacement. De plus, les journaux sont regroupés par niveau de gravité, afin que les utilisateurs puissent donner la priorité aux déploiements qui nécessitent une intervention.

Analyser l’état et la fiabilité des points de terminaison dans Ultralytics Platform#

La surveillance consiste aussi à comprendre l’état général des points de terminaison déployés, notamment à vérifier qu’ils fonctionnent correctement, répondent dans les délais et traitent les requêtes de façon constante, sans erreur. Ultralytics Platform offre une vue claire de l’état de santé de chaque déploiement, ce qui permet de vérifier facilement que les points de terminaison fonctionnent comme prévu.

La plateforme affiche des indicateurs visuels de l’état de santé de chaque déploiement, sur des cartes individuelles.

Par exemple, un indicateur vert signifie que le point de terminaison est opérationnel et répond normalement, tandis qu’un indicateur rouge signale des problèmes ou une interruption de service. Une icône animée indique que le système vérifie activement l’état du déploiement.

En suivant l’état des points de terminaison au fil du temps, il devient possible de détecter rapidement les problèmes, de maintenir des performances constantes et de garantir une expérience stable pour les applications en production.

Le lien entre les données de surveillance et l’amélioration des performances#

La surveillance des modèles ne consiste pas seulement à suivre des indicateurs. Elle met en place une boucle de rétroaction qui favorise l’amélioration continue au fil du temps. À mesure que les points de terminaison traitent du trafic réel, des tendances se dégagent des indicateurs et des journaux, et peuvent révéler des problèmes comme une latence accrue, un taux d’erreur plus élevé ou un comportement irrégulier du système.

La surveillance met en évidence les points qui nécessitent une intervention. Par exemple, une latence constamment élevée peut indiquer qu’il faut mieux répartir les ressources ou augmenter la capacité, tandis qu’un taux d’erreur en hausse peut révéler des problèmes de traitement des requêtes ou de stabilité du système.

Une fois ces problèmes identifiés, tu peux prendre des mesures pour améliorer la fiabilité. Cela peut impliquer d’ajuster l’infrastructure, d’augmenter les ressources ou de corriger le traitement des requêtes. Après ces changements, tu peux continuer à surveiller les systèmes pour vérifier que les performances se sont améliorées.

En associant la surveillance à des améliorations continues, les utilisateurs peuvent maintenir des systèmes robustes à mesure que l’utilisation augmente et que les conditions évoluent.

Exemple concret : surveiller la manutention des bagages dans l’aviation#

Pour mieux comprendre l’impact de la surveillance dans un cas réel, voyons comment elle s’applique à l’automatisation des opérations au sol dans l’aviation.

Prenons un système de vision conçu pour surveiller le chargement et le déchargement des bagages lors des opérations au sol des avions. Dans ce contexte, un modèle de détection d’objets comme Ultralytics YOLO26 peut servir à détecter si des bagages tombent des tapis roulants ou des équipements de manutention.

Pendant les tests et les premières étapes du déploiement, le système en temps réel peut bien fonctionner, en identifiant précisément les bagages et en répondant rapidement.

Dans un aéroport en activité, toutefois, les conditions sont beaucoup moins prévisibles. La luminosité varie au fil de la journée, plusieurs caméras diffusent des données simultanément et le volume de requêtes augmente fortement aux heures de pointe. Ces facteurs peuvent entraîner une hausse de la latence ou faire apparaître des erreurs. Sans visibilité sur le système, ces problèmes peuvent facilement passer inaperçus.

C’est là que la surveillance prend toute son utilité. En suivant des indicateurs comme le volume de requêtes, la latence et le taux d’erreur, ainsi que les journaux détaillés, les équipes peuvent rapidement voir quand un point de terminaison ralentit ou tombe en panne. Si la latence augmente aux heures de pointe, cela peut indiquer qu’il faut augmenter les ressources ; une hausse soudaine des erreurs peut, elle, révéler des problèmes liés à certaines caméras ou au traitement des requêtes. En réagissant à ces signaux, les équipes contribuent à la fiabilité du système et peuvent continuer à surveiller précisément la manutention des bagages malgré l’évolution des conditions.

Points clés à retenir#

La surveillance garantit la fiabilité des modèles de vision par ordinateur déployés lorsqu’ils quittent les conditions contrôlées du développement et commencent à traiter du trafic réel. En se concentrant sur les signaux système tels que le volume de requêtes, la latence, le taux d’erreur et la disponibilité, ainsi que sur les journaux détaillés, elle offre la visibilité nécessaire pour détecter rapidement les problèmes et assurer le bon fonctionnement des systèmes en production.

En intégrant directement la surveillance au processus de déploiement, Ultralytics Platform facilite le suivi de l’état des points de terminaison, l’examen du traitement des requêtes et le maintien de systèmes fiables, sans dépendre d’outils distincts. En réunissant les données, l’entraînement, le déploiement et la surveillance au même endroit, la plateforme aide les équipes à passer de l’expérimentation à des déploiements fiables en conditions réelles.

Rejoins notre communauté grandissante et explore notre dépôt GitHub pour en savoir plus sur l’IA visuelle. Pour développer dès aujourd’hui avec l’IA visuelle, consulte nos options de licence. Découvre comment l’IA dans l’industrie manufacturière et l’IA dans les soins de santé façonnent l’avenir en visitant nos pages dédiées aux solutions.