Glossaire

Surveillance du modèle

Découvrez l'importance de la surveillance des modèles pour garantir la précision de l'IA, détecter la dérive des données et maintenir la fiabilité dans les environnements dynamiques du monde réel.

La surveillance des modèles est le processus continu de suivi et d'évaluation des performances des modèles d'apprentissage machine (ML) une fois qu'ils sont déployés en production. Il s'agit d'observer les mesures clés liées à la précision du modèle, à la santé opérationnelle et aux caractéristiques des données pour s'assurer que le modèle se comporte comme prévu au fil du temps. Cette pratique est un élément essentiel du cycle de vie des opérations d'apprentissage automatique (MLOps ), qui garantit que les systèmes d'intelligence artificielle (IA) déployés restent fiables, efficaces et dignes de confiance dans les environnements réels. Sans surveillance, les performances du modèle peuvent se dégrader silencieusement, entraînant de mauvaises prédictions et des résultats commerciaux négatifs.

Pourquoi le suivi des modèles est-il important ?

Les modèles de ML sont formés sur des données historiques, mais le monde réel est dynamique. Des changements dans les modèles de données, le comportement des utilisateurs ou l'environnement peuvent entraîner une baisse des performances d'un modèle après son déploiement. Les principales raisons de la surveillance sont les suivantes :

  • Détection de la dégradation des performances : Les modèles peuvent perdre en précision au fil du temps. La surveillance permet d'identifier les baisses de performances telles que la précision, le rappel ou le score F1. Pour en savoir plus sur les mesures de performance de YOLO, consultez notre guide.
  • Identifier la dérive des données : Les propriétés statistiques des données d'entrée peuvent changer, un phénomène connu sous le nom de dérive des données. Ce phénomène peut se produire lorsque les données que le modèle voit en production diffèrent sensiblement des données d'apprentissage.
  • Repérer les dérives du concept : La relation entre les caractéristiques d'entrée et la variable cible peut changer au fil du temps. Par exemple, les préférences des clients peuvent évoluer, rendant les anciens modèles de prédiction obsolètes. C'est ce que l'on appelle la dérive conceptuelle, qui nécessite souvent un réentraînement du modèle.
  • Assurer la santé opérationnelle : La surveillance permet de suivre les mesures opérationnelles telles que la latence d'inférence, le débit et les taux d'erreur, afin de s'assurer que l'infrastructure de service de modèle fonctionne correctement.
  • Maintenir l'équité et l'éthique : Le contrôle peut aider à détecter et à atténuer les préjugés dans l'IA en suivant les performances de différents groupes démographiques, promouvant ainsi l'éthique de l'IA.

Quels sont les aspects contrôlés ?

Un contrôle efficace du modèle implique généralement le suivi de plusieurs catégories de mesures :

  • Performance de prédiction : Mesures telles que la précision, la précision moyenne (mAP), l'AUC et les taux d'erreur, souvent comparées à des points de référence établis lors de la validation.
  • Qualité et intégrité des données : Suivi des valeurs manquantes, des incohérences de type de données et des violations de plage dans les données d'entrée.
  • Dérive des données d'entrée : Mesures statistiques (par exemple, indice de stabilité de la population, test de Kolmogorov-Smirnov) pour comparer la distribution des caractéristiques d'entrée de la production à la distribution des données d'apprentissage.
  • Dérive des prédictions et des sorties : Surveillance de la distribution des prévisions du modèle afin de détecter les changements significatifs au fil du temps.
  • Mesures opérationnelles : Mesures au niveau du système comme l'utilisation du CPU/GPU, l'utilisation de la mémoire, la latence des requêtes et le débit. Des plateformes comme Prometheus sont souvent utilisées à cette fin.
  • Mesures d'équité et de biais : Évaluation des disparités de performance des modèles en fonction d'attributs sensibles (par exemple, l'âge, le sexe) à l'aide de mesures telles que la parité démographique ou les probabilités égalisées.

Surveillance du modèle et concepts connexes

Il est important de distinguer le suivi des modèles des termes similaires :

  • Observabilité: Alors que la surveillance se concentre sur le suivi de mesures prédéfinies pour évaluer les modes de défaillance connus, l'observabilité fournit les outils (journaux, mesures, traces) pour explorer et comprendre les états inconnus du système. L'observabilité permet une investigation plus approfondie lorsque la surveillance détecte une anomalie.
  • MLOps: MLOps est un ensemble plus large de pratiques couvrant l'ensemble du cycle de vie du ML. La surveillance des modèles est un élément essentiel du cadre MLOps, qui se concentre spécifiquement sur la santé des modèles après leur déploiement.
  • Évaluation du modèle : L'évaluation est généralement effectuée avant le déploiement à l'aide de données de validation statiques ou de données de test afin d'évaluer la qualité d'un modèle. Le suivi est un processus continu réalisé sur des données de production en direct après le déploiement. Pour en savoir plus sur l'évaluation et la mise au point des modèles, cliquez ici.

Applications dans le monde réel

  1. Systèmes de recommandation pour le commerce électronique : Une plateforme de commerce électronique utilise un modèle ML pour son système de recommandation. La surveillance du modèle permet de suivre les taux de clics (CTR) et les taux de conversion. Si la surveillance détecte une chute soudaine du CTR (dégradation des performances) ou un changement dans les types de produits achetés (dérive du concept), des alertes peuvent déclencher une enquête et éventuellement un recyclage du modèle. Des services comme Amazon Personalize comprennent des fonctions de contrôle de l'efficacité des recommandations.
  2. Perception des véhicules autonomes : Les voitures autonomes s'appuient sur des modèles de vision artificielle comme Ultralytics YOLO pour la détection des objets. La surveillance du modèle permet de suivre en permanence la précision de la détection et les scores de confiance pour des objets tels que les piétons et les autres véhicules. Il surveille également la dérive des données dans les images d'entrée (par exemple, les changements de luminosité ou les conditions météorologiques). Si les performances se dégradent dans des conditions spécifiques telles qu'une forte pluie, le système peut signaler la nécessité de mettre à jour les modèles formés sur des données plus diversifiées, éventuellement créées à l'aide de l'augmentation des données. Des entreprises comme Waymo investissent massivement dans la surveillance de leurs systèmes de perception.

Outils et mise en œuvre

La mise en œuvre de la surveillance des modèles implique l'utilisation d'outils et de plateformes spécialisés. Les options vont des bibliothèques open-source comme Evidently AI et NannyML aux services gérés par des fournisseurs de cloud comme AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring et Azure Machine Learning. Les plateformes MLOps dédiées comme Arize AI ou WhyLabs offrent également des capacités de surveillance étendues. Des plateformes comme Ultralytics HUB prennent en charge le déploiement et la gestion des modèles, en s'intégrant à ces solutions de surveillance pour compléter le cycle MLOps. Les stratégies efficaces de maintenance des modèles reposent en grande partie sur une surveillance solide.

Rejoindre la communauté Ultralytics

Rejoignez l'avenir de l'IA. Connectez-vous, collaborez et évoluez avec des innovateurs mondiaux.

S'inscrire
Lien copié dans le presse-papiers