Surveillance du modèle

La surveillance des modèles est le processus continu de suivi et d'évaluation des performances des modèles d'apprentissage machine (ML) une fois qu'ils sont déployés en production. Il s'agit d'observer les mesures clés liées à la précision du modèle, à la santé opérationnelle et aux caractéristiques des données pour s'assurer que le modèle se comporte comme prévu au fil du temps. Cette pratique est un élément essentiel du cycle de vie des opérations d'apprentissage automatique (MLOps ), qui garantit que les systèmes d'intelligence artificielle (IA) déployés restent fiables, efficaces et dignes de confiance dans les environnements réels. Sans surveillance, les performances du modèle peuvent se dégrader silencieusement, entraînant de mauvaises prédictions et des résultats commerciaux négatifs.

Pourquoi le suivi des modèles est-il important ?

Les modèles de ML sont formés sur des données historiques, mais le monde réel est dynamique. Des changements dans les modèles de données, le comportement des utilisateurs ou l'environnement peuvent entraîner une baisse des performances d'un modèle après son déploiement. Les principales raisons de la surveillance sont les suivantes :

• Détection de la dégradation des performances : Les modèles peuvent perdre en précision au fil du temps. La surveillance permet d'identifier les baisses de performances telles que la précision, le rappel ou le score F1. Pour en savoir plus sur les mesures de performance de YOLO, consultez notre guide.
• Identifier la dérive des données : Les propriétés statistiques des données d'entrée peuvent changer, un phénomène connu sous le nom de dérive des données. Ce phénomène peut se produire lorsque les données que le modèle voit en production diffèrent sensiblement des données de formation. Le contrôle des caractéristiques d'entrée permet de détecter ces changements.
• Repérer la dérive des concepts : La relation entre les caractéristiques d'entrée et la variable cible peut changer au fil du temps (dérive du concept). Par exemple, les préférences des clients peuvent évoluer, rendant les anciens modèles de prédiction obsolètes. La dérive des concepts nécessite un recyclage ou une adaptation du modèle.
• Garantir la santé opérationnelle : La surveillance permet de suivre les mesures opérationnelles telles que la latence d'inférence, le débit et les taux d'erreur afin de s'assurer que l'infrastructure de service de modèle(service de modèle) fonctionne correctement.
• Maintenir l'équité et l'éthique : La surveillance peut aider à détecter et à atténuer les préjugés dans l'IA en suivant les performances de différents groupes démographiques ou segments de données, promouvant ainsi l'éthique de l'IA.

Quels sont les aspects contrôlés ?

Un contrôle efficace du modèle implique généralement le suivi de plusieurs catégories de mesures :

• Performance de prédiction : Mesures telles que la précision, la précision moyenne (mAP), l'AUC et les taux d'erreur, souvent comparées à des points de référence établis lors de la validation.
• Qualité et intégrité des données : Suivi des valeurs manquantes, des incohérences de type de données et des violations de plage dans les données d'entrée.
• Dérive des données d'entrée : Mesures statistiques (par exemple, indice de stabilité de la population, test de Kolmogorov-Smirnov) pour comparer la distribution des caractéristiques d'entrée de la production à la distribution des données d'apprentissage.
• Dérive des prédictions et des sorties : Surveillance de la distribution des prévisions du modèle afin de détecter les changements significatifs.
• Mesures opérationnelles : Mesures au niveau du système comme l'utilisation du CPU/GPU, l'utilisation de la mémoire, la latence des requêtes et le débit. Des plateformes comme Prometheus sont souvent utilisées à cette fin.
• Mesures d'équité et de biais : Évaluation des disparités de performance des modèles en fonction d'attributs sensibles (par exemple, l'âge, le sexe, l'origine ethnique) à l'aide de mesures telles que la parité démographique ou les probabilités égalisées.

Surveillance du modèle et concepts connexes

Il est important de distinguer le suivi des modèles des termes similaires :

• Observabilité: Alors que la surveillance se concentre sur le suivi de mesures prédéfinies pour évaluer les modes de défaillance connus, l'observabilité fournit les outils (journaux, mesures, traces) pour explorer et comprendre les états et les comportements inconnus du système. L'observabilité permet une investigation plus approfondie lorsque la surveillance détecte une anomalie.
• MLOps: MLOps est un ensemble plus large de pratiques couvrant l'ensemble du cycle de vie de la ML, y compris la gestion des données, la formation des modèles, le déploiement, la gouvernance et la surveillance. La surveillance des modèles est un élément essentiel du cadre MLOps, qui se concentre spécifiquement sur la santé des modèles après leur déploiement.
• Évaluation du modèle : L'évaluation est généralement effectuée avant le déploiement à l'aide de données de validation statiques ou de données de test afin d'évaluer la qualité d'un modèle. Le suivi est un processus continu réalisé sur des données de production en direct après le déploiement. Pour en savoir plus sur l'évaluation et la mise au point des modèles, cliquez ici.

Applications dans le monde réel

1. Systèmes de recommandation pour le commerce électronique : Une plateforme de commerce électronique utilise un modèle ML pour recommander des produits(système de recommandation). La surveillance du modèle permet de suivre les taux de clics (CTR) et les taux de conversion pour les articles recommandés. Si la surveillance détecte une chute soudaine du CTR (dégradation des performances) ou un changement dans les types de produits achetés (dérive du concept due à une nouvelle tendance), des alertes sont déclenchées. Ces alertes déclenchent une enquête et un éventuel réapprentissage du modèle à l'aide de données d'interaction plus récentes. Amazon Personalize comprend des fonctions de contrôle de l'efficacité des recommandations.
2. Perception des véhicules autonomes : Les voitures autonomes s'appuient fortement sur des modèles de vision artificielle comme Ultralytics YOLO pour la détection d'objets. La surveillance du modèle permet de suivre en permanence la précision de la détection(métriques de performance YOLO) et les scores de confiance pour les objets tels que les piétons, les cyclistes et les autres véhicules. Il surveille également les caractéristiques des données d'entrée (par exemple, la luminosité de l'image, les conditions météorologiques) pour détecter les dérives. Si les performances du modèle se dégradent de manière significative dans des conditions spécifiques (par exemple, forte pluie, faible luminosité), le système peut passer à un mode opérationnel plus sûr ou signaler le besoin de mises à jour du modèle formé sur des données plus diversifiées(augmentation des données). Des entreprises comme Waymo investissent massivement dans la surveillance de leurs systèmes de perception.

Outils et mise en œuvre

La mise en œuvre de la surveillance des modèles implique souvent l'utilisation d'outils et de plateformes spécialisés. Les options vont des bibliothèques open-source comme Evidently AI et NannyML aux services gérés proposés par les fournisseurs de cloud(AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring, Azure Machine Learning data drift detection) et aux plateformes MLOps dédiées comme Arize AI ou WhyLabs. Des plateformes comme Ultralytics HUB fournissent une infrastructure qui prend en charge le déploiement et la gestion des modèles, en s'intégrant aux solutions de surveillance pour compléter le cycle MLOps. Les stratégies efficaces de maintenance des modèles reposent en grande partie sur une surveillance solide.