Model Monitoring

La surveillance des modèles est la pratique continue qui consiste à suivre, analyser et évaluer les performances des modèles de Machine Learning (ML) après leur déploiement en production. Alors que les logiciels traditionnels fonctionnent généralement de manière déterministe — en s'attendant indéfiniment au même résultat pour une entrée donnée —, les modèles prédictifs reposent sur des schémas statistiques qui peuvent évoluer au fil du temps. À mesure que l'environnement réel change, les données fournies à ces modèles peuvent varier, provoquant une baisse de précision ou de fiabilité. La surveillance garantit que les systèmes d'Artificial Intelligence (AI) continuent de générer de la valeur en identifiant les problèmes tels que le data drift ou le concept drift avant qu'ils n'aient un impact négatif sur les résultats commerciaux ou l'expérience utilisateur.

L'importance de la supervision post-déploiement#

Dans le cycle de vie du Machine Learning Operations (MLOps), le déploiement n'est pas la ligne d'arrivée. Un modèle entraîné sur des données historiques représente un instantané du monde à un moment précis. Au fil du temps, des facteurs externes — tels que des changements saisonniers, des évolutions économiques ou de nouveaux comportements des utilisateurs — peuvent altérer la distribution sous-jacente des données. Ce phénomène, connu sous le nom de data drift, peut entraîner des "pannes silencieuses" où le modèle produit des prédictions sans message d'erreur, mais où la qualité de ces prédictions tombe en deçà des normes acceptables.

Une surveillance efficace offre une visibilité sur ces changements subtils. En établissant des bases de référence à l'aide de validation data et en les comparant aux flux de production en direct, les équipes d'ingénierie peuvent détecter les anomalies de manière précoce. Cette approche proactive permet un model retraining ou des mises à jour en temps opportun, garantissant que des systèmes tels que les autonomous vehicles ou les algorithmes de détection des fraudes restent sûrs et efficaces.

Métriques clés de la surveillance de modèle#

Pour maintenir un système ML sain, les praticiens suivent une variété de métriques qui se divisent généralement en trois catégories :

• Métriques de fiabilité des services : Elles suivent la santé opérationnelle de l'inference engine. Les indicateurs clés incluent l'inference latency (le temps nécessaire pour effectuer une prédiction) et l'utilisation des ressources système, telle que la consommation de mémoire du GPU. Des outils comme Prometheus sont couramment utilisés pour collecter et stocker ces métriques au niveau du système.
• Métriques de qualité des données : Celles-ci garantissent que les données d'entrée correspondent au schéma attendu et à la distribution statistique. Par exemple, une hausse soudaine des valeurs manquantes ou un déplacement de la valeur moyenne d'une caractéristique peut indiquer une rupture dans le pipeline de données en amont. Des tests statistiques tels que le Kolmogorov-Smirnov test aident à quantifier la distance entre les distributions d'entraînement et de production.
• Métriques de performance : Idéalement, les équipes surveillent des métriques de vérité terrain telles que l'accuracy, la precision et le recall. Cependant, en production, les véritables étiquettes sont souvent retardées ou indisponibles. Dans de tels cas, des métriques de substitution telles que les scores de confidence de prédiction ou la stabilité de la distribution de sortie sont utilisées pour évaluer la santé du système.

Applications concrètes#

La surveillance de modèle est critique dans diverses industries où les décisions automatisées impactent les opérations et la sécurité :

• Vision par ordinateur dans l'industrie manufacturière : Dans le domaine de la smart manufacturing, les modèles d'inspection visuelle détectent les défauts sur les lignes d'assemblage. Au fil du temps, les objectifs des caméras peuvent accumuler de la poussière ou l'éclairage de l'usine peut changer, ce qui amène le modèle à mal classifier des pièces conformes comme étant défectueuses. La surveillance du taux de détections positives aide à identifier cette dérive, incitant à une maintenance ou à un réétalonnage à l'aide de Ultralytics Platform.
• Détection de la fraude financière : Les banques utilisent le ML pour signaler les transactions suspectes. Les criminels adaptent constamment leurs stratégies pour échapper à la détection, ce qui conduit à une dérive de concept. En surveillant le ratio des transactions signalées et en étudiant les retours des examinateurs humains, les data scientists peuvent rapidement mettre à jour les modèles pour reconnaître de nouveaux modèles de fraude.

Surveillance vs Observabilité#

Il est utile de distinguer la surveillance de l'observability, car elles jouent des rôles complémentaires. La Surveillance des modèles est généralement réactive et se concentre sur les "inconnues connues", en utilisant des tableaux de bord pour alerter les équipes lorsque des métriques spécifiques dépassent un seuil (par exemple, si la précision tombe sous les 90 %). L'Observabilité creuse plus profondément dans les "inconnues inconnues", fournissant des logs et des traces granulaires qui permettent aux ingénieurs de déboguer pourquoi une prédiction spécifique a échoué ou pourquoi un modèle présente un bias in AI envers une certaine démographie.

Exemple : Suivi de la confiance de prédiction#

Un moyen simple de surveiller la santé d'un modèle de vision par ordinateur consiste à suivre la confiance moyenne de ses prédictions. Une baisse significative de la confiance pourrait indiquer que le modèle rencontre des données pour lesquelles il n'a pas été entraîné.

Voici un exemple en Python utilisant YOLO26 pour extraire les scores de confiance d'un lot d'images à des fins de surveillance :

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

L'enregistrement régulier de ces statistiques permet aux équipes de visualiser les tendances au fil du temps à l'aide d'outils comme Grafana ou des fonctionnalités de surveillance intégrées à Ultralytics Platform, garantissant que les modèles restent robustes dans des environnements dynamiques.