Model Monitoring

La surveillance des modèles est une pratique continue qui consiste à suivre, analyser et évaluer les performances des modèles de Machine Learning (ML) après leur déploiement en production. Alors que les logiciels traditionnels fonctionnent généralement de manière déterministe — en produisant indéfiniment la même sortie pour une entrée donnée —, les modèles prédictifs reposent sur des schémas statistiques susceptibles d’évoluer au fil du temps. À mesure que l’environnement réel change, les données fournies à ces modèles peuvent se modifier, ce qui entraîne une dégradation de la précision ou de la fiabilité. La surveillance garantit que les systèmes d’intelligence artificielle (AI) continuent à apporter de la valeur en identifiant des problèmes tels que la dérive des données ou la dérive des concepts avant qu’ils n’aient un impact négatif sur les résultats de l’entreprise ou l’expérience utilisateur.

L’importance de la supervision après le déploiement#

Dans le cycle de vie des opérations de Machine Learning (MLOps), le déploiement n’est pas une fin en soi. Un modèle entraîné sur des données historiques représente un instantané du monde à un moment précis. Au fil du temps, des facteurs externes — comme les changements saisonniers, les évolutions économiques ou les nouveaux comportements des utilisateurs — peuvent modifier la distribution sous-jacente des données. Ce phénomène, appelé dérive des données, peut entraîner des « défaillances silencieuses », où le modèle produit des prédictions sans message d’erreur, mais où leur qualité tombe en dessous des normes acceptables.

Une surveillance efficace permet de détecter ces changements subtils. En établissant des valeurs de référence à l’aide de données de validation et en les comparant aux flux de production en temps réel, les équipes d’ingénierie peuvent détecter rapidement les anomalies. Cette approche proactive permet de procéder à un réentraînement du modèle ou à des mises à jour en temps utile, afin de garantir que des systèmes comme les véhicules autonomes ou les algorithmes de détection des fraudes restent sûrs et efficaces.

Principales métriques de surveillance des modèles#

Pour maintenir un système de ML sain, les professionnels suivent différentes métriques qui se répartissent généralement en trois catégories :

• Métriques de fiabilité du service : elles suivent l’état opérationnel du moteur d’inférence. Les principaux indicateurs comprennent la latence d’inférence (le temps nécessaire pour effectuer une prédiction) et l’utilisation des ressources système, comme l’utilisation de la mémoire du GPU. Des outils comme Prometheus sont couramment utilisés pour collecter et stocker ces métriques au niveau du système.
• Métriques de qualité des données : elles vérifient que les données d’entrée correspondent au schéma et à la distribution statistique attendus. Par exemple, une hausse soudaine du nombre de valeurs manquantes ou une variation de la valeur moyenne d’une caractéristique peut indiquer une défaillance du pipeline de données en amont. Des tests statistiques comme le test de Kolmogorov-Smirnov aident à quantifier la distance entre les distributions d’entraînement et de production.
• Métriques de performance : dans l’idéal, les équipes surveillent des métriques de vérité terrain comme la précision, la précision positive et le rappel. Cependant, en production, les véritables étiquettes sont souvent disponibles tardivement ou indisponibles. Dans ce cas, des métriques indirectes, comme les scores de confiance des prédictions ou la stabilité de la distribution des sorties, servent à évaluer l’état du système.

Applications concrètes#

La surveillance des modèles est essentielle dans différents secteurs où les décisions automatisées ont un impact sur les opérations et la sécurité :

• Vision par ordinateur dans l’industrie manufacturière : dans la fabrication intelligente, les modèles d’inspection visuelle détectent les défauts sur les chaînes d’assemblage. Au fil du temps, les objectifs des caméras peuvent accumuler de la poussière ou l’éclairage de l’usine peut changer, ce qui amène le modèle à classer à tort des pièces non défectueuses comme défectueuses. La surveillance du taux de détections positives aide à identifier cette dérive et déclenche des opérations de maintenance ou de recalibrage à l’aide de l’Ultralytics Platform.
• Détection des fraudes financières : les banques utilisent le ML pour signaler les transactions suspectes. Les criminels adaptent constamment leurs stratégies pour échapper à la détection, ce qui entraîne une dérive des concepts. En surveillant le ratio de transactions signalées et en analysant les retours des examinateurs humains, les data scientists peuvent rapidement mettre à jour les modèles afin qu’ils reconnaissent de nouveaux schémas de fraude.

Surveillance et observabilité#

Il est utile de distinguer la surveillance de l’observabilité, car ces deux notions jouent des rôles complémentaires. La surveillance des modèles est généralement réactive et se concentre sur les « inconnues connues », en utilisant des tableaux de bord pour alerter les équipes lorsque certaines métriques dépassent un seuil (par exemple, lorsque la précision passe sous les 90 %). L’observabilité approfondit les « inconnues inconnues » en fournissant des journaux et des traces détaillés qui permettent aux ingénieurs de déboguer pourquoi une prédiction donnée a échoué ou pourquoi un modèle présente un biais dans l’AI envers un groupe démographique donné.

Exemple : suivre la confiance des prédictions#

Une méthode simple pour surveiller l’état d’un modèle de vision par ordinateur consiste à suivre la confiance moyenne de ses prédictions. Une baisse importante de la confiance peut indiquer que le modèle rencontre des données qu’il n’a pas été entraîné à traiter.

Voici un exemple en Python utilisant YOLO26 pour extraire les scores de confiance d’un lot d’images à des fins de surveillance :

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

La journalisation régulière de ces statistiques permet aux équipes de visualiser les tendances au fil du temps à l’aide d’outils comme Grafana ou des fonctionnalités de surveillance intégrées à l’Ultralytics Platform, afin de garantir que les modèles restent robustes dans des environnements dynamiques.