Surveillance des modèles

La surveillance des modèles est le processus continu de suivi et d'évaluation des performances des modèles d'apprentissage automatique après leur mise en œuvre. modèles d'apprentissage automatique (ML) après leur déployés dans des environnements de production. Contrairement à la surveillance des logiciels, qui se concentre sur la disponibilité du système et les temps de réponse, la surveillance des modèles examine spécifiquement la qualité des prédictions et les propriétés statistiques des données utilisées, la surveillance des modèles examine spécifiquement la qualité des prédictions et les propriétés statistiques des données traitées. traitées. Cette pratique est un élément essentiel des opérations d'apprentissage automatique (Machine Learning Operations, MLOps). Machine Learning Operations (MLOps), garantissant que les systèmes intelligents restent fiables, précis et équitables lorsqu'ils interagissent avec des données dynamiques du monde réel. dynamiques du monde réel. Sans surveillance active, les modèles souffrent souvent d'une "défaillance silencieuse", c'est-à-dire qu'ils génèrent des prédictions sans erreur, mais avec une dégradation significative. sans erreur, mais avec une précision considérablement réduite.

La nécessité d'un suivi de la production

La raison principale de la mise en œuvre d'une stratégie de surveillance est que les environnements réels sont rarement statiques. Un modèle formé sur la base de données historiques peut éventuellement dérive des données, un phénomène où la distribution statistique des données d'entrée change au fil du temps. statistique des données d'entrée change au fil du temps. Par exemple, un modèle d'inspection visuelle formé sur des images d'un sol d'usine d'une usine bien éclairée peut échouer si les conditions d'éclairage changent, même si le matériel de la caméra reste le même.

De même, la dérive des concepts se produit lorsque la relation entre les données d'entrée et la variable cible évolue. entre les données d'entrée et la variable cible évolue. Ce phénomène est courant dans la détection des fraudes, où les mauvais acteurs adaptent constamment leurs stratégies pour échapper à la logique de détection. adaptent constamment leurs stratégies pour échapper à la logique de détection. Une surveillance efficace alerte les ingénieurs de ces changements, ce qui leur permet de déclencher le recyclage du modèle ou de mettre à jour la logique de détection. de déclencher le recyclage du modèle ou de mettre à jour les données d'apprentissage avant que les mesures commerciales ne soient négatives. données d'entraînement avant que les métriques de l'entreprise ne soient négatifs.

Principaux indicateurs à suivre

Un cadre de surveillance solide observe généralement trois catégories distinctes de mesures :

1. Mesures de la qualité du modèle : Elles track pouvoir prédictif du modèle. Alors que les étiquettes de vérité de terrain sont souvent retardées dans la production, les équipes peuvent surveiller les mesures de substitution ou utiliser l'échantillonnage humain dans la boucle pour estimer la précision, l'exactitude et la qualité du modèle. la précision, le rappel et le score F1.
2. Qualité des données et dérive : Il s'agit de suivre la distribution des caractéristiques d'entrée. Les tests comme le test de test de Kolmogorov-Smirnov peuvent quantifier la distance entre les données de production et la ligne de base de référence établie lors de la validation.
3. Efficacité opérationnelle : Pour s'assurer que le système respecte les accords de niveau de service, les ingénieurs track la latence de l'inférence, le débit et la consommation de consommation de ressources matérielles, telles que GPU l'utilisation de la mémoire du GPU.

Surveillance du modèle et observabilité

Bien qu'elles soient étroitement liées, la surveillance des modèles et l'observabilité répondent à des objectifs différents. l 'observabilité ont des objectifs différents. La surveillance est souvent réactive, se concentrant sur des mesures et des alertes prédéfinies, vous indiquant que quelque chose ne va pas (par ex, "la précision est tombée en dessous de 90 %"). En revanche, l'observabilité fournit l'outil et les données granulaires, telles que les journaux et les traces à haute dimensionnalité - nécessaires pour pour comprendre pourquoi le problème s'est produit. L'observabilité permet aux scientifiques des données de déboguer des comportements complexes, tels que comprendre pourquoi un sous-ensemble spécifique de prédictions présente des biais dans l'IA.

Applications concrètes

L'application pratique de la surveillance protège la valeur des investissements en intelligence artificielle (IA) dans tous les secteurs :

• Fabrication intelligente : En l 'IA dans la fabrication, un système de détection de détection des défauts utilisant la détection d'objets moyenne de ses prédictions. Une baisse soudaine de la confiance pourrait indiquer que l'objectif d'un appareil photo est sale ou qu'une nouvelle variante de produit a été introduite sur la chaîne de montage, signalant la nécessité d'une maintenance.
• Gestion des stocks dans le commerce de détail : Les systèmes déployant l 'IA dans le commerce de détail pour compter les stocks sur les étagères doivent surveiller de la saisonnalité. L'aspect visuel des produits change avec l'emballage des fêtes, qui agit comme une forme de dérive. Le suivi permet de s'assurer que les comptages d'inventaire restent exacts malgré ces changements esthétiques.

Exemple de mise en œuvre

La collecte de données pour la surveillance commence souvent à l'étape de l'inférence. L'extrait Python suivant montre comment extraire et enregistrer les données de performance - en particulier la vitesse d'inférence et la confiance - en utilisant un modèle YOLO11 de la base de données de la ultralytics l'emballage.

from ultralytics import YOLO

# Load a pre-trained YOLO11 model
model = YOLO("yolo11n.pt")

# Perform inference on an image source
results = model("https://ultralytics.com/images/bus.jpg")

# Extract metrics for monitoring logs
for result in results:
    # Log operational metric: Inference speed in milliseconds
    print(f"Inference Latency: {result.speed['inference']:.2f}ms")

    # Log model quality proxy: Average confidence of detections
    if result.boxes:
        avg_conf = result.boxes.conf.mean().item()
        print(f"Average Confidence: {avg_conf:.4f}")

Des outils comme Prometheus sont fréquemment utilisés pour agréger ces métriques de séries temporelles, tandis que les tableaux de bord de visualisation comme Grafana permettent aux équipes de repérer les tendances et les anomalies en temps réel. les tendances et les anomalies en temps réel. En intégrant ces pratiques, les organisations s'assurent que leurs solutions de vision par ordinateur offrent une valeur valeur durable longtemps après le déploiement initial.