Observability

L'observabilité désigne la capacité à comprendre l'état interne d'un système complexe en se basant uniquement sur ses sorties externes. Dans les domaines en évolution rapide de l'Intelligence Artificielle (IA) et du Machine Learning (ML), l'observabilité va au-delà de simples vérifications d'état pour fournir des informations approfondies sur le pourquoi du comportement d'un modèle. À mesure que les architectures modernes de Deep Learning (DL) — telles que le modèle de pointe YOLO26 — deviennent de plus en plus sophistiquées, elles fonctionnent souvent comme des « boîtes noires ». Les outils d'observabilité créent une fenêtre transparente sur ces systèmes, permettant aux équipes d'ingénierie de déboguer les comportements inattendus, de tracer les causes profondes des erreurs et de garantir la fiabilité dans les environnements de production.

Observabilité vs Surveillance#

Bien qu'ils soient souvent utilisés de manière interchangeable, l'observabilité et le suivi des modèles servent des objectifs distincts mais complémentaires au sein du cycle de vie MLOps.

• Le suivi des modèles est réactif et se concentre sur les « inconnues connues ». Il implique le suivi de métriques prédéfinies telles que la latence d'inférence, l'utilisation du processeur ou les taux d'erreur par rapport à des seuils établis. Le suivi répond à la question : « Le système est-il sain ? »
• L'observabilité est proactive et aborde les « inconnues inconnues ». Elle fournit les données granulaires (journaux, traces et événements à haute cardinalité) nécessaires pour enquêter sur de nouveaux problèmes qui n'ont pas été anticipés lors de la préparation des données d'entraînement. Comme décrit dans le Google SRE Book, un système observable te permet de comprendre les nouveaux comportements sans déployer de nouveau code. Il répond à la question : « Pourquoi le système se comporte-t-il ainsi ? »

Les trois piliers de l'observabilité#

Pour atteindre une véritable observabilité dans les pipelines de Computer Vision (CV), les systèmes s'appuient généralement sur trois types principaux de données de télémétrie :

1. Journaux : Enregistrements horodatés et immuables d'événements discrets. Dans un pipeline de détection, un journal peut capturer la résolution de l'image d'entrée ou la configuration spécifique de l'optimisation des hyperparamètres utilisée lors d'une exécution. La journalisation structurée, souvent au format JSON, permet des requêtes et des analyses complexes.

2. Métriques : Données numériques agrégées mesurées au fil du temps, telles que la précision moyenne, la consommation de mémoire ou l'utilisation du GPU. Des outils tels que Prometheus et Grafana sont standard pour stocker ces données de séries temporelles afin de visualiser les tendances.

3. Traces : Le traçage suit le cycle de vie d'une requête au fur et à mesure qu'elle circule à travers divers microservices. Pour les applications d'IA distribuées, des normes comme OpenTelemetry aident à cartographier le chemin d'une requête, en mettant en évidence les goulots d'étranglement dans le moteur d'inférence ou les retards réseau. Des outils spécialisés comme Jaeger aident à visualiser ces transactions distribuées.

Implémentation de l'observabilité en Python#

Tu peux améliorer l'observabilité de tes pipelines d'entraînement en utilisant des rappels pour enregistrer des états internes spécifiques. L'exemple suivant montre comment ajouter un rappel personnalisé à une session d'entraînement YOLO26 pour surveiller les métriques de performance en temps réel.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Applications concrètes#

L'observabilité est essentielle pour déployer des modèles haute performance dans des environnements dynamiques où les données de test peuvent ne pas correspondre parfaitement aux conditions du monde réel.

• Véhicules autonomes : Dans le développement de véhicules autonomes, l'observabilité permet aux ingénieurs de reconstituer l'état exact du système lors d'un événement de désengagement. En corrélant les sorties de détection d'objets avec les journaux de capteurs et les commandes de contrôle, les équipes peuvent déterminer si une erreur de freinage a été causée par le bruit des capteurs, une erreur de prédiction du modèle ou une erreur logique dans le module de planification.
• Diagnostics de santé : En IA dans la santé, garantir des performances constantes est vital pour la sécurité des patients. Les outils d'observabilité peuvent détecter la dérive des données si les performances d'un modèle se dégradent lorsqu'il est appliqué à des images provenant d'un nouveau type de scanner IRM. Les traces peuvent révéler si le problème provient d'un changement dans le prétraitement des données d'image ou d'un décalage dans la distribution des entrées, permettant une correction rapide sans compromettre la sécurité de l'IA.

Intégration avec des outils modernes#

Les flux de travail modernes intègrent souvent l'observabilité directement dans la plateforme d'entraînement. Les utilisateurs de l'Ultralytics Platform bénéficient d'une visualisation intégrée des courbes de perte, des performances du système et de l'analyse des jeux de données. De plus, les intégrations standard avec des outils tels que TensorBoard et MLflow permettent aux data scientists de maintenir un suivi rigoureux des expériences et une observabilité sur l'ensemble du cycle de vie du modèle.