Observability

L'observabilité désigne la capacité à comprendre l'état interne d'un système complexe en se basant uniquement sur ses sorties externes. Dans les domaines en évolution rapide de l'Intelligence Artificielle (IA) et de l'Apprentissage Automatique (ML), l'observabilité va au-delà de simples vérifications d'état pour fournir des informations approfondies sur les raisons pour lesquelles un modèle se comporte d'une certaine manière. À mesure que les architectures modernes de Deep Learning (DL) — telles que le modèle de pointe YOLO26 — deviennent de plus en plus sophistiquées, elles peuvent souvent fonctionner comme des « boîtes noires ». Les outils d'observabilité créent une fenêtre transparente sur ces systèmes, permettant aux équipes d'ingénierie de déboguer les comportements inattendus, de tracer les causes profondes des erreurs et de garantir la fiabilité dans les environnements de production.

Link to this sectionObservabilité vs Surveillance#

Bien qu'ils soient souvent utilisés de manière interchangeable, l'observabilité et la surveillance de modèle remplissent des objectifs distincts mais complémentaires au sein du cycle de vie MLOps.

• La surveillance de modèle est réactive et se concentre sur les « inconnues connues ». Elle implique le suivi de métriques prédéfinies telles que la latence d'inférence, l'utilisation du CPU ou les taux d'erreur par rapport à des seuils établis. La surveillance répond à la question : « Le système est-il en bonne santé ? »
• L'observabilité est proactive et traite les « inconnues inconnues ». Elle fournit les données granulaires — journaux, traces et événements à haute cardinalité — nécessaires pour enquêter sur des problèmes nouveaux qui n'avaient pas été anticipés lors de la préparation des données d'entraînement. Comme décrit dans le Google SRE Book, un système observable te permet de comprendre de nouveaux comportements sans avoir à déployer de nouveau code. Il répond à la question : « Pourquoi le système agit-il de cette manière ? »

Link to this sectionLes trois piliers de l'observabilité#

Pour parvenir à une véritable observabilité dans les pipelines de Vision par Ordinateur (CV), les systèmes s'appuient généralement sur trois types principaux de données de télémétrie :

1. Journaux : Enregistrements immuables et horodatés d'événements discrets. Dans un pipeline de détection, un journal pourrait capturer la résolution de l'image d'entrée ou la configuration spécifique de réglage des hyperparamètres utilisée lors d'une exécution. La journalisation structurée, souvent au format JSON, permet des requêtes et des analyses complexes.

2. Métriques : Données numériques agrégées mesurées au fil du temps, telles que la précision moyenne, la consommation de mémoire ou l'utilisation du GPU. Des outils comme Prometheus et Grafana sont standard pour stocker ces données de séries temporelles afin de visualiser les tendances.

3. Traces : Le traçage suit le cycle de vie d'une requête au fur et à mesure qu'elle circule à travers divers microservices. Pour les applications d'IA distribuées, des standards comme OpenTelemetry aident à cartographier le chemin d'une requête, en mettant en évidence les goulots d'étranglement dans le moteur d'inférence ou les retards réseau. Des outils spécialisés comme Jaeger aident à visualiser ces transactions distribuées.

Link to this sectionImplémentation de l'observabilité en Python#

Tu peux améliorer l'observabilité dans tes pipelines d'entraînement en utilisant des rappels (callbacks) pour journaliser des états internes spécifiques. L'exemple suivant démontre comment ajouter un rappel personnalisé à une session d'entraînement YOLO26 pour surveiller les métriques de performance en temps réel.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Link to this sectionApplications concrètes#

L'observabilité est essentielle pour déployer des modèles haute performance dans des environnements dynamiques où les données de test peuvent ne pas correspondre parfaitement aux conditions réelles.

• Véhicules autonomes : Dans le développement de véhicules autonomes, l'observabilité permet aux ingénieurs de reconstruire l'état exact du système lors d'un événement de désengagement. En corrélant les sorties de la détection d'objets avec les journaux des capteurs et les commandes de contrôle, les équipes peuvent déterminer si une erreur de freinage a été causée par le bruit des capteurs, une erreur de prédiction du modèle ou une erreur logique dans le module de planification.
• Diagnostics de santé : Dans l'IA dans la santé, assurer une performance constante est vital pour la sécurité des patients. Les outils d'observabilité peuvent détecter une dérive des données si la performance d'un modèle se dégrade lorsqu'il est appliqué à des images provenant d'un nouveau type de scanner IRM. Les traces peuvent révéler si le problème provient d'un changement dans le prétraitement des données d'image ou d'un décalage dans la distribution des entrées, permettant une remédiation rapide sans compromettre la sécurité de l'IA.

Link to this sectionIntégration avec des outils modernes#

Les flux de travail modernes intègrent souvent l'observabilité directement dans la plateforme d'entraînement. Les utilisateurs de la Plateforme Ultralytics bénéficient d'une visualisation intégrée des courbes de perte, des performances du système et de l'analyse des jeux de données. De plus, les intégrations standard avec des outils comme TensorBoard et MLflow permettent aux data scientists de maintenir un suivi rigoureux des expériences et une observabilité tout au long du cycle de vie du modèle.