Observability
Erkunde die Bedeutung von Observability in KI und ML. Lerne, wie man komplexe Systeme debuggt, die Performance von Ultralytics YOLO26 überwacht und tiefe Einblicke in Modelle gewinnt.
Observability bezeichnet die Fähigkeit, den internen Zustand eines komplexen Systems allein anhand seiner externen Ausgaben zu verstehen. In den sich rasant entwickelnden Bereichen der Artificial Intelligence (AI) und des Machine Learning (ML) geht Observability über einfache Statusprüfungen hinaus und liefert tiefe Einblicke warum sich ein Modell auf eine bestimmte Weise verhält. Da moderne Deep Learning (DL)-Architekturen – wie das hochmoderne YOLO26 – zunehmend komplexer werden, fungieren sie oft als „Blackbox“. Observability-Tools schaffen ein transparentes Fenster in diese Systeme, sodass Engineering-Teams unerwartete Verhaltensweisen debuggen, die Ursachen von Fehlern zurückverfolgen und die Zuverlässigkeit in Produktionsumgebungen sicherstellen können.
Observability vs. Monitoring#
Obwohl sie oft synonym verwendet werden, erfüllen Observability und model monitoring im MLOps-Lebenszyklus unterschiedliche, aber sich ergänzende Zwecke.
- Model Monitoring ist reaktiv und konzentriert sich auf „bekannte Unbekannte“. Es beinhaltet die Verfolgung vordefinierter Metriken wie inference latency, CPU-Auslastung oder Fehlerraten im Vergleich zu festgelegten Schwellenwerten. Monitoring beantwortet die Frage: „Ist das System gesund?“
- Observability ist proaktiv und adressiert „unbekannte Unbekannte“. Sie liefert granulare Daten – Logs, Traces und Ereignisse mit hoher Kardinalität –, die zur Untersuchung neuartiger Probleme erforderlich sind, die bei der Vorbereitung der training data nicht vorhergesehen wurden. Wie im Google SRE Book beschrieben, ermöglicht ein beobachtbares System das Verständnis neuer Verhaltensweisen, ohne neuen Code auszurollen. Es beantwortet die Frage: „Warum verhält sich das System so?“
Die drei Säulen der Observability#
Um echte Observability in Computer Vision (CV)-Pipelines zu erreichen, stützen sich Systeme typischerweise auf drei Haupttypen von Telemetriedaten:
-
Logs: Zeitgestempelte, unveränderliche Datensätze diskreter Ereignisse. In einer Erkennungspipeline kann ein Log die Eingabebildauflösung oder die spezifische Konfiguration für das hyperparameter tuning erfassen, die während eines Laufs verwendet wurde. Strukturiertes Logging, oft im JSON-Format, ermöglicht komplexe Abfragen und Analysen.
-
Metrics: Aggregierte numerische Daten, die im Laufe der Zeit gemessen werden, wie zum Beispiel die durchschnittliche precision, der Speicherverbrauch oder die GPU-Auslastung. Tools wie Prometheus und Grafana sind Standard zum Speichern dieser Zeitreihendaten, um Trends zu visualisieren.
-
Traces: Das Tracing verfolgt den Lebenszyklus einer Anfrage, während sie durch verschiedene Microservices fließt. Bei verteilten KI-Anwendungen helfen Standards wie OpenTelemetry dabei, den Pfad einer Anfrage abzubilden und Engpässe in der inference engine oder Netzwerkverzögerungen hervorzuheben. Spezielle Tools wie Jaeger helfen dabei, diese verteilten Transaktionen zu visualisieren.
Implementierung von Observability in Python#
Du kannst die Observability in deinen Trainingsepipelines verbessern, indem du Callbacks verwendest, um bestimmte interne Zustände zu protokollieren. Das folgende Beispiel veranschaulicht, wie man einer YOLO26-Trainingseinheit einen benutzerdefinierten Callback hinzufügt, um Leistungsmetriken in Echtzeit zu überwachen.
from ultralytics import YOLO
# Load the YOLO26 model
model = YOLO("yolo26n.pt")
# Define a custom callback for observability
def on_train_epoch_end(trainer):
# Access and print specific metrics at the end of each epoch
map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")
# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)Praxisanwendungen#
Observability ist entscheidend für die Bereitstellung von Hochleistungsmodellen in dynamischen Umgebungen, in denen test data möglicherweise nicht perfekt mit realen Bedingungen übereinstimmen.
- Autonomous Vehicles: Bei der Entwicklung von autonomous vehicles ermöglicht Observability Ingenieuren, den genauen Zustand des Systems während eines Disengagement-Ereignisses zu rekonstruieren. Durch die Korrelation von object detection-Ausgaben mit Sensorprotokollen und Steuerbefehlen können Teams ermitteln, ob ein Bremsfehler durch Sensorrauschen, einen Modellvorhersagefehler oder einen Logikfehler im Planungsmodul verursacht wurde.
- Healthcare Diagnostics: Bei AI in healthcare ist die Sicherstellung einer konstanten Leistung für die Patientensicherheit von vitaler Bedeutung. Observability-Tools können data drift erkennen, wenn sich die Leistung eines Modells verschlechtert, wenn es auf Bilder von einem neuen Typ von MRT-Scanner angewendet wird. Traces können aufzeigen, ob das Problem von einer Änderung der Bild-data preprocessing oder einer Verschiebung der Eingabeverteilung herrührt, was eine schnelle Behebung ohne Kompromisse bei der AI safety ermöglicht.
Integration mit modernen Tools#
Moderne Workflows integrieren Observability häufig direkt in die Trainingsplattform. Benutzer der Ultralytics Platform profitieren von einer integrierten Visualisierung von Verlustkurven, Systemleistung und Datensatzanalysen. Darüber hinaus ermöglichen Standardintegrationen mit Tools wie TensorBoard und MLflow Data Scientists, ein strenges Experiment-Tracking und eine umfassende Observability über den gesamten Lebenszyklus des Modells hinweg aufrechtzuerhalten.
