Beobachtbarkeit

Beobachtbarkeit ist die Praxis des Designs und der Instrumentierung von Systemen, um realitätsgetreue Daten über ihren internen Zustand zu liefern, die es Teams ermöglichen, ihr Verhalten effektiv zu untersuchen, zu debuggen und zu verstehen. Im Zusammenhang mit künstlicher Intelligenz (KI) und maschinellem Lernen (ML) geht dies über eine einfache Überwachung hinaus und ermöglicht tiefe Einblicke in komplexe Modelle und Datenpipelines. Anstatt nur vordefinierte Leistungsmetriken zu verfolgen, liefert ein beobachtbares System reichhaltige, erforschbare Daten, die es Ihnen ermöglichen, neue Fragen zu stellen und unbekannte Probleme nach der Modellbereitstellung zu diagnostizieren.

Beobachtbarkeit vs. Überwachung

Obwohl sie oft zusammen verwendet werden, sind Beobachtbarkeit und Modellüberwachung unterschiedliche Konzepte.

• Unter Überwachung versteht man das Sammeln und Analysieren von Daten, um auf bekannte Fehlermöglichkeiten zu achten. Sie richten Warnungen für bestimmte, vordefinierte Schwellenwerte ein, z. B. für eine Fehlerrate von mehr als 5 % oder eine Latenzzeit von mehr als 200 ms. So erfahren Sie, ob etwas nicht in Ordnung ist.
• Beobachtbarkeit ist eine Systemeigenschaft, die es Ihnen ermöglicht zu verstehen , warum etwas nicht stimmt, auch wenn Sie das Problem noch nie gesehen haben. Detaillierte Protokolle, Metriken und Traces ermöglichen eine explorative Analyse und die Identifizierung der Grundursache. Ein beobachtbares System ist ein System, das Sie debuggen können, ohne neuen Code ausliefern zu müssen, um weitere Informationen zu sammeln. Diese Fähigkeit ist entscheidend für die Verwaltung der unvorhersehbaren Natur von KI-Systemen in der Produktion.

Die drei Säulen der Beobachtbarkeit

Die Beobachtungsfähigkeit beruht in der Regel auf drei Hauptarten von Telemetriedaten:

1. Protokolle: Dies sind unveränderliche, mit einem Zeitstempel versehene Aufzeichnungen von Ereignissen. In ML-Systemen können Protokolle einzelne Vorhersageanforderungen, Datenvalidierungsfehler oder Änderungen der Systemkonfiguration erfassen. Während herkömmliche Protokolle aus einfachem Text bestehen können, lassen sich Protokolle durch strukturierte Protokolle (z. B. im JSON-Format ) viel einfacher abfragen und in großem Umfang analysieren.
2. Metriken: Dies sind numerische Darstellungen von Daten, die im Laufe der Zeit gemessen werden. Zu den wichtigsten Metriken in ML-Systemen gehören Modellgenauigkeit, Vorhersagedurchsatz, CPU/GPU-Auslastung und Speichernutzung. Zeitseriendatenbanken wie Prometheus werden häufig zum Speichern und Abfragen dieser Daten verwendet.
3. Rückverfolgungen: Traces bieten einen detaillierten Überblick über eine einzelne Anfrage oder Transaktion, während sie alle Komponenten eines Systems durchläuft. In einer Bildverarbeitungspipeline könnte ein Trace ein einzelnes Bild von der Aufnahme und Vorverarbeitung bis zur Modellinferenz und Nachverarbeitung verfolgen und die für jeden Schritt aufgewendete Zeit aufzeigen. Dies ist von unschätzbarem Wert für die Ermittlung von Engpässen und Fehlern in verteilten Systemen.

Warum Beobachtbarkeit für KI-Systeme entscheidend ist

Deep-Learning-Modelle können sehr komplex und undurchsichtig sein, was es schwierig macht, ihr Verhalten in der realen Welt zu verstehen. Die Beobachtbarkeit ist entscheidend für:

• Fehlersuche und Fehlerbehebung: Wenn ein Modell wie Ultralytics YOLO11 eine falsche Vorhersage macht, können Beobachtungstools helfen, die Eingabedaten und Modellaktivierungen zurückzuverfolgen, um die Ursache zu verstehen.
• Erkennen von Drift: KI-Modelle können sich im Laufe der Zeit aufgrund von Datendrift (wenn sich die Verteilung der Produktionsdaten gegenüber den Trainingsdaten ändert) oder Konzeptdrift verschlechtern. Observability hilft bei der Erkennung dieser Verschiebungen durch die Überwachung von Datenverteilungen und Modellleistung.
• Sicherstellung von Vertrauen und Fairness: Bei sensiblen Anwendungen wie KI im Gesundheitswesen unterstützt die Beobachtbarkeit erklärbare KI (XAI) und Transparenz in der KI, indem sie einen klaren Prüfpfad für Modellentscheidungen liefert. Dies ist entscheidend für die Einhaltung von Vorschriften und den Aufbau von Vertrauen bei den Beteiligten.
• Optimierung der Leistung: Durch die Verfolgung der Ressourcennutzung und der Latenzzeiten können die Teams die Modelleffizienz optimieren und die Betriebskosten senken, was ein wichtiges Ziel von MLOps ist.

Anwendungen in der realen Welt

1. Autonome Fahrzeuge: Ein autonomes Fahrzeug verwendet ein Wahrnehmungsmodell zur Objekterkennung in Echtzeit. Das Observability Tooling verfolgt ein Kamerabild durch das gesamte System, vom Sensor bis zur Entscheidung. Wenn das Fahrzeug in der Dämmerung einen Fußgänger nicht erkennt, können die Ingenieure anhand der Aufzeichnungen feststellen, ob eine Latenz bei der Bildvorverarbeitung die Ursache war. Sie können auch Metriken zur Erkennungswahrscheinlichkeit zu verschiedenen Tageszeiten analysieren, um systemische Probleme zu erkennen.
2. Lagerbestandsverwaltung im Einzelhandel: Ein intelligentes Einzelhandelssystem verwendet Kameras zur Überwachung des Regalbestands. Eine Beobachtungsplattform verfolgt die Anzahl der erkannten Produkte pro Regal, die Häufigkeit der API-Aufrufe und die Latenzzeit der Vorhersagen. Wenn das System falsche Lagerbestände für ein bestimmtes Produkt meldet, können die Entwickler die Spuren für die SKU dieses Produkts filtern, die protokollierten Bilder und Vorhersageergebnisse prüfen und feststellen, ob schlechte Beleuchtung oder ungewöhnliche Verpackungen das Problem verursachen. Dies ermöglicht eine schnelle Diagnose und Umschulung mit besserer Datenerweiterung.

Werkzeuge und Plattformen

Die Implementierung der Beobachtbarkeit erfordert häufig spezialisierte Tools und Plattformen. Open-Source-Lösungen wie Grafana (Visualisierung), Loki (Protokolle) und Jaeger (Tracing) sind sehr beliebt. OpenTelemetry bietet einen herstellerneutralen Standard für die Instrumentierung. Kommerzielle Plattformen wie Datadog, New Relic und Dynatrace bieten integrierte Lösungen an. MLOps-Plattformen wie MLflow, Weights & Biases und ClearML enthalten häufig Funktionen zur Verfolgung von Experimenten und zur Überwachung von Modellen. Ultralytics HUB erleichtert die Verwaltung von Trainingsläufen und bereitgestellten Modellen und lässt sich mit Tools wie TensorBoard zur Visualisierung von Metriken integrieren, was ein wichtiger Aspekt der Beobachtbarkeit während der Modelltrainingsphase ist.