Operatives maschinelles Lernen (MLOps)

Kernprinzipien von MLOps

MLOps basiert auf mehreren Grundprinzipien, um die einzigartige Komplexität von ML-Systemen zu bewältigen:

• Automatisierung: Automatisierung sich wiederholender Aufgaben wie Datenaufbereitung, Modelltraining, Validierung und Bereitstellung mithilfe von CI/CD-Pipelines (Continuous Integration/Continuous Deployment), die für ML angepasst sind.
• Kollaboration: Förderung der Kommunikation und Zusammenarbeit zwischen Data Science-, Software-Engineering- und Betriebsteams während des gesamten ML-Lebenszyklus.
• Versionierung: Implementierung einer Versionskontrolle für Daten, Code und Modelle, um Reproduzierbarkeit und Nachvollziehbarkeit zu gewährleisten. Werkzeuge wie DVC werden häufig zusammen mit Git verwendet.
• Modell-Überwachung: Kontinuierliche Verfolgung von Modellleistung, Datenqualität und Betriebszustand in der Produktion, um Probleme wie Datenabweichungen oder Leistungseinbußen zu erkennen.
• Governance und Einhaltung von Vorschriften: Sicherstellen, dass die Modelle den gesetzlichen Anforderungen, ethischen Richtlinien(KI-Ethik) und den Unternehmensrichtlinien in Bezug auf Datenschutz und Sicherheit entsprechen.

Der Lebenszyklus von MLOps

Der MLOps-Lebenszyklus umfasst den gesamten Weg eines ML-Modells:

1. Datenverwaltung: Einlesen, Validieren, Bereinigen(Data Cleaning) und Versionieren von Datensätzen( Anleitungen zurDatenkennzeichnung und -aufbereitung finden Sie in den Ultralytics Docs).
2. Modellentwicklung: Experimentieren mit verschiedenen Algorithmen, Feature Engineering und Architekturen, oft unter Verwendung von Frameworks wie PyTorch oder TensorFlow.
3. Modell-Training: Training von Modellen in großem Umfang, möglicherweise unter Verwendung von verteiltem Training und Verwaltung von Experimenten mit Tools wie Weights & Biases oder MLflow. Die Abstimmung der Hyperparameter ist oft automatisiert.
4. Modell-Validierung: Bewertung der Modellleistung anhand von Metriken wie Genauigkeit oder mAP auf Validierungsdaten.
5. Modell-Bereitstellung: Paketierung(Containerisierung mit Docker) und Bereitstellung von Modellen in Produktionsumgebungen, möglicherweise unter Verwendung von Orchestrierungsplattformen wie Kubernetes.
6. Modellüberwachung und -umschulung: Verfolgen der Live-Leistung, Erkennen von Drift oder Verfall und Auslösen von Umschulungspipelines, wenn nötig. Die Beobachtbarkeit spielt hier eine Schlüsselrolle.

MLOps vs. Verwandte Konzepte

• MLOps vs. AutoML: Während MLOps das gesamte End-to-End-Lebenszyklusmanagement abdeckt, konzentriert sich Automated Machine Learning (AutoML) speziell auf die Automatisierung der Modellerstellungsschritte (Datenvorbereitung, Feature Engineering, Modellauswahl, Hyperparameter-Tuning). AutoML-Tools können eine Komponente innerhalb eines MLOps-Workflows sein.
• MLOps vs. Beobachtungsfähigkeit: Die Beobachtungsfähigkeit ist eine wichtige Fähigkeit innerhalb einer MLOps-Strategie. Sie stellt die Tools und Verfahren (Protokollierung, Metriken, Tracing) bereit, die erforderlich sind, um den internen Zustand und das Verhalten der eingesetzten ML-Systeme zu verstehen und eine effektive Überwachung und Fehlerbehebung zu ermöglichen.

Anwendungen in der realen Welt

MLOps-Verfahren sind für die Verwaltung komplexer ML-Systeme in der Produktion unerlässlich:

1. Empfehlungssysteme: Unternehmen wie Netflix oder Spotify nutzen MLOps, um Empfehlungsmodelle auf der Grundlage neuer Nutzerinteraktionsdaten kontinuierlich neu zu trainieren, verschiedene Modellversionen in A/B-Tests zu testen, Engagement-Metriken zu überwachen und leistungsschwache Modelle schnell zurückzusetzen. So wird sichergestellt, dass die Empfehlungen relevant und personalisiert bleiben.
2. Betrugsaufdeckung: Finanzinstitute setzen MLOps-Pipelines zur Verwaltung von Betrugserkennungsmodellen ein. Dazu gehören die Überwachung von Transaktionsdaten auf Drift, die automatische Umschulung von Modellen mit neuen Betrugsmustern, die Sicherstellung einer geringen Inferenzlatenz für die Echtzeiterkennung und die Pflege von Prüfpfaden für die Einhaltung von Vorschriften. Die YOLO-Modelle von Ultralytics profitieren bei der Verwendung in visuellen Inspektionssystemen, die in die Betrugserkennung einfließen können, ebenfalls von MLOps für die Bereitstellung und Überwachung.

Werkzeuge und Plattformen

Eine Vielzahl von Tools unterstützt die verschiedenen Phasen des Lebenszyklus von MLOps:

• Versuchsverfolgung und Versionierung: MLflow, Gewichte und Verzerrungen, DVC, ClearML.
• Workflow-Orchestrierung: Kubeflow Pipelines, Apache Airflow.
• Model Serving: KFServing, BentoML, NVIDIA Triton Inference Server.
• Überwachung: Grafana, Prometheus, WhyLabs.
• End-to-End-Plattformen: Amazon SageMaker, Google Cloud AI Platform, Microsoft Azure Machine Learning, Ultralytics HUB.

Die Umsetzung der MLOps-Prinzipien hilft Unternehmen, KI-Systeme effektiver zu entwickeln, bereitzustellen und zu verwalten und die Lücke zwischen experimenteller Forschung und zuverlässigen Produktionsanwendungen zu schließen.