Model Deployment

Die Modellbereitstellung (Model Deployment) ist der entscheidende Prozess der Integration eines trainierten Machine Learning (ML)-Modells in eine Live-Produktionsumgebung, in der es Eingaben empfangen und Vorhersagen liefern kann. Sie ist die letzte Phase im Machine-Learning-Lebenszyklus und wandelt eine statische Modelldatei in eine funktionale, wertschöpfende Anwendung um. Ohne eine effektive Bereitstellung ist selbst das genaueste Modell nur eine akademische Übung. Ziel ist es, die Vorhersagekraft des Modells Endnutzern, Softwareanwendungen oder anderen automatisierten Systemen auf zuverlässige und skalierbare Weise zugänglich zu machen.

Was ist der Deployment-Prozess?

Die Bereitstellung eines Modells umfasst mehr als nur das Speichern der trainierten Modellgewichte. Es ist ein mehrstufiger Prozess, der sicherstellt, dass das Modell in seiner Zielumgebung effizient und zuverlässig arbeitet.

1. Modelloptimierung: Vor der Bereitstellung werden Modelle oft auf Geschwindigkeit und Größe optimiert. Techniken wie Modellquantisierung und Modellbeschneidung reduzieren die für die Echtzeit-Inferenz erforderlichen Rechenressourcen, ohne dass die Genauigkeit wesentlich beeinträchtigt wird.
2. Modellexport: Das optimierte Modell wird dann in ein Format konvertiert, das für die Zielplattform geeignet ist. Ultralytics-Modelle können beispielsweise in verschiedene Formate exportiert werden, wie ONNX, TensorRT und CoreML, was sie sehr vielseitig macht.
3. Verpackung: Das Modell und alle seine Abhängigkeiten (wie z. B. bestimmte Bibliotheken und Frameworks) werden zusammengebündelt. Containerisierung mit Tools wie Docker ist eine gängige Praxis, da sie eine in sich geschlossene, portable Umgebung schafft, die sicherstellt, dass das Modell überall konsistent läuft.
4. Serving: Das verpackte Modell wird auf einem Server oder Gerät bereitgestellt, wo es Anfragen über eine API entgegennehmen kann. Diese Komponente, bekannt als Model Serving, ist für die Bearbeitung eingehender Daten und die Rückgabe von Vorhersagen zuständig.
5. Überwachung: Nach der Bereitstellung ist eine kontinuierliche Modellüberwachung unerlässlich. Dies umfasst die Verfolgung von Leistungskennzahlen, Latenz und Ressourcenauslastung, um sicherzustellen, dass das Modell wie erwartet funktioniert, und um Probleme wie Data Drift zu erkennen.

Bereitstellungsumgebungen

Modelle können in einer Vielzahl von Umgebungen eingesetzt werden, jede mit ihren eigenen Vor- und Nachteilen.

• Cloud-Plattformen: Dienste wie Amazon Web Services (AWS), Google Cloud Platform (GCP) und Microsoft Azure bieten eine leistungsstarke, skalierbare Infrastruktur für das Hosting komplexer Modelle.
• On-Premises-Server: Organisationen mit strengen Datenschutz-Anforderungen oder solche, die die volle Kontrolle über ihre Infrastruktur benötigen, können Modelle auf ihren eigenen Servern bereitstellen.
• Edge-KI-Geräte: Edge-KI umfasst die direkte Bereitstellung von Modellen auf lokaler Hardware, wie z. B. Smartphones, Drohnen, Industriesensoren oder spezialisierten Geräten wie dem NVIDIA Jetson. Dieser Ansatz ist ideal für Anwendungen, die eine geringe Inferenzlatenz und Offline-Funktionen erfordern.
• Webbrowser: Modelle können direkt in einem Webbrowser mithilfe von Frameworks wie TensorFlow.js ausgeführt werden, wodurch interaktive KI-Erlebnisse ohne serverseitige Verarbeitung ermöglicht werden.

Anwendungsfälle in der Praxis

• Qualitätskontrolle in der Fertigung: Ein für die Fehlererkennung trainiertes Ultralytics YOLO-Modell kann auf einem Edge-Gerät in einer Fabrikhalle eingesetzt werden. Das mit TensorRT für hohen Durchsatz optimierte Modell ist in eine Kamera integriert, die ein Förderband überwacht. Es führt eine Objekterkennung in Echtzeit durch, um fehlerhafte Produkte zu identifizieren und signalisiert sofort einem Roboterarm, diese zu entfernen. Dieser gesamte Prozess läuft lokal ab, wodurch Netzwerkverzögerungen minimiert und sofortige Maßnahmen gewährleistet werden. Weitere Informationen finden Sie unter Wie KI in der Fertigung eingesetzt wird.
• Smart Retail Analytics: Ein Computer Vision-Modell zur Personenzählung und -verfolgung wird auf Cloud-Servern bereitgestellt. Kameras in einem Einzelhandelsgeschäft streamen Videos in die Cloud, wo das Modell die Feeds verarbeitet, um Heatmaps des Kundenstroms zu erstellen und Einkaufsmuster zu analysieren. Die Anwendung wird mit Kubernetes verwaltet, um unterschiedliche Lasten von mehreren Geschäften zu bewältigen und so wertvolle Einblicke für das Bestandsmanagement und die Optimierung des Ladenlayouts zu gewinnen.

Modellbereitstellung, Modell Serving und MLOps

Obwohl sie eng miteinander verwandt sind, sind diese Begriffe unterschiedlich.

• Modellbereitstellung vs. Model Serving: Die Bereitstellung ist der gesamte End-to-End-Prozess, bei dem ein trainiertes Modell genommen und betriebsbereit gemacht wird. Model Serving ist eine spezifische Komponente der Bereitstellung, die sich auf die Infrastruktur bezieht, die für die Ausführung des Modells und die Beantwortung von Vorhersageanfragen verantwortlich ist, oft über eine API.
• Modellbereitstellung vs. MLOps: Machine Learning Operations (MLOps) ist eine breite Palette von Praktiken, die den gesamten KI-Lebenszyklus umfasst. Die Bereitstellung ist eine kritische Phase innerhalb des MLOps-Frameworks, das auch Datenmanagement, Modelltraining, Versionierung sowie kontinuierliche Überwachung und Nachtraining umfasst. Plattformen wie Ultralytics HUB bieten eine integrierte Umgebung zur Verwaltung dieses gesamten Workflows, vom Training benutzerdefinierter Modelle bis hin zur nahtlosen Bereitstellung und Überwachung.