Modell-Einsatz

Die Modellbereitstellung ist der entscheidende Prozess der Integration eines trainierten Modells für maschinelles Lernen (ML) in eine Produktionsumgebung, in der es Eingaben empfangen und Vorhersagen treffen kann. Dies ist die letzte Phase im Lebenszyklus des maschinellen Lernens, in der eine statische Modelldatei in eine funktionale, wertschöpfende Anwendung umgewandelt wird. Ohne eine effektive Bereitstellung ist selbst das genaueste Modell nur eine akademische Übung. Das Ziel besteht darin, die Vorhersagekraft des Modells für Endbenutzer, Softwareanwendungen oder andere automatisierte Systeme auf zuverlässige und skalierbare Weise zugänglich zu machen.

Was ist der Bereitstellungsprozess?

Zum Einsatz eines Modells gehört mehr als nur das Speichern der trainierten Modellgewichte. Es ist ein mehrstufiger Prozess, der sicherstellt, dass das Modell in der Zielumgebung effizient und zuverlässig funktioniert.

1. Modell-Optimierung: Vor dem Einsatz werden die Modelle häufig hinsichtlich Geschwindigkeit und Größe optimiert. Techniken wie Modellquantisierung und Modellbeschneidung reduzieren die für Echtzeit-Inferenz erforderlichen Rechenressourcen, ohne die Genauigkeit wesentlich zu beeinträchtigen.
2. Modell-Export: Das optimierte Modell wird dann in ein für die Zielplattform geeignetes Format umgewandelt. Ultralytics-Modelle können zum Beispiel in verschiedene Formate wie ONNX, TensorRT und CoreML exportiert werden, was sie äußerst vielseitig macht.
3. Paketierung: Das Modell und alle seine Abhängigkeiten (wie spezifische Bibliotheken und Frameworks) werden gebündelt. Die Containerisierung mit Tools wie Docker ist eine gängige Praxis, da sie eine in sich geschlossene, portable Umgebung schafft, die sicherstellt, dass das Modell überall konsistent läuft.
4. Bereitstellen: Das verpackte Modell wird auf einem Server oder Gerät bereitgestellt, wo es Anfragen über eine API annehmen kann. Diese als " Model Serving" bezeichnete Komponente ist für die Verarbeitung eingehender Daten und die Rückgabe von Vorhersagen zuständig.
5. Überwachung: Nach der Bereitstellung ist eine kontinuierliche Modellüberwachung unerlässlich. Dazu gehört die Verfolgung von Leistungsmetriken, Latenz und Ressourcennutzung, um sicherzustellen, dass das Modell wie erwartet funktioniert, und um Probleme wie Datendrift zu erkennen.

Bereitstellungsumgebungen

Modelle können in einer Vielzahl von Umgebungen eingesetzt werden, die jeweils ihre eigenen Vorteile und Herausforderungen haben.

• Cloud-Plattformen: Dienste wie Amazon Web Services (AWS), Google Cloud Platform (GCP) und Microsoft Azure bieten eine leistungsstarke, skalierbare Infrastruktur für das Hosting komplexer Modelle.
• Vor-Ort-Server: Organisationen mit strengen Datenschutzanforderungen oder solche, die eine vollständige Kontrolle über ihre Infrastruktur benötigen, können Modelle auf ihren eigenen Servern bereitstellen.
• Edge-KI-Geräte: Bei der Edge-KI werden Modelle direkt auf lokaler Hardware bereitgestellt, z. B. auf Smartphones, Drohnen, Industriesensoren oder speziellen Geräten wie dem NVIDIA Jetson. Dieser Ansatz ist ideal für Anwendungen, die eine geringe Inferenzlatenz und Offline-Funktionen erfordern.
• Web-Browser: Modelle können mit Frameworks wie TensorFlow.js direkt in einem Webbrowser ausgeführt werden, was interaktive KI-Erfahrungen ohne serverseitige Verarbeitung ermöglicht.

Anwendungen in der realen Welt

• Qualitätskontrolle in der Fertigung: Ein Ultralytics YOLO-Modell, das für die Erkennung von Defekten trainiert wurde, kann auf einem Edge-Gerät in einer Fabrikhalle eingesetzt werden. Das Modell, das mit TensorRT für einen hohen Durchsatz optimiert wurde, ist in eine Kamera integriert, die ein Förderband übersieht. Es führt eine Objekterkennung in Echtzeit durch, um fehlerhafte Produkte zu identifizieren und einem Roboterarm sofort zu signalisieren, diese zu entfernen. Dieser gesamte Prozess findet lokal statt, wodurch Netzwerkverzögerungen minimiert werden und sofortiges Handeln gewährleistet ist. Weitere Informationen finden Sie unter Anwendung von KI in der Fertigung.
• Intelligente Einzelhandelsanalyse: Ein Computer-Vision-Modell zur Personenzählung und -verfolgung wird auf Cloud-Servern bereitgestellt. Kameras in einem Einzelhandelsgeschäft streamen Videos in die Cloud, wo das Modell die Feeds verarbeitet, um Heatmaps der Kundenströme zu erstellen und Kaufmuster zu analysieren. Die Anwendung wird mit Kubernetes verwaltet, um unterschiedliche Lasten aus mehreren Geschäften zu bewältigen und wertvolle Erkenntnisse für die Bestandsverwaltung und die Optimierung des Ladenlayouts zu liefern.

Modellbereitstellung, Modellpflege und MLOps

Obwohl diese Begriffe eng miteinander verbunden sind, unterscheiden sie sich doch voneinander.

• Modell-Einsatz vs. Modell-Betrieb: Die Bereitstellung ist der gesamte End-to-End-Prozess, bei dem ein trainiertes Modell in Betrieb genommen wird. Model Serving ist eine spezifische Komponente der Bereitstellung, die sich auf die Infrastruktur bezieht, die für die Ausführung des Modells und die Beantwortung von Vorhersageanfragen, häufig über eine API, verantwortlich ist.
• Modellbereitstellung vs. MLOps: Machine Learning Operations (MLOps) ist ein breites Spektrum an Praktiken, das den gesamten KI-Lebenszyklus umfasst. Die Bereitstellung ist eine kritische Phase innerhalb des MLOps-Rahmens, der auch die Datenverwaltung, die Modellschulung, die Versionierung und die kontinuierliche Überwachung und Umschulung umfasst. Plattformen wie Ultralytics HUB bieten eine integrierte Umgebung zur Verwaltung dieses gesamten Workflows, von der Schulung benutzerdefinierter Modelle bis zur nahtlosen Bereitstellung und Überwachung.