So exportierst du Ultralytics YOLO-Modelle mit der Ultralytics Platform

Im vergangenen Monat haben wir die Ultralytics Platform eingeführt, einen einheitlichen Arbeitsbereich, der den gesamten Arbeitsablauf in der Computer Vision vereinfachen soll. Sie vereint wichtige Funktionen für visuelle KI – darunter Datensatzverwaltung, Annotation, Modelltraining, Tests, Bereitstellung und Überwachung – in einer einzigen, übersichtlichen Oberfläche.

Abb. 1. Ein Einblick in die Ultralytics Platform (Quelle)

Im Rahmen dieses durchgängigen Arbeitsablaufs spielt die Bereitstellung eine entscheidende Rolle, wenn Modelle von der Erprobung in die praktische Anwendung überführt werden. Zuvor haben wir die verschiedenen auf der Plattform verfügbaren Bereitstellungsoptionen vorgestellt, darunter gemeinsam genutzte Inferenz über APIs, dedizierte Endpunkte für skalierbare Bereitstellungen in der Produktion sowie der Export von Modellen zur Ausführung auf Edge-Geräten oder in externer Infrastruktur.

Sehen wir uns nun den Modellexport und seine Bedeutung für die Bereitstellung in verschiedenen Umgebungen genauer an. Im Gegensatz zu gemeinsam genutzter Inferenz und dedizierten Endpunkten, bei denen Modelle innerhalb der von der Ultralytics Platform verwalteten Infrastruktur ausgeführt werden, ermöglicht der Modellexport die Bereitstellung und Ausführung von Modellen in externen Umgebungen wie Edge-Geräten, mobilen Anwendungen und kundenspezifischer Infrastruktur.

Bevor Modelle in diesen Umgebungen ausgeführt werden können, müssen sie in Formate konvertiert werden, die von der jeweiligen Laufzeitumgebung unterstützt werden. Jede Bereitstellungsumgebung hat eigene Anforderungen – von kompakten Formaten für mobile Geräte und Edge-Geräte bis hin zu leistungsstarken Formaten für cloudbasierte und GPU-basierte Systeme.

Traditionell kann dieser Prozess zeitaufwendig sein, da Skripte, Abhängigkeiten und mehrere Werkzeuge erforderlich sind. Mit der Ultralytics Platform ist der Export deutlich einfacher. Modelle lassen sich mit wenigen Klicks konvertieren und optimieren, ohne zusätzliche Einrichtung.

In diesem Artikel zeigen wir dir, was Modellexport bedeutet, welche Formate die Ultralytics Platform unterstützt und wie du das passende Format für deinen Anwendungsfall auswählst. Legen wir los!

Ein Überblick über den Export von Modellen#

Beim Export eines Modells wird ein vortrainiertes oder individuell trainiertes Modell in ein Format konvertiert, das außerhalb seines ursprünglichen Frameworks verwendet werden kann. Ultralytics YOLO-Modelle werden mit PyTorch erstellt und in ihrem nativen Format gespeichert, das sich für Training, Evaluierung und Experimente innerhalb des PyTorch-Ökosystems eignet.

Bereitstellungsumgebungen verwenden jedoch häufig andere Laufzeitumgebungen und stellen andere Hardwareanforderungen. Deshalb ist das beim Training verwendete Format nicht immer für die Bereitstellung geeignet.

So kann eine mobile Anwendung beispielsweise ein kompaktes, auf niedrigen Energieverbrauch optimiertes Format benötigen, während eine browserbasierte Anwendung ein Format braucht, das effizient in Webumgebungen ausgeführt wird.

Edge-Geräte wie Kameras und eingebettete Systeme profitieren von kompakten und schnellen Modellen, während Cloud-Systeme auf leistungsstarke Inferenz ausgelegt sind. Um diese unterschiedlichen Szenarien zu unterstützen, müssen Modelle in kompatible Formate exportiert werden.

Warum der Export von Modellen wichtiger ist denn je#

Heute werden Modelle für Computer Vision näher am Ort der Datenerfassung eingesetzt, insbesondere auf Edge-Geräten. Smartphones führen Vision-Anwendungen in Echtzeit aus, Überwachungskameras übernehmen die Überwachung direkt auf dem Gerät, und autonome Systeme sind auf sofortige Entscheidungen angewiesen.

Die Bereitstellung in diesen Umgebungen bringt jedoch eigene Herausforderungen mit sich. Edge-Geräte verfügen über begrenzte Rechenleistung, strenge Anforderungen an die Latenz sowie Einschränkungen bei Speicher und Energieverbrauch. Ein Modell, das während des Trainings mit ausreichenden Ressourcen gut funktioniert, läuft unter diesen eingeschränkten Bedingungen möglicherweise nicht effizient.

Der Export eines Modells in das passende Format kann helfen, diese Herausforderungen zu bewältigen. Durch die geeignete Konvertierung lässt sich das Modell auf Geschwindigkeit optimieren, seine Größe reduzieren und die Kompatibilität mit bestimmter Hardware herstellen.

Gleichzeitig sorgt der Export für Flexibilität. Dasselbe Modell kann durch die Konvertierung in mehrere Formate an verschiedene Bereitstellungsumgebungen und deren spezifische Anforderungen angepasst werden.

Abb. 2. Einige der in der Ultralytics Platform verfügbaren Exportformate (Quelle)

Das NCNN-Modellformat ist beispielsweise für mobile Geräte und Edge-Geräte mit geringem Ressourcenverbrauch optimiert. Das OpenVINO-Format ist dagegen auf Intel-Hardware zugeschnitten und bietet eine bessere Leistung auf Zentralprozessoren (CPUs), Grafikprozessoren (GPUs) und neuronalen Prozessoren (NPUs).

In den meisten Fällen erforderte diese Flexibilität die manuelle Konvertierung sowie den Umgang mit Abhängigkeiten und mehreren Werkzeugen, wodurch der Prozess zeitaufwendig und komplex wurde. Die Ultralytics Platform optimiert diesen Arbeitsablauf, indem sie den Modellexport zugänglicher und einfacher verwaltbar macht.

Wie die Ultralytics Platform den Modellexport vereinfacht#

Typischerweise wird der Export eines Modells als separater und komplexer Schritt in Arbeitsabläufen für Computer Vision behandelt. Die Ultralytics Platform ändert dies, indem sie den direkten Modellexport in einen einzigen Arbeitsbereich integriert, der alles vom Training bis zur Bereitstellung abdeckt.

Ein wesentlicher Vorteil ist der Export ohne Programmierung. Du musst keine Skripte schreiben, Umgebungen verwalten oder frameworkspezifische Befehle verwenden. Modelle lassen sich über eine übersichtliche Oberfläche mit wenigen Klicks exportieren.

Abb. 3. Ein Beispiel für den Export eines Modells aus der Ultralytics Platform (Quelle)

Im Hintergrund übernimmt die Plattform die aufwendigen Aufgaben. Tätigkeiten, für die normalerweise mehrere Werkzeuge und eine manuelle Einrichtung erforderlich wären, werden zu einem einzigen Prozess zusammengefasst. Du musst keine zusätzlichen Abhängigkeiten installieren und dich nicht mit Kompatibilitätsproblemen befassen. So gelangst du wesentlich einfacher von einem trainierten Modell zu einer produktionsreifen Lösung.

Von der Ultralytics Platform unterstützte Exportformate#

Die Ultralytics Platform unterstützt 17 Exportformate und macht es einfach, Modelle ohne zusätzliche Komplexität für eine Vielzahl von Bereitstellungsumgebungen vorzubereiten.

Hier findest du einen Überblick über einige häufig verwendete Exportformate:

• Plattformübergreifende Nutzung und Interoperabilität: ONNX und TorchScript werden häufig verwendet, um Modelle in verschiedenen Frameworks und Umgebungen auszuführen. ONNX dient als Brücke zwischen Ökosystemen und erleichtert die Übertragung von Modellen zwischen Werkzeugen, während TorchScript die Ausführung von PyTorch-Modellen in der Produktion ermöglicht, ohne eine Python-Laufzeitumgebung vorauszusetzen.
• Leistungsstarke Inferenz auf GPUs: TensorRT wurde für NVIDIA GPUs entwickelt und konzentriert sich auf die Optimierung von Modellen für niedrige Latenz und hohen Durchsatz. Es unterstützt Techniken wie die Reduzierung der numerischen Genauigkeit und die Verschmelzung von Schichten, um die Inferenz zu beschleunigen, und ist damit eine gute Wahl für Echtzeit- und Anwendungen im Produktionsmaßstab.
• Bereitstellung auf mobilen Geräten und Edge-Geräten: CoreML, LiteRT (TensorFlow Lite) und NCNN sind für Geräte mit begrenzter Rechenleistung und begrenztem Speicher optimiert. Diese Formate reduzieren die Modellgröße und verbessern die Effizienz, sodass Smartphones, eingebettete Systeme und Edge-Hardware flüssig arbeiten können. CoreML wird typischerweise im Apple-Ökosystem eingesetzt, während LiteRT häufig für Android verwendet wird.
• Hardwareoptimierte Ausführung: OpenVINO ist auf Intel-Hardware einschließlich CPUs, GPUs und VPUs zugeschnitten und trägt dazu bei, die Inferenzgeschwindigkeit und -effizienz auf diesen Geräten zu verbessern. Hardwarespezifische Formate wie dieses sind nützlich, wenn du die bestmögliche Leistung aus einem bestimmten System herausholen möchtest.
• Frameworkspezifische und spezialisierte Laufzeitumgebungen: Formate wie PaddlePaddle und ExecuTorch unterstützen bestimmte Ökosysteme und Bereitstellungsanforderungen, darunter die effiziente Ausführung von Modellen auf Edge-Geräten oder die Integration in bestimmte Deep-Learning-Stacks.

So exportierst du ein Modell mit der Ultralytics Platform#

Der Export eines Modells auf der Ultralytics Platform ist ein einfacher, oberflächenbasierter Prozess. Der gesamte Arbeitsablauf wird über die Oberfläche abgewickelt, ohne dass Skripte oder Befehlszeilenwerkzeuge erforderlich sind.

So exportierst du ein Modell mit der Plattform:

• Anmelden und Modell auswählen: Gehe zu deinem Projekt und öffne das trainierte Modell, das du exportieren möchtest.
• Zum Tab „Export“ wechseln: Klicke im Modelldashboard auf den Tab „Export“, um die verfügbaren Exportoptionen anzuzeigen.
• Exportformat auswählen: Wähle je nach deinen Anforderungen an die Bereitstellung ein Format wie ONNX, TensorRT oder CoreML aus.
• Exporteinstellungen konfigurieren (optional): Passe Parameter wie Bildgröße, Genauigkeit oder Stapelgröße an, um die Leistung zu optimieren.
• Exportvorgang starten: Klicke auf „Start Export“, um den Vorgang zu beginnen. Die Plattform übernimmt die Konvertierung automatisch.
• Exportiertes Modell herunterladen: Sobald der Export abgeschlossen ist, kannst du das Modell herunterladen und in deiner Bereitstellungspipeline verwenden.

Abb. 4. Ein Blick auf die Konfiguration der Exporteinstellungen in der Ultralytics Platform

Das passende Exportformat auswählen#

Wenn du die verschiedenen von der Ultralytics Platform unterstützten Exportformate erkundest, fragst du dich vielleicht, welches du auswählen solltest. Die Antwort hängt davon ab, wo und wie du dein Modell einsetzen möchtest.

Hier sind einige Faktoren, die du berücksichtigen solltest:

• Latenzanforderungen: Für Echtzeitanwendungen wie Videoanalyse oder autonome Systeme ist eine niedrige Latenz entscheidend. Für solche Anwendungen eignen sich häufig Formate, die für leistungsstarke Inferenz optimiert sind, wie TensorRT.
• Hardwarebeschränkungen: Geräte mit begrenztem Speicher und begrenzter Rechenleistung, etwa Mobiltelefone oder eingebettete Systeme, benötigen kompakte Formate wie LiteRT oder NCNN.
• Modellgröße und Energieverbrauch: Bei der Arbeit mit Edge-Geräten werden Modellgröße und Energieverbrauch wichtig. Kleinere, optimierte Modelle tragen dazu bei, eine gleichbleibende Leistung sicherzustellen, ohne Ressourcen übermäßig zu beanspruchen.
• Bereitstellungsumgebung: Wenn dein Modell auf verschiedenen Plattformen ausgeführt werden muss, bieten Formate wie ONNX Flexibilität. Für plattformspezifische Anwendungsfälle wie iOS-Apps ist CoreML häufig die bessere Wahl.

Es gibt kein Format, das für alle Anwendungsfälle gleichermaßen geeignet ist. Letztlich geht es darum, Leistung, Kompatibilität und die Einschränkungen deiner Zielumgebung miteinander abzuwägen. Die Ultralytics Platform erleichtert dies, indem du verschiedene Formate ohne zusätzlichen Aufwand ausprobieren und vergleichen kannst.

Die wichtigsten Erkenntnisse#

Der Export ist ein wichtiger Schritt, um dein Modell für den praktischen Einsatz in verschiedenen Umgebungen vorzubereiten. Mit der Ultralytics Platform wird dieser Prozess wesentlich einfacher, da du Modelle ohne zusätzliche Einrichtung oder Komplexität konvertieren und optimieren kannst. Wenn du das passende Format für deinen Anwendungsfall auswählst, stellst du sicher, dass dein Modell überall dort effizient läuft, wo du es einsetzt.

Werde Teil unserer wachsenden Community und sieh dir unser GitHub-Repository an, um mehr über Computer Vision zu erfahren. Entdecke unsere Lösungsseiten und erfahre mehr über Anwendungen wie KI in der Robotik und Computer Vision in der Logistik. Informiere dich über unsere Lizenzoptionen und beginne mit der Entwicklung visueller KI!