So exportierst du Ultralytics YOLO-Modelle mit der Ultralytics Platform

Im vergangenen Monat haben wir die Ultralytics Platform eingeführt – einen einheitlichen Arbeitsbereich, der den gesamten Computer-Vision-Workflow vereinfachen soll. Er vereint wichtige Funktionen für visuelle KI in einer übersichtlichen Oberfläche: Datenverwaltung, Annotation, Modelltraining, Tests, Bereitstellung und Überwachung.

Abb. 1. Ein erster Einblick in die Ultralytics Platform (Quelle)

In diesem durchgängigen Workflow spielt die Bereitstellung eine entscheidende Rolle, wenn Modelle aus der Experimentierphase in den praktischen Einsatz überführt werden. Zuvor haben wir die verschiedenen auf der Plattform verfügbaren Bereitstellungsoptionen vorgestellt. Dazu gehören gemeinsam genutzte Inferenz über APIs, dedizierte Endpunkte für skalierbare Produktivbereitstellungen und der Export von Modellen für den Einsatz auf Edge-Geräten oder in externer Infrastruktur.

Sehen wir uns nun den Modelleport genauer an und betrachten wir, wie er die Bereitstellung in verschiedenen Umgebungen unterstützt. Anders als bei gemeinsam genutzter Inferenz und dedizierten Endpunkten, bei denen Modelle in der von der Ultralytics Platform verwalteten Infrastruktur ausgeführt werden, kannst du Modelle durch den Export in externen Umgebungen bereitstellen und ausführen, etwa auf Edge-Geräten, in mobilen Anwendungen und in eigener Infrastruktur.

Bevor Modelle in diesen Umgebungen ausgeführt werden können, müssen sie in Formate konvertiert werden, die von der jeweiligen Laufzeitumgebung unterstützt werden. Jede Bereitstellungsumgebung hat eigene Anforderungen: von schlanken Formaten für Mobilgeräte und Edge-Geräte bis hin zu leistungsstarken Formaten für Cloud- und GPU-basierte Systeme.

Bisher war dieser Vorgang oft zeitaufwendig und erforderte Skripte, Abhängigkeiten und mehrere Tools. Mit der Ultralytics Platform ist der Export deutlich einfacher. Modelle lassen sich mit wenigen Klicks konvertieren und optimieren – ganz ohne zusätzliche Einrichtung.

In diesem Artikel erklären wir, was der Modellexport bedeutet, welche Formate die Ultralytics Platform unterstützt und wie du das passende Format für deinen Anwendungsfall auswählst. Los geht’s!

Überblick über den Modellexport#

Beim Exportieren eines Modells wird ein vortrainiertes oder speziell trainiertes Modell in ein Format konvertiert, das außerhalb seines ursprünglichen Frameworks verwendet werden kann. Ultralytics YOLO-Modelle basieren auf PyTorch und werden in ihrem nativen Format gespeichert. Dieses eignet sich gut für Training, Auswertung und Experimente innerhalb des PyTorch-Ökosystems.

Bereitstellungsumgebungen verwenden jedoch oft andere Laufzeitumgebungen und stellen andere Hardwareanforderungen. Deshalb eignet sich das beim Training verwendete Format nicht immer für die Bereitstellung.

Eine mobile Anwendung benötigt beispielsweise möglicherweise ein schlankes Format, das auf geringen Energieverbrauch optimiert ist, während eine browserbasierte Anwendung ein Format braucht, das in Webumgebungen effizient ausgeführt werden kann.

Edge-Geräte wie Kameras und eingebettete Systeme profitieren von kompakten und schnellen Modellen, während Cloud-Systeme auf leistungsstarke Inferenz ausgelegt sind. Um diese unterschiedlichen Szenarien abzudecken, müssen Modelle in kompatible Formate exportiert werden.

Warum der Modellexport wichtiger denn je ist#

Heute werden Computer-Vision-Modelle immer näher am Entstehungsort der Daten eingesetzt, insbesondere auf Edge-Geräten. Smartphones führen Vision-Anwendungen in Echtzeit aus, Überwachungskameras analysieren das Geschehen direkt auf dem Gerät, und autonome Systeme sind auf sofortige Entscheidungen angewiesen.

Der Einsatz in solchen Umgebungen bringt jedoch eigene Herausforderungen mit sich. Edge-Geräte verfügen über begrenzte Rechenleistung, müssen strenge Latenzvorgaben erfüllen und unterliegen Einschränkungen bei Speicher- und Energieverbrauch. Ein Modell, das beim Training mit ausreichenden Ressourcen gut funktioniert, läuft unter diesen begrenzten Bedingungen möglicherweise nicht effizient.

Der Export eines Modells in das passende Format kann helfen, diese Herausforderungen zu bewältigen. Durch eine geeignete Konvertierung lässt sich das Modell auf Geschwindigkeit optimieren, verkleinern und mit bestimmter Hardware kompatibel machen.

Gleichzeitig sorgt der Export für Flexibilität. Dasselbe Modell kann an verschiedene Bereitstellungsumgebungen angepasst werden, indem es je nach Anforderung in mehrere Formate konvertiert wird.

Abb. 2. Einige der in der Ultralytics Platform verfügbaren Exportformate (Quelle)

Das NCNN-Modellformat ist beispielsweise auf Mobilgeräte und Edge-Geräte mit geringem Ressourcenverbrauch optimiert. Das OpenVINO-Format hingegen ist auf Intel-Hardware zugeschnitten und bietet eine höhere Leistung auf Zentralprozessoren (CPUs), Grafikprozessoren (GPUs) und neuronalen Verarbeitungseinheiten (NPUs).

In den meisten Fällen bedeutete diese Flexibilität bisher manuelle Konvertierung, den Umgang mit Abhängigkeiten und den Einsatz mehrerer Tools. Das machte den Vorgang zeitaufwendig und komplex. Die Ultralytics Platform vereinfacht diesen Workflow und macht den Modellexport zugänglicher und leichter zu verwalten.

So vereinfacht die Ultralytics Platform den Modellexport#

In Computer-Vision-Workflows gilt der Modellexport üblicherweise als separater und komplexer Schritt. Die Ultralytics Platform ändert das, indem sie den Export direkt in einen einzigen Arbeitsbereich integriert, der den gesamten Ablauf vom Training bis zur Bereitstellung abdeckt.

Ein wichtiger Vorteil ist der Export ohne Programmierung. Du musst keine Skripte schreiben, Umgebungen verwalten oder framework-spezifische Befehle verwenden. Modelle lassen sich über eine übersichtliche Oberfläche mit wenigen Klicks exportieren.

Abb. 3. Beispiel für den Export eines Modells aus der Ultralytics Platform (Quelle)

Im Hintergrund übernimmt die Plattform den Großteil der Arbeit. Aufgaben, für die normalerweise mehrere Tools und eine manuelle Einrichtung nötig wären, werden zu einem einzigen Ablauf zusammengefasst. Du musst keine zusätzlichen Abhängigkeiten installieren und dich nicht mit Kompatibilitätsproblemen auseinandersetzen. So gelangst du viel einfacher von einem trainierten Modell zu einer produktionsreifen Lösung.

Von der Ultralytics Platform unterstützte Modellexportformate#

Die Ultralytics Platform unterstützt 21 Exportformate. Damit lassen sich Modelle ganz einfach und ohne zusätzliche Komplexität für eine Vielzahl von Bereitstellungsumgebungen vorbereiten.

Hier ist ein Überblick über einige häufig verwendete Exportformate:

• Plattformübergreifende Nutzung und Interoperabilität: ONNX und TorchScript werden häufig verwendet, um Modelle in verschiedenen Frameworks und Umgebungen auszuführen. ONNX dient als Brücke zwischen Ökosystemen und erleichtert den Wechsel von Modellen zwischen Tools. TorchScript ermöglicht die Ausführung von PyTorch-Modellen in der Produktion, ohne dass eine Python-Laufzeitumgebung erforderlich ist.
• Leistungsstarke Inferenz auf GPUs: TensorRT wurde für NVIDIA-GPUs entwickelt und optimiert Modelle auf geringe Latenz und hohen Durchsatz. Es unterstützt Techniken wie die Reduzierung der Rechengenauigkeit und die Zusammenführung von Ebenen, um die Inferenz zu beschleunigen. Damit eignet es sich besonders für Echtzeitanwendungen und den Einsatz im großen Maßstab.
• Bereitstellung auf Mobilgeräten und Edge-Geräten: CoreML, LiteRT (TensorFlow Lite) und NCNN sind für Geräte mit begrenzter Rechenleistung und begrenztem Speicher optimiert. Diese Formate verkleinern Modelle und steigern deren Effizienz, sodass sie auf Smartphones, eingebetteten Systemen und Edge-Hardware reibungslos laufen. CoreML wird üblicherweise im Apple-Ökosystem eingesetzt, während LiteRT bei Android weit verbreitet ist.
• Für bestimmte Hardware optimierte Ausführung: OpenVINO ist auf Intel-Hardware zugeschnitten, darunter CPUs, GPUs und VPUs, und trägt dazu bei, die Inferenzgeschwindigkeit und Effizienz auf diesen Geräten zu steigern. Solche hardwarespezifischen Formate sind nützlich, wenn du die bestmögliche Leistung aus einem bestimmten System herausholen möchtest.
• Framework-spezifische Laufzeitumgebungen und Speziallösungen: Formate wie PaddlePaddle und ExecuTorch unterstützen bestimmte Ökosysteme und Anforderungen an die Bereitstellung. Dazu gehören die effiziente Ausführung von Modellen auf Edge-Geräten und die Integration in bestimmte Deep-Learning-Stacks.

So exportierst du ein Modell mit der Ultralytics Platform#

Der Modellexport in der Ultralytics Platform ist ein einfacher Vorgang über die Benutzeroberfläche. Der gesamte Workflow wird über die Oberfläche abgewickelt, ohne dass Skripte oder Befehlszeilentools nötig sind.

So exportierst du ein Modell mit der Plattform:

• Anmelden und Modell auswählen: Öffne dein Projekt und wähle das trainierte Modell aus, das du exportieren möchtest.
• Zum Tab „Export“ wechseln: Klicke im Modell-Dashboard auf den Tab „Export“, um die verfügbaren Exportoptionen anzuzeigen.
• Exportformat auswählen: Wähle je nach Anforderungen deiner Bereitstellung ein Format wie ONNX, TensorRT oder CoreML aus.
• Exporteinstellungen anpassen (optional): Passe Parameter wie Bildgröße, Genauigkeit oder Stapelgröße an, um die Leistung zu optimieren.
• Export starten: Klicke auf „Export starten“, um den Vorgang zu beginnen. Die Plattform übernimmt die Konvertierung automatisch.
• Exportiertes Modell herunterladen: Nach Abschluss des Exports kannst du das Modell herunterladen und in deiner Bereitstellungspipeline verwenden.

Abb. 4. Ein Blick auf die Exporteinstellungen in der Ultralytics Platform

Das richtige Exportformat auswählen#

Wenn du dir die verschiedenen Exportformate der Ultralytics Platform ansiehst, fragst du dich vielleicht, welches Format du auswählen solltest. Das hängt davon ab, wo und wie du dein Modell einsetzen möchtest.

Hier sind einige Faktoren, die du berücksichtigen solltest:

• Latenzanforderungen: Bei Echtzeitanwendungen wie Videoanalyse oder autonomen Systemen ist eine geringe Latenz entscheidend. Für hohe Inferenzleistung optimierte Formate wie TensorRT eignen sich häufig besser.
• Hardwareeinschränkungen: Geräte mit begrenztem Speicher und begrenzter Rechenleistung, etwa Mobiltelefone oder eingebettete Systeme, benötigen schlanke Formate wie LiteRT oder NCNN.
• Modellgröße und Energieverbrauch: Beim Einsatz auf Edge-Geräten sind Modellgröße und Energieverbrauch wichtige Faktoren. Kleinere, optimierte Modelle tragen zu einer konstanten Leistung bei, ohne Ressourcen unnötig zu beanspruchen.
• Bereitstellungsumgebung: Muss dein Modell auf verschiedenen Plattformen laufen, bieten Formate wie ONNX Flexibilität. Für plattformspezifische Anwendungsfälle, etwa iOS-Apps, ist CoreML oft die bessere Wahl.

Ein Format, das für alle Anwendungsfälle passt, gibt es nicht. Entscheidend ist die Abwägung zwischen Leistung, Kompatibilität und den Einschränkungen der Zielumgebung. Mit der Ultralytics Platform kannst du verschiedene Formate mühelos ausprobieren und vergleichen.

Die wichtigsten Erkenntnisse#

Der Export ist ein wichtiger Schritt, um dein Modell für den praktischen Einsatz in unterschiedlichen Umgebungen vorzubereiten. Mit der Ultralytics Platform wird dieser Vorgang deutlich einfacher: Du kannst Modelle ohne zusätzliche Einrichtung oder Komplexität konvertieren und optimieren. Wenn du das passende Format für deinen Anwendungsfall auswählst, stellst du sicher, dass dein Modell überall effizient läuft, wo du es einsetzt.

Werde Teil unserer wachsenden Community und sieh dir unser GitHub-Repository an, um mehr über Computer Vision zu erfahren. Auf unseren Lösungsseiten findest du weitere Informationen zu Anwendungsbereichen wie KI in der Robotik und Computer Vision in der Logistik. Entdecke unsere Lizenzoptionen und beginne mit der Entwicklung visueller KI!