So exportierst du Ultralytics YOLO-Modelle mit der Ultralytics Platform

Letzten Monat haben wir die Ultralytics Platform gestartet, einen einheitlichen Arbeitsbereich, der den gesamten Computer-Vision-Workflow vereinfacht. Sie vereint wichtige Vision-AI-Funktionen – darunter Datensatzverwaltung, Annotation, Modelltraining, Tests, Bereitstellung und Überwachung – in einer einzigen, optimierten Oberfläche.

Abb. 1: Ein Einblick in die Ultralytics Platform (Quelle)

Als Teil dieses durchgängigen Workflows spielt die Bereitstellung eine entscheidende Rolle, um Modelle von der Experimentierphase in die reale Anwendung zu überführen. Zuvor haben wir die verschiedenen Bereitstellungsoptionen auf der Plattform untersucht, einschließlich geteilter Inferenz über APIs, dedizierter Endpunkte für skalierbare Produktionsbereitstellungen und den Export von Modellen für den Einsatz auf Edge-Geräten oder externer Infrastruktur.

Lass uns nun den Modell-Export genauer betrachten und wie er die Bereitstellung in verschiedenen Umgebungen unterstützt. Im Gegensatz zu geteilter Inferenz und dedizierten Endpunkten, bei denen Modelle innerhalb der von der Ultralytics Platform verwalteten Infrastruktur ausgeführt werden, ermöglicht der Modell-Export die Bereitstellung und Ausführung in externen Umgebungen wie Edge-Geräten, mobilen Anwendungen und kundenspezifischer Infrastruktur.

Bevor Modelle in diesen Umgebungen ausgeführt werden können, müssen sie in Formate konvertiert werden, die von der Ziel-Runtime unterstützt werden. Jedes Bereitstellungs-Setup hat eigene Anforderungen, von leichtgewichtigen Formaten für mobile und Edge-Geräte bis hin zu leistungsstarken Formaten für Cloud- und GPU-basierte Systeme.

Traditionell kann dieser Prozess zeitaufwendig sein und erfordert Skripte, Abhängigkeiten und mehrere Tools. Mit der Ultralytics Platform ist der Export viel einfacher. Modelle können mit nur wenigen Klicks ohne zusätzliche Einrichtung konvertiert und optimiert werden.

In diesem Artikel gehen wir durch, was Modell-Export bedeutet, welche Formate von der Ultralytics Platform unterstützt werden und wie du das richtige für deinen Anwendungsfall auswählst. Fangen wir an!

Link to this sectionEin Überblick über den Modell-Export#

Beim Export eines Modells wird ein vortrainiertes oder individuell trainiertes Modell in ein Format umgewandelt, das außerhalb seines ursprünglichen Frameworks verwendbar ist. Ultralytics YOLO-Modelle werden mit PyTorch erstellt und in ihrem nativen Format gespeichert, was für Training, Evaluierung und Experimente innerhalb des PyTorch-Ökosystems gut funktioniert.

Bereitstellungsumgebungen haben jedoch oft andere Runtimes und Hardwareanforderungen. Aus diesem Grund ist das während des Trainings verwendete Format nicht immer für die Bereitstellung geeignet.

Beispielsweise erfordert eine mobile Anwendung möglicherweise ein leichtgewichtiges Format, das auf geringen Stromverbrauch optimiert ist, während eine browserbasierte App ein Format benötigt, das effizient in Webumgebungen läuft.

Edge-Geräte wie Kameras und eingebettete Systeme profitieren von kompakten und schnellen Modellen, während Cloud-Systeme auf hochleistungsfähige Inferenz ausgelegt sind. Um diese verschiedenen Szenarien zu unterstützen, müssen Modelle in kompatible Formate exportiert werden.

Link to this sectionWarum die Option zum Exportieren von Modellen wichtiger denn je ist#

Heutzutage werden Computer-Vision-Modelle näher dort bereitgestellt, wo Daten generiert werden, insbesondere auf Edge-Geräten. Smartphones führen Echtzeit-Vision-Anwendungen aus, CCTV-Kameras führen On-Device-Überwachung durch und autonome Systeme verlassen sich auf sofortige Entscheidungsfindung.

Die Bereitstellung in diesen Umgebungen bringt jedoch eigene Herausforderungen mit sich. Edge-Geräte haben begrenzte Rechenleistung, strenge Latenzanforderungen und Einschränkungen bei Speicher- und Energieverbrauch. Ein Modell, das während des Trainings bei ausreichenden Ressourcen gut funktioniert, läuft unter diesen eingeschränkten Bedingungen möglicherweise nicht effizient.

Der Export eines Modells in das richtige Format kann helfen, diese Herausforderungen zu bewältigen. Durch die entsprechende Konvertierung des Modells kann es auf Geschwindigkeit optimiert, in der Größe reduziert und mit spezifischer Hardware kompatibel gemacht werden.

Gleichzeitig bietet der Export Flexibilität. Dasselbe Modell kann an verschiedene Bereitstellungsumgebungen angepasst werden, indem es je nach spezifischen Anforderungen in mehrere Formate konvertiert wird.

Abb. 2: Einige der Exportformate, die innerhalb der Ultralytics Platform verfügbar sind (Quelle)

Zum Beispiel ist das NCNN-Modellformat für mobile Geräte und Edge-Geräte mit geringer Ressourcennutzung optimiert. Das OpenVINO-Format hingegen ist auf Intel-Hardware zugeschnitten und bietet eine bessere Leistung auf Central Processing Units (CPUs), Graphics Processing Units (GPUs) und Neural Processing Units (NPUs).

In den meisten Fällen bedeutete das Erreichen dieses Maßes an Flexibilität den Umgang mit manueller Konvertierung, Abhängigkeiten und mehreren Tools, was den Prozess zeitaufwendig und komplex machte. Die Ultralytics Platform rationalisiert diesen Workflow, indem sie den Modell-Export zugänglicher und einfacher zu verwalten macht.

Link to this sectionWie die Ultralytics Platform den Modell-Export vereinfacht#

Typischerweise wird der Export eines Modells als separater und komplexer Schritt in Computer-Vision-Workflows behandelt. Die Ultralytics Platform ändert dies, indem sie die Option zum Exportieren eines Modells direkt in einen einzigen Arbeitsbereich integriert, der alles vom Training bis zur Bereitstellung abdeckt.

Einer der Hauptvorteile ist die No-Code-Exporterfahrung. Es ist nicht erforderlich, Skripte zu schreiben, Umgebungen zu verwalten oder Framework-spezifische Befehle zu verwenden. Modelle können mit nur wenigen Klicks über eine unkomplizierte Oberfläche exportiert werden.

Abb. 3: Ein Beispiel für den Export eines Modells von der Ultralytics Platform (Quelle)

Hinter den Kulissen übernimmt die Plattform die Schwerstarbeit. Aufgaben, die normalerweise mehrere Tools und eine manuelle Einrichtung erfordern würden, werden in einem einzigen Prozess zusammengefasst. Du musst keine zusätzlichen Abhängigkeiten installieren oder dich mit Kompatibilitätsproblemen auseinandersetzen, was es deutlich einfacher macht, von einem trainierten Modell zu einer produktionsreifen Lösung zu gelangen.

Link to this sectionVon der Ultralytics Platform unterstützte Modell-Exportformate#

Die Ultralytics Platform unterstützt 17 Exportformate, was es einfach macht, Modelle für eine breite Palette von Bereitstellungsumgebungen vorzubereiten, ohne zusätzliche Komplexität.

Hier ist ein Überblick über einige der häufig verwendeten Exportformate:

• Plattformübergreifend und Interoperabilität: ONNX und TorchScript werden häufig verwendet, um Modelle über verschiedene Frameworks und Umgebungen hinweg auszuführen. ONNX fungiert als Brücke zwischen Ökosystemen und erleichtert das Verschieben von Modellen zwischen Tools, während TorchScript die Ausführung von PyTorch-Modellen in der Produktion ermöglicht, ohne eine Python-Runtime zu erfordern.
• Hochleistungs-Inferenz auf GPUs: TensorRT wurde für NVIDIA-GPUs entwickelt und konzentriert sich auf die Optimierung von Modellen für niedrige Latenz und hohen Durchsatz. Es unterstützt Techniken wie Präzisionsreduzierung und Layer-Fusion zur Beschleunigung der Inferenz, was es zu einer starken Wahl für Echtzeit- und produktionsreife Anwendungen macht.
• Mobile und Edge-Bereitstellung: CoreML, LiteRT (TensorFlow Lite) und NCNN sind für Geräte mit begrenzter Rechenleistung und Speicher optimiert. Diese Formate reduzieren die Modellgröße und verbessern die Effizienz, was eine flüssige Leistung auf Smartphones, eingebetteten Systemen und Edge-Hardware ermöglicht. CoreML wird typischerweise in Apple-Ökosystemen verwendet, während LiteRT bei Android üblich ist.
• Hardware-optimierte Ausführung: OpenVINO ist auf Intel-Hardware zugeschnitten, einschließlich CPUs, GPUs und VPUs, und hilft dabei, die Inferenzgeschwindigkeit und -effizienz auf diesen Geräten zu verbessern. Hardware-spezifische Formate wie dieses sind nützlich, wenn du die beste Leistung aus einem bestimmten System herausholen musst.
• Framework-spezifische und spezialisierte Runtimes: Formate wie PaddlePaddle und ExecuTorch unterstützen spezifische Ökosysteme und Bereitstellungsanforderungen, einschließlich der effizienten Ausführung von Modellen auf Edge-Geräten oder der Integration in bestimmte Deep-Learning-Stacks.

Link to this sectionSo exportierst du ein Modell mit der Ultralytics Platform#

Der Export eines Modells auf der Ultralytics Platform ist ein einfacher, UI-basierter Prozess. Der gesamte Workflow wird über die Oberfläche abgewickelt, ohne dass Skripte oder Befehlszeilen-Tools erforderlich sind.

So kannst du ein Modell mit der Plattform exportieren:

• Anmelden und Modell auswählen: Gehe zu deinem Projekt und öffne das trainierte Modell, das du exportieren möchtest.
• Gehe zum Export-Tab: Klicke im Modell-Dashboard auf den Export-Tab, um die verfügbaren Exportoptionen anzuzeigen.
• Wähle ein Exportformat aus: Wähle ein Format wie ONNX, TensorRT oder CoreML basierend auf deinen Bereitstellungsanforderungen.
• Konfiguriere Exporteinstellungen (optional): Passe Parameter wie Bildgröße, Präzision oder Batchgröße an, um die Leistung zu optimieren.
• Starte den Exportprozess: Klicke auf „Start Export“, um den Prozess zu beginnen. Die Plattform übernimmt die Konvertierung automatisch.
• Lade das exportierte Modell herunter: Sobald der Export abgeschlossen ist, kannst du das Modell herunterladen und in deiner Bereitstellungs-Pipeline verwenden.

Abb. 4: Ein Blick auf die Konfiguration von Exporteinstellungen in der Ultralytics Platform

Link to this sectionDas richtige Exportformat auswählen#

Wenn du die verschiedenen von der Ultralytics Platform unterstützten Exportformate erkundest, fragst du dich vielleicht, welches du wählen sollst. Die Antwort hängt wirklich davon ab, wo und wie du dein Modell einsetzen möchtest.

Hier sind einige Faktoren, die du berücksichtigen solltest:

• Latenzanforderungen: Für Echtzeitanwendungen wie Videoanalysen oder autonome Systeme ist eine niedrige Latenz entscheidend. Formate, die für Hochleistungs-Inferenz optimiert sind, wie z. B. TensorRT, sind oft besser geeignet.
• Hardwarebeschränkungen: Geräte mit begrenztem Speicher und Rechenleistung, wie Mobiltelefone oder eingebettete Systeme, erfordern leichtgewichtige Formate wie LiteRT oder NCNN.
• Modellgröße und Energieverbrauch: Bei der Arbeit mit Edge-Geräten werden Modellgröße und Energieverbrauch wichtig. Kleinere, optimierte Modelle helfen dabei, eine konsistente Leistung zu gewährleisten, ohne Ressourcen zu verschwenden.
• Bereitstellungsumgebung: Wenn dein Modell auf verschiedenen Plattformen laufen muss, bieten Formate wie ONNX Flexibilität. Für plattformspezifische Anwendungsfälle, wie iOS-Apps, ist CoreML oft die bessere Wahl.

Es gibt kein Format, das für alles passt. Es kommt wirklich auf die Balance zwischen Leistung, Kompatibilität und den Einschränkungen deiner Zielumgebung an. Die Ultralytics Platform erleichtert dies, indem du verschiedene Formate ohne zusätzlichen Aufwand ausprobieren und vergleichen kannst.

Link to this sectionWichtige Erkenntnisse#

Der Export ist ein entscheidender Schritt, um dein Modell für den realen Einsatz in verschiedenen Umgebungen vorzubereiten. Mit der Ultralytics Platform wird dieser Prozess deutlich einfacher, sodass du Modelle ohne zusätzliche Einrichtung oder Komplexität konvertieren und optimieren kannst. Indem du das richtige Format für deinen Anwendungsfall wählst, stellst du sicher, dass dein Modell effizient läuft, egal wo du es bereitstellst.

Tritt unserer wachsenden Community bei und schau dir unser GitHub-Repository an, um mehr über Computer Vision zu erfahren. Erkunde unsere Lösungsseiten, um mehr über Anwendungen wie KI in der Robotik und Computer Vision in der Logistik zu erfahren. Entdecke unsere Lizenzierungsoptionen und beginne mit der Entwicklung von Vision-AI!