Stelle Ultralytics YOLO-Modelle mittels der ExecuTorch-Integration bereit

Bestimmte Anwendungen der Computer Vision, wie etwa automatisierte Qualitätsprüfungen, autonome Drohnen oder intelligente Sicherheitssysteme, funktionieren am besten, wenn Ultralytics YOLO Modelle, wie Ultralytics YOLO11, in der Nähe des Sensors ausgeführt werden, der die Bilder erfasst. Mit anderen Worten: Diese Modelle müssen Daten direkt dort verarbeiten, wo sie generiert werden – auf Kameras, Drohnen oder eingebetteten Systemen –, anstatt sie an die Cloud zu senden.

Dieser Ansatz, bekannt als Edge AI, ermöglicht es Modellen, Inferenzen direkt auf dem Gerät durchzuführen, auf dem die Daten erfasst werden. Durch die lokale Verarbeitung von Informationen, anstatt sich auf Remote-Server zu verlassen, können Systeme eine geringere Latenz, einen verbesserten Datenschutz und eine höhere Zuverlässigkeit erreichen, selbst in Umgebungen mit begrenzter oder gar keiner Internetverbindung.

Beispielsweise kann eine Fertigungskamera, die minütlich Tausende von Produkten prüft, oder eine Drohne, die durch komplexe Umgebungen navigiert, sich die Verzögerungen durch Cloud-Verarbeitung nicht leisten. Die Ausführung von YOLO11 direkt auf dem Gerät ermöglicht eine sofortige Inferenz direkt auf dem Gerät.

Um die Ausführung von Ultralytics YOLO Modellen am Edge einfacher und effizienter zu gestalten, bietet die neue, von Ultralytics unterstützte ExecuTorch-Integration einen optimierten Weg, um Modelle direkt auf mobile und eingebettete Geräte zu exportieren und dort bereitzustellen. ExecuTorch ist Teil des PyTorch Edge Ökosystems und bietet eine End-to-End-Lösung für die Ausführung von KI-Modellen direkt auf mobiler und Edge-Hardware, einschließlich Smartphones, Wearables, eingebetteten Boards und Mikrocontrollern.

Diese Integration erleichtert es, ein Ultralytics YOLO Modell, wie etwa YOLO11, vom Training bis zur Bereitstellung auf Edge-Geräten zu bringen. Durch die Kombination der Vision-Fähigkeiten von YOLO11 mit der leichtgewichtigen Laufzeitumgebung von ExecuTorch und der PyTorch-Export-Pipeline können Nutzer Modelle bereitstellen, die effizient auf Edge-Hardware laufen und dabei die Genauigkeit und Performance der PyTorch-basierten Inferenz beibehalten.

In diesem Artikel werden wir uns genauer ansehen, wie die ExecuTorch-Integration funktioniert, warum sie sich hervorragend für Edge AI-Anwendungen eignet und wie du mit der Bereitstellung von Ultralytics YOLO Modellen mit ExecuTorch beginnen kannst. Fangen wir an!

Link to this sectionWas ist ExecuTorch?#

Normalerweise trainierst du ein Modell in PyTorch, das dann auf leistungsstarken Servern oder Graphics Processing Units (GPUs) in der Cloud läuft. Die Bereitstellung desselben Modells auf einem mobilen oder eingebetteten Gerät wie einem Smartphone, einer Drohne oder einem Mikrocontroller erfordert jedoch eine spezialisierte Lösung, die mit begrenzter Rechenleistung, Speicher und Konnektivität umgehen kann.

Genau das bietet ExecuTorch. ExecuTorch ist eine End-to-End-Lösung, die als Teil des PyTorch Edge Ökosystems entwickelt wurde und effiziente Inferenz direkt auf dem Gerät über mobile, eingebettete und Edge-Plattformen hinweg ermöglicht. Sie erweitert die Fähigkeiten von PyTorch über die Cloud hinaus und lässt KI-Modelle direkt auf lokalen Geräten laufen.

Link to this sectionPyTorch-Inferenz auf das Edge bringen#

Im Kern bietet ExecuTorch eine leichtgewichtige C++ Laufzeitumgebung, die es ermöglicht, PyTorch Modelle direkt auf dem Gerät auszuführen. ExecuTorch verwendet das PyTorch ExecuTorch (.pte) Modellformat, einen optimierten Export, der für schnelleres Laden, geringeren Speicherbedarf und verbesserte Portabilität konzipiert wurde.

Es unterstützt XNNPACK als Standard-Backend für effiziente Inferenz auf der Central Processing Unit (CPU) und erweitert die Kompatibilität auf eine Vielzahl von Hardware-Backends, darunter CoreML, Metal, Vulkan, Qualcomm, MediaTek, Arm EthosU, OpenVINO und andere.

Diese Backends ermöglichen eine optimierte Beschleunigung auf mobilen, eingebetteten und spezialisierten Edge-Geräten. ExecuTorch integriert sich außerdem in die PyTorch Export-Pipeline und bietet Unterstützung für erweiterte Funktionen wie Quantisierung und dynamische Form-Handhabung, um die Performance und Anpassungsfähigkeit in verschiedenen Bereitstellungsumgebungen zu verbessern.

Die Quantisierung reduziert die Modellgröße und steigert die Inferenzgeschwindigkeit durch die Umwandlung von Werten mit hoher Präzision (wie 32-Bit Fließkommazahlen) in solche mit niedrigerer Präzision, während die dynamische Form-Handhabung genutzt wird, um Modelle in die Lage zu versetzen, variable Eingabegrößen effizient zu verarbeiten. Beide Funktionen sind entscheidend für die Ausführung von KI-Modellen auf ressourcenbeschränkten Edge-Geräten.

Abb. 1: Ein Blick darauf, wie ExecuTorch funktioniert (Quelle)

Link to this sectionEine vereinheitlichte Ebene für Edge-Hardware#

Über die Laufzeit hinaus fungiert ExecuTorch auch als vereinheitlichte Abstraktionsschicht für mehrere Hardware-Backends. Einfach ausgedrückt abstrahiert es hardware-spezifische Details und verwaltet, wie Modelle mit verschiedenen Verarbeitungseinheiten interagieren, einschließlich CPUs, GPUs und Neural Processing Units (NPUs).

Sobald ein Modell exportiert ist, kann ExecuTorch so konfiguriert werden, dass es auf das am besten geeignete Backend für ein bestimmtes Gerät abzielt. Entwickler können Modelle effizient auf verschiedener Hardware bereitstellen, ohne benutzerdefinierten, gerätespezifischen Code schreiben oder separate Konvertierungsworkflows pflegen zu müssen.

Aufgrund seines modularen, portablen Designs und der nahtlosen PyTorch-Integration ist ExecuTorch eine großartige Option für die Bereitstellung von Computer Vision Modellen wie Ultralytics YOLO11 auf mobilen und eingebetteten Systemen. Es überbrückt die Lücke zwischen Modelltraining und praktischem Einsatz, wodurch Edge AI schneller, effizienter und einfacher umzusetzen ist.

Link to this sectionHauptfunktionen von ExecuTorch#

Bevor wir uns ansehen, wie man Ultralytics YOLO Modelle in das ExecuTorch-Format exportiert, lass uns erkunden, was ExecuTorch zu einer zuverlässigen Option für die Bereitstellung von KI am Edge macht.

Hier ist ein Einblick in einige seiner Hauptfunktionen:

• Unterstützung für Quantisierung: ExecuTorch unterstützt die Modellquantisierung, eine Technik, die Werte mit hoher Präzision in solche mit niedrigerer Präzision umwandelt, um die Modellgröße zu reduzieren und die Inferenz zu beschleunigen. Dies hilft Modellen, schneller zu laufen und weniger Speicher auf Edge-Geräten zu verbrauchen, während nahezu das gleiche Genauigkeitsniveau beibehalten wird.
• Effiziente Speichernutzung: Einer der größten Vorteile von ExecuTorch ist der Umgang mit Speicher. Anstatt sich auf dynamische Speicherzuweisung zu verlassen, die Latenz und Energieaufwand verursachen kann, verwendet ExecuTorch eine Ahead-of-Time (AOT) Speicherplanung. Während des Exports analysiert es den Modellgraphen und berechnet vorab, wie viel Speicher für jede Operation benötigt wird. Dies ermöglicht es der Laufzeit, Modelle unter Verwendung eines statischen Speicherplans auszuführen, was eine vorhersehbare Performance gewährleistet und Verlangsamungen oder Abstürze auf Geräten mit begrenztem RAM oder geringer Rechenkapazität verhindert.
• Integrierte Modell-Metadaten: Beim Export über die von Ultralytics unterstützte Integration enthält jedes Modell eine YAML-Datei mit wichtigen Metadaten wie Eingabebildgröße, Klassennamen und Konfigurationsparametern. Diese zusätzliche Datei vereinfacht die Modellintegration in verschiedene Anwendungen und stellt ein konsistentes Verhalten über verschiedene Edge-Plattformen hinweg sicher.

Link to this sectionWie man Ultralytics YOLO Modelle in das ExecuTorch-Format exportiert#

Nachdem wir nun ein besseres Verständnis davon haben, was ExecuTorch bietet, gehen wir durch, wie man Ultralytics YOLO Modelle in das ExecuTorch-Format exportiert.

Link to this sectionSchritt 1: Installiere das Ultralytics Python-Paket#

Um zu beginnen, musst du das Ultralytics Python-Paket mithilfe von pip installieren, einem Paket-Installer. Du kannst dies tun, indem du "pip install ultralytics" in deinem Terminal oder deiner Eingabeaufforderung ausführst.

Wenn du in einer Jupyter Notebook- oder Google Colab-Umgebung arbeitest, füge einfach ein Ausrufezeichen vor dem Befehl hinzu, wie "!pip install ultralytics". Sobald es installiert ist, stellt das Ultralytics-Paket alle Werkzeuge bereit, die du zum Trainieren, Testen und Exportieren von Computer Vision Modellen benötigst, einschließlich Ultralytics YOLO11.

Wenn du während der Installation oder beim Exportieren deines Modells auf Probleme stößt, findest du in der offiziellen Ultralytics-Dokumentation und im Common Issues Leitfaden detaillierte Schritte zur Fehlerbehebung und Best Practices, die dir helfen, reibungslos zu starten.

Link to this sectionSchritt 2: Exportieren von Ultralytics YOLO11#

Nach der Installation des Ultralytics-Pakets kannst du eine Variante des YOLO11-Modells laden und sie in das ExecuTorch-Format exportieren. Du kannst zum Beispiel ein vortrainiertes Modell wie "yolo11n.pt" verwenden und es exportieren, indem du die Exportfunktion mit dem auf "executorch" gesetzten Format aufrufst.

Dies erstellt ein Verzeichnis namens "yolo11n_executorch_model", das die optimierte Modelldatei (.pte) sowie eine separate Metadaten-YAML-Datei mit wichtigen Details wie Bildgröße und Klassennamen enthält.

Hier ist der Code, um dein Modell zu exportieren:

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="executorch")

Link to this sectionSchritt 3: Ausführen von Inferenzen nach dem Exportieren des Modells#

Nach dem Export ist das Modell bereit, mittels der ExecuTorch-Laufzeit auf Edge- und Mobilgeräten bereitgestellt zu werden. Die exportierte .pte-Modelldatei kann in deine Anwendung geladen werden, um eine Inferenz in Echtzeit direkt auf dem Gerät auszuführen, ohne eine Cloud-Verbindung zu benötigen.

Der Code-Ausschnitt unten zeigt zum Beispiel, wie du das exportierte Modell lädst und die Inferenz ausführst. Inferenz bedeutet einfach, ein trainiertes Modell zu verwenden, um Vorhersagen für neue Daten zu treffen. Hier wird das Modell an einem Bild eines Busses getestet, das von einer öffentlichen URL stammt.

executorch_model = YOLO("yolo11n_executorch_model")
results = executorch_model.predict("https://ultralytics.com/images/bus.jpg", save=True)

Nach dem Ausführen des Codes findest du das Ausgabebild mit den erkannten Objekten im Ordner "runs/detect/predict".

Abb. 2: Erkennen von Objekten mit einem exportierten YOLO11 Modell im ExecuTorch-Format.

Link to this sectionVorteile der Verwendung der ExecuTorch-Integration#

Während du die verschiedenen von Ultralytics unterstützten Exportoptionen erkundest, fragst du dich vielleicht, was die ExecuTorch-Integration so einzigartig macht. Der entscheidende Unterschied liegt darin, wie gut sie Leistung, Einfachheit und Flexibilität kombiniert, was es leicht macht, leistungsstarke KI-Modelle direkt auf mobilen und Edge-Geräten bereitzustellen.

Hier ist ein Blick auf einige der Hauptvorteile der Verwendung der ExecuTorch-Integration:

• Flexible Bereitstellungsoptionen: ExecuTorch-Modelle können auf mobilen Anwendungen, eingebetteten Systemen, IoT-Geräten (Internet of Things) und spezialisierter Edge AI-Hardware bereitgestellt werden. Diese Flexibilität ermöglicht es Entwicklern, skalierbare KI-Lösungen zu bauen, die konsistent über verschiedene Plattformen und Umgebungen hinweg performen.
• Benchmark-bewährte Leistung: Tests auf Geräten wie dem Raspberry Pi 5 zeigen, dass YOLO11-Modelle, die in das ExecuTorch-Format exportiert wurden, etwa 2x schneller laufen als ihre PyTorch-Pendants, bei nahezu identischer Genauigkeit.
• Flexible Integrations-APIs: ExecuTorch bietet C++, Kotlin und Objective-C APIs für iOS, Android und eingebettetes Linux, was es Entwicklern ermöglicht, YOLO Modelle direkt in native Apps zu integrieren.
• Unterstützung für Hardwarebeschleunigung: ExecuTorch unterstützt mehrere Hardware-Beschleunigungs-Backends, einschließlich Vulkan und Metal für mobile GPUs, mit optionaler Integration für OpenCL und andere herstellerspezifische APIs. Es kann auch dedizierte Beschleuniger wie NPUs und DSPs nutzen, um erhebliche Geschwindigkeitsvorteile gegenüber einer reinen CPU-Inferenz zu erzielen.

Link to this sectionPraktische Anwendungen von YOLO11 und dem ExecuTorch-Export#

Kürzlich wurde Ultralytics als PyTorch ExecuTorch Success Story anerkannt, was unsere frühe Unterstützung für Inferenz auf Geräten und unsere fortlaufenden Beiträge zum PyTorch-Ökosystem unterstreicht. Diese Anerkennung spiegelt das gemeinsame Ziel wider, hochleistungsfähige KI auf mobilen und Edge-Plattformen zugänglicher zu machen.

Link to this sectionVon der Cloud zum Edge: Wie ExecuTorch und YOLO11 Vision AI zum Leben erwecken#

In der Praxis bedeutet dies reale Vision AI-Lösungen, die effizient auf allem laufen, von Smartphones bis hin zu eingebetteten Systemen. In der Fertigung spielen Edge-Geräte beispielsweise eine entscheidende Rolle bei der Überwachung von Produktionslinien und der Echtzeit-Erkennung von Defekten.

Abb. 3: Ein Beispiel für die Verwendung von YOLO11 zur Analyse einer Fertigungslinie. (Quelle)

Anstatt Bilder oder Sensordaten zur Verarbeitung in die Cloud zu senden, was Verzögerungen verursachen kann und von der Internetverbindung abhängt, ermöglicht die ExecuTorch-Integration YOLO11-Modellen, direkt auf lokaler Hardware zu laufen. Das bedeutet, dass Fabriken Qualitätsprobleme sofort erkennen, Ausfallzeiten reduzieren und den Datenschutz wahren können, während sie gleichzeitig mit begrenzten Rechenressourcen arbeiten.

Hier sind ein paar weitere Beispiele, wie die ExecuTorch-Integration und Ultralytics YOLO Modelle angewendet werden können:

• Smart Cities: Durch die lokale Ausführung von YOLO11-Modellen mit ExecuTorch können Städte schnellere, datengesteuerte Entscheidungen treffen – von der Erkennung von Verkehrsstaus bis zur Identifizierung von Gefahren, was die allgemeine Mobilität und Sicherheit verbessert.
• Einzelhandel und Lagerhaltung: Mit Inferenz auf dem Gerät können Einzelhändler die Regalüberwachung automatisieren, Bestände nachverfolgen und Pakete schnell und sicher prüfen, ohne auf Cloud-Verbindungen angewiesen zu sein.
• Robotik und Drohnen: Edge-optimierte YOLO11-Modelle ermöglichen es Robotern und Drohnen, Objekte zu erkennen, in Umgebungen zu navigieren und Echtzeit-Entscheidungen selbst ohne Internetzugang zu treffen.

Abb. 4: Erkennen und Zählen von Autos im Verkehr mit YOLO11 (Quelle)

Link to this sectionWichtige Erkenntnisse#

Das Exportieren von Ultralytics YOLO Modellen in das ExecuTorch-Format macht es einfach, Computer Vision Modelle auf vielen Geräten bereitzustellen, einschließlich Smartphones, Tablets und eingebetteten Systemen wie dem Raspberry Pi. Dies bedeutet, dass es möglich ist, eine optimierte Inferenz direkt auf dem Gerät auszuführen, ohne sich auf eine Cloud-Verbindung zu verlassen, was Geschwindigkeit, Datenschutz und Zuverlässigkeit verbessert.

Neben ExecuTorch unterstützt Ultralytics eine breite Palette an Integrationen, darunter TensorRT, OpenVINO, CoreML und mehr, was Entwicklern die Flexibilität gibt, ihre Modelle plattformübergreifend auszuführen. Mit zunehmender Akzeptanz von Vision AI vereinfachen diese Integrationen die Bereitstellung intelligenter Systeme, die darauf ausgelegt sind, effizient unter realen Bedingungen zu arbeiten.

Neugierig auf KI? Sieh dir unser GitHub-Repository an, tritt unserer Community bei und erkunde unsere Lizenzoptionen, um dein Vision AI-Projekt zu starten. Erfahre mehr über Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik, indem du unsere Lösungsseiten besuchst.