Stelle Ultralytics YOLO-Modelle mittels der ExecuTorch-Integration bereit

Bestimmte computer vision-Anwendungen wie automatisierte Qualitätsprüfung, autonome Drohnen oder intelligente Sicherheitssysteme erzielen die besten Ergebnisse, wenn Ultralytics YOLO-Modelle wie Ultralytics YOLO11 direkt in der Nähe des Bildsensors ausgeführt werden. Mit anderen Worten: Diese Modelle müssen Daten direkt dort verarbeiten, wo sie generiert werden – auf Kameras, Drohnen oder eingebetteten Systemen –, anstatt sie an die Cloud zu senden.

Dieser Ansatz, bekannt als edge AI, ermöglicht es Modellen, Inferenz direkt auf dem Gerät auszuführen, auf dem die Daten erfasst werden. Durch die lokale Verarbeitung von Informationen anstelle der Nutzung von Remoteservern erreichen Systeme eine geringere Latenz, verbesserten Datenschutz und eine höhere Zuverlässigkeit, selbst in Umgebungen mit eingeschränkter oder fehlender Internetverbindung.

Beispielsweise kann sich eine Fertigungskamera, die Tausende von Produkten pro Minute inspiziert, oder eine Drohne, die durch komplexe Umgebungen navigiert, die Verzögerungen durch die Cloud-Verarbeitung nicht leisten. Die direkte Ausführung von Ultralytics YOLO11 auf dem Gerät ermöglicht eine sofortige On-Device-Inferenz.

Um die Ausführung von Ultralytics YOLO-Modellen am Edge einfacher und effizienter zu gestalten, bietet die von Ultralytics unterstützte neue ExecuTorch integration einen optimierten Weg zum Exportieren und Bereitstellen von Modellen direkt auf Mobil- und Embedded-Geräten. ExecuTorch ist Teil des PyTorch Edge-Ökosystems und bietet eine End-to-End-Lösung zur Ausführung von KI-Modellen direkt auf Mobil- und Edge-Hardware, einschließlich Smartphones, Wearables, Embedded-Boards und Mikrocontrollern.

Diese Integration erleichtert es, ein Ultralytics YOLO Modell, wie etwa YOLO11, vom Training bis zur Bereitstellung auf Edge-Geräten zu bringen. Durch die Kombination der Vision-Fähigkeiten von YOLO11 mit der leichtgewichtigen Laufzeitumgebung von ExecuTorch und der PyTorch-Export-Pipeline können Nutzer Modelle bereitstellen, die effizient auf Edge-Hardware laufen und dabei die Genauigkeit und Performance der PyTorch-basierten Inferenz beibehalten.

In diesem Artikel werden wir uns genauer ansehen, wie die ExecuTorch-Integration funktioniert, warum sie sich hervorragend für Edge AI-Anwendungen eignet und wie du mit der Bereitstellung von Ultralytics YOLO Modellen mit ExecuTorch beginnen kannst. Fangen wir an!

Was ist ExecuTorch?#

Normalerweise trainierst du ein Modell in PyTorch, das dann auf leistungsstarken Servern oder Graphics Processing Units (GPUs) in der Cloud läuft. Die Bereitstellung desselben Modells auf einem mobilen oder eingebetteten Gerät wie einem Smartphone, einer Drohne oder einem Mikrocontroller erfordert jedoch eine spezialisierte Lösung, die mit begrenzter Rechenleistung, Speicher und Konnektivität umgehen kann.

Genau das bietet ExecuTorch. ExecuTorch ist eine End-to-End-Lösung, die als Teil des PyTorch Edge Ökosystems entwickelt wurde und effiziente Inferenz direkt auf dem Gerät über mobile, eingebettete und Edge-Plattformen hinweg ermöglicht. Sie erweitert die Fähigkeiten von PyTorch über die Cloud hinaus und lässt KI-Modelle direkt auf lokalen Geräten laufen.

PyTorch-Inferenz auf das Edge bringen#

Im Kern bietet ExecuTorch eine leichtgewichtige C++ Laufzeitumgebung, die es ermöglicht, PyTorch Modelle direkt auf dem Gerät auszuführen. ExecuTorch verwendet das PyTorch ExecuTorch (.pte) Modellformat, einen optimierten Export, der für schnelleres Laden, geringeren Speicherbedarf und verbesserte Portabilität konzipiert wurde.

Es unterstützt XNNPACK als Standard-Backend für effiziente Inferenz auf der Central Processing Unit (CPU) und erweitert die Kompatibilität auf eine Vielzahl von Hardware-Backends, darunter CoreML, Metal, Vulkan, Qualcomm, MediaTek, Arm EthosU, OpenVINO und andere.

Diese Backends ermöglichen eine optimierte Beschleunigung auf Mobil-, Embedded- und spezialisierten Edge-Geräten. ExecuTorch lässt sich zudem in die PyTorch-Exportpipeline integrieren und bietet Unterstützung für fortgeschrittene Funktionen wie quantization und die Handhabung dynamischer Formen, um die Leistung und Anpassungsfähigkeit in verschiedenen Bereitstellungsumgebungen zu verbessern.

Die Quantisierung reduziert die Modellgröße und steigert die Inferenzgeschwindigkeit durch die Umwandlung von Werten mit hoher Präzision (wie 32-Bit Fließkommazahlen) in solche mit niedrigerer Präzision, während die dynamische Form-Handhabung genutzt wird, um Modelle in die Lage zu versetzen, variable Eingabegrößen effizient zu verarbeiten. Beide Funktionen sind entscheidend für die Ausführung von KI-Modellen auf ressourcenbeschränkten Edge-Geräten.

Abb. 1: Ein Blick auf die Funktionsweise von ExecuTorch (Source)

Eine vereinheitlichte Ebene für Edge-Hardware#

Über die Laufzeit hinaus fungiert ExecuTorch auch als vereinheitlichte Abstraktionsschicht für mehrere Hardware-Backends. Einfach ausgedrückt abstrahiert es hardware-spezifische Details und verwaltet, wie Modelle mit verschiedenen Verarbeitungseinheiten interagieren, einschließlich CPUs, GPUs und Neural Processing Units (NPUs).

Sobald ein Modell exportiert ist, kann ExecuTorch so konfiguriert werden, dass es auf das am besten geeignete Backend für ein bestimmtes Gerät abzielt. Entwickler können Modelle effizient auf verschiedener Hardware bereitstellen, ohne benutzerdefinierten, gerätespezifischen Code schreiben oder separate Konvertierungsworkflows pflegen zu müssen.

Aufgrund seines modularen, portablen Designs und der nahtlosen PyTorch-Integration ist ExecuTorch eine großartige Option für die Bereitstellung von Computer Vision Modellen wie Ultralytics YOLO11 auf mobilen und eingebetteten Systemen. Es überbrückt die Lücke zwischen Modelltraining und praktischem Einsatz, wodurch Edge AI schneller, effizienter und einfacher umzusetzen ist.

Hauptfunktionen von ExecuTorch#

Bevor wir uns ansehen, wie man Ultralytics YOLO Modelle in das ExecuTorch-Format exportiert, lass uns erkunden, was ExecuTorch zu einer zuverlässigen Option für die Bereitstellung von KI am Edge macht.

Hier ist ein Einblick in einige seiner Hauptfunktionen:

• Unterstützung für Quantisierung: ExecuTorch unterstützt die Modellquantisierung, eine Technik, die Werte mit hoher Präzision in solche mit niedrigerer Präzision umwandelt, um die Modellgröße zu reduzieren und die Inferenz zu beschleunigen. Dies hilft Modellen, schneller zu laufen und weniger Speicher auf Edge-Geräten zu verbrauchen, während nahezu das gleiche Genauigkeitsniveau beibehalten wird.
• Effiziente Speichernutzung: Einer der größten Vorteile von ExecuTorch ist der Umgang mit Speicher. Anstatt sich auf dynamische Speicherzuweisung zu verlassen, die Latenz und Energieaufwand verursachen kann, verwendet ExecuTorch eine Ahead-of-Time (AOT) Speicherplanung. Während des Exports analysiert es den Modellgraphen und berechnet vorab, wie viel Speicher für jede Operation benötigt wird. Dies ermöglicht es der Laufzeit, Modelle unter Verwendung eines statischen Speicherplans auszuführen, was eine vorhersehbare Performance gewährleistet und Verlangsamungen oder Abstürze auf Geräten mit begrenztem RAM oder geringer Rechenkapazität verhindert.
• Integrierte Modell-Metadaten: Beim Export über die von Ultralytics unterstützte Integration enthält jedes Modell eine YAML-Datei mit wichtigen Metadaten wie Eingabebildgröße, Klassennamen und Konfigurationsparametern. Diese zusätzliche Datei vereinfacht die Modellintegration in verschiedene Anwendungen und stellt ein konsistentes Verhalten über verschiedene Edge-Plattformen hinweg sicher.

Wie man Ultralytics YOLO Modelle in das ExecuTorch-Format exportiert#

Nachdem wir nun ein besseres Verständnis davon haben, was ExecuTorch bietet, gehen wir durch, wie man Ultralytics YOLO Modelle in das ExecuTorch-Format exportiert.

Schritt 1: Installiere das Ultralytics Python-Paket#

Um zu beginnen, musst du das Ultralytics Python package mit pip, einem Paketinstaller, installieren. Du kannst dies tun, indem du „pip install ultralytics“ in deinem Terminal oder deiner Eingabeaufforderung ausführst.

Wenn du in einer Jupyter Notebook- oder Google Colab-Umgebung arbeitest, füge einfach ein Ausrufezeichen vor dem Befehl hinzu, wie "!pip install ultralytics". Sobald es installiert ist, stellt das Ultralytics-Paket alle Werkzeuge bereit, die du zum Trainieren, Testen und Exportieren von Computer Vision Modellen benötigst, einschließlich Ultralytics YOLO11.

Wenn du während der Installation oder beim Exportieren deines Modells auf Probleme stößt, bieten die offizielle Ultralytics-Dokumentation und der Common Issues guide detaillierte Schritte zur Fehlerbehebung und bewährte Methoden, um dir einen reibungslosen Start zu ermöglichen.

Schritt 2: Exportieren von Ultralytics YOLO11#

Nach der Installation des Ultralytics-Pakets kannst du eine Variante des YOLO11-Modells laden und sie in das ExecuTorch-Format export. Zum Beispiel kannst du ein vortrainiertes Modell wie „yolo11n.pt“ verwenden und es exportieren, indem du die Exportfunktion aufrufst und das Format auf „executorch“ einstellst.

Dies erstellt ein Verzeichnis namens "yolo11n_executorch_model", das die optimierte Modelldatei (.pte) sowie eine separate Metadaten-YAML-Datei mit wichtigen Details wie Bildgröße und Klassennamen enthält.

Hier ist der Code, um dein Modell zu exportieren:

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="executorch")

Schritt 3: Ausführen von Inferenzen nach dem Exportieren des Modells#

Nach dem Export ist das Modell bereit, mittels der ExecuTorch-Laufzeit auf Edge- und Mobilgeräten bereitgestellt zu werden. Die exportierte .pte-Modelldatei kann in deine Anwendung geladen werden, um eine Inferenz in Echtzeit direkt auf dem Gerät auszuführen, ohne eine Cloud-Verbindung zu benötigen.

Der Code-Ausschnitt unten zeigt zum Beispiel, wie du das exportierte Modell lädst und die Inferenz ausführst. Inferenz bedeutet einfach, ein trainiertes Modell zu verwenden, um Vorhersagen für neue Daten zu treffen. Hier wird das Modell an einem Bild eines Busses getestet, das von einer öffentlichen URL stammt.

executorch_model = YOLO("yolo11n_executorch_model")
results = executorch_model.predict("https://ultralytics.com/images/bus.jpg", save=True)

Nach dem Ausführen des Codes findest du das Ausgabebild mit den erkannten Objekten im Ordner "runs/detect/predict".

Abb. 2. Objekterkennung mit einem exportierten Ultralytics YOLO11-Modell im ExecuTorch-Format.

Vorteile der Verwendung der ExecuTorch-Integration#

Während du die verschiedenen von Ultralytics unterstützten Exportoptionen erkundest, fragst du dich vielleicht, was die ExecuTorch-Integration so einzigartig macht. Der entscheidende Unterschied liegt darin, wie gut sie Leistung, Einfachheit und Flexibilität kombiniert, was es leicht macht, leistungsstarke KI-Modelle direkt auf mobilen und Edge-Geräten bereitzustellen.

Hier ist ein Blick auf einige der Hauptvorteile der Verwendung der ExecuTorch-Integration:

• Flexible Bereitstellungsoptionen: ExecuTorch-Modelle können auf mobilen Anwendungen, eingebetteten Systemen, IoT-Geräten (Internet of Things) und spezialisierter Edge AI-Hardware bereitgestellt werden. Diese Flexibilität ermöglicht es Entwicklern, skalierbare KI-Lösungen zu bauen, die konsistent über verschiedene Plattformen und Umgebungen hinweg performen.
• Durch Benchmarks belegte Leistung: Tests auf Geräten wie dem Raspberry Pi 5 zeigen, dass im ExecuTorch-Format exportierte Ultralytics YOLO11-Modelle etwa doppelt so schnell laufen wie ihre PyTorch-Gendants, bei nahezu identischer Genauigkeit.
• Flexible Integrations-APIs: ExecuTorch bietet C++, Kotlin und Objective-C APIs für iOS, Android und eingebettetes Linux, was es Entwicklern ermöglicht, YOLO Modelle direkt in native Apps zu integrieren.
• Unterstützung für Hardwarebeschleunigung: ExecuTorch unterstützt mehrere Hardware-Beschleunigungs-Backends, einschließlich Vulkan und Metal für mobile GPUs, mit optionaler Integration für OpenCL und andere herstellerspezifische APIs. Es kann auch dedizierte Beschleuniger wie NPUs und DSPs nutzen, um erhebliche Geschwindigkeitsvorteile gegenüber einer reinen CPU-Inferenz zu erzielen.

Praxisnahe Anwendungen von Ultralytics YOLO11 und dem ExecuTorch-Export#

Kürzlich wurde Ultralytics als PyTorch ExecuTorch success story ausgezeichnet, was unsere frühe Unterstützung für On-Device-Inferenz und unsere laufenden Beiträge zum PyTorch-Ökosystem hervorhebt. Diese Anerkennung spiegelt das gemeinsame Ziel wider, leistungsstarke KI auf Mobil- und Edge-Plattformen zugänglicher zu machen.

Von der Cloud zum Edge: Wie ExecuTorch und Ultralytics YOLO11 Vision-KI zum Leben erwecken#

In der Praxis bedeutet dies reale Vision AI-Lösungen, die effizient auf allem laufen, von Smartphones bis hin zu eingebetteten Systemen. In der Fertigung spielen Edge-Geräte beispielsweise eine entscheidende Rolle bei der Überwachung von Produktionslinien und der Echtzeit-Erkennung von Defekten.

Abb. 3. Ein Beispiel für die Verwendung von Ultralytics YOLO11 zur Analyse einer Fertigungsstraße. (Quelle)

Anstatt Bilder oder Sensordaten zur Verarbeitung an die Cloud zu senden, was Verzögerungen verursachen und von der Internetverbindung abhängen kann, ermöglicht die ExecuTorch-Integration, dass Ultralytics YOLO11-Modelle direkt auf lokaler Hardware ausgeführt werden. Dies bedeutet, dass Fabriken Qualitätsprobleme sofort erkennen, Ausfallzeiten reduzieren und die Datenschutzbestimmungen einhalten können, und das alles bei begrenzten Rechenressourcen.

Hier sind ein paar weitere Beispiele, wie die ExecuTorch-Integration und Ultralytics YOLO Modelle angewendet werden können:

• Smart Cities: Durch die lokale Ausführung von Ultralytics YOLO11-Modellen mit ExecuTorch können Städte schnellere, datengestützte Entscheidungen treffen, von der Erkennung von Staus bis hin zur Identifizierung von Gefahren, was die Mobilität und Sicherheit insgesamt verbessert.
• Einzelhandel und Lagerhaltung: Mit Inferenz auf dem Gerät können Einzelhändler die Regalüberwachung automatisieren, Bestände nachverfolgen und Pakete schnell und sicher prüfen, ohne auf Cloud-Verbindungen angewiesen zu sein.
• Robotik und Drohnen: Edge-optimierte Ultralytics YOLO11-Modelle ermöglichen es Robotern und Drohnen, Objekte zu erkennen, in ihrer Umgebung zu navigieren und auch ohne Internetzugang Echtzeitentscheidungen zu treffen.

Abb. 4: Erkennen und Zählen von Autos im Straßenverkehr mit YOLO11 (Source)

Wichtige Erkenntnisse#

Das Exportieren von Ultralytics YOLO Modellen in das ExecuTorch-Format macht es einfach, Computer Vision Modelle auf vielen Geräten bereitzustellen, einschließlich Smartphones, Tablets und eingebetteten Systemen wie dem Raspberry Pi. Dies bedeutet, dass es möglich ist, eine optimierte Inferenz direkt auf dem Gerät auszuführen, ohne sich auf eine Cloud-Verbindung zu verlassen, was Geschwindigkeit, Datenschutz und Zuverlässigkeit verbessert.

Neben ExecuTorch unterstützt Ultralytics eine breite Palette an Integrationen, darunter TensorRT, OpenVINO, CoreML und mehr, was Entwicklern die Flexibilität gibt, ihre Modelle plattformübergreifend auszuführen. Mit zunehmender Akzeptanz von Vision AI vereinfachen diese Integrationen die Bereitstellung intelligenter Systeme, die darauf ausgelegt sind, effizient unter realen Bedingungen zu arbeiten.

Neugierig auf KI? Schau dir unser GitHub repository an, tritt our community bei und entdecke unsere licensing options, um dein Vision-KI-Projekt zu starten. Erfahre mehr über Innovationen wie AI in retail und computer vision in logistics, indem du unsere Lösungsseiten besuchst.