Stelle Ultralytics YOLO-Modelle mit der ExecuTorch-Integration bereit

Bestimmte Computer-Vision-Anwendungen wie die automatisierte Qualitätsprüfung, autonome Drohnen oder intelligente Sicherheitssysteme funktionieren am besten, wenn Ultralytics-YOLO-Modelle wie Ultralytics YOLO11 nahe am Sensor ausgeführt werden, der die Bilder erfasst. Das bedeutet, dass diese Modelle Daten direkt dort verarbeiten müssen, wo sie entstehen – auf Kameras, Drohnen oder eingebetteten Systemen – statt sie in die Cloud zu senden.

Dieser Ansatz, bekannt als Edge-KI, ermöglicht es Modellen, Schlussfolgerungen direkt auf dem Gerät auszuführen, auf dem die Daten erfasst werden. Durch die lokale Verarbeitung von Informationen, statt auf entfernte Server angewiesen zu sein, können Systeme eine geringere Latenz, einen besseren Datenschutz und eine höhere Zuverlässigkeit erreichen – auch in Umgebungen mit eingeschränkter oder keiner Internetverbindung.

Eine Fertigungskamera, die jede Minute Tausende von Produkten prüft, oder eine Drohne, die sich in komplexen Umgebungen orientiert, kann sich die Verzögerungen der Cloud-Verarbeitung nicht leisten. Wenn Ultralytics YOLO11 direkt auf dem Gerät ausgeführt wird, sind sofortige Schlussfolgerungen auf dem Gerät möglich.

Damit sich Ultralytics-YOLO-Modelle einfacher und effizienter am Rand ausführen lassen, bietet die neue, von Ultralytics unterstützte ExecuTorch-Integration eine optimierte Möglichkeit, Modelle direkt auf Mobilgeräten und eingebetteten Geräten zu exportieren und bereitzustellen. ExecuTorch ist Teil des PyTorch-Edge-Ökosystems und bietet eine durchgängige Lösung für die direkte Ausführung von KI-Modellen auf mobilen Geräten und Edge-Hardware, darunter Smartphones, tragbare Geräte, eingebettete Platinen und Mikrocontroller.

Diese Integration erleichtert es, ein Ultralytics-YOLO-Modell wie YOLO11 vom Training bis zur Bereitstellung auf Edge-Geräten zu bringen. Durch die Kombination der Bildverarbeitungsfunktionen von YOLO11 mit der schlanken Laufzeitumgebung und der PyTorch-Exportpipeline von ExecuTorch können Nutzer Modelle bereitstellen, die effizient auf Edge-Hardware laufen und dabei die Genauigkeit und Leistung der Inferenz auf PyTorch-Basis beibehalten.

In diesem Artikel sehen wir uns genauer an, wie die ExecuTorch-Integration funktioniert, warum sie sich hervorragend für Edge-KI-Anwendungen eignet und wie du damit beginnen kannst, Ultralytics-YOLO-Modelle mit ExecuTorch bereitzustellen. Legen wir los!

Was ist ExecuTorch?#

Wenn du ein Modell in PyTorch trainierst, läuft es normalerweise auf leistungsstarken Servern oder Grafikeinheiten (GPUs) in der Cloud. Die Bereitstellung desselben Modells auf einem mobilen oder eingebetteten Gerät wie einem Smartphone, einer Drohne oder einem Mikrocontroller erfordert jedoch eine spezielle Lösung, die mit begrenzter Rechenleistung, wenig Speicher und eingeschränkter Konnektivität umgehen kann.

Genau das bietet ExecuTorch. ExecuTorch ist eine als Teil des PyTorch-Edge-Ökosystems entwickelte durchgängige Lösung, die effiziente Schlussfolgerungen auf dem Gerät über mobile, eingebettete und Edge-Plattformen hinweg ermöglicht. Die Lösung erweitert die Fähigkeiten von PyTorch über die Cloud hinaus und erlaubt es KI-Modellen, direkt auf lokalen Geräten zu laufen.

PyTorch-Schlussfolgerungen am Rand ausführen#

Im Kern bietet ExecuTorch eine schlanke C++-Laufzeitumgebung, mit der PyTorch-Modelle direkt auf dem Gerät ausgeführt werden können. ExecuTorch verwendet das PyTorch-ExecuTorch-Modellformat (.pte), ein optimiertes Exportformat, das schnelleres Laden, einen geringeren Speicherbedarf und bessere Portierbarkeit ermöglicht.

Es unterstützt XNNPACK als Standard-Backend für effiziente Schlussfolgerungen auf Zentraleinheiten (CPUs) und erweitert die Kompatibilität auf eine große Auswahl an Hardware-Backends, darunter CoreML, Metal, Vulkan, Qualcomm, MediaTek, Arm EthosU, OpenVINO und weitere.

Diese Backends ermöglichen eine optimierte Beschleunigung auf mobilen, eingebetteten und spezialisierten Edge-Geräten. ExecuTorch lässt sich außerdem in die PyTorch-Exportpipeline integrieren und unterstützt fortgeschrittene Funktionen wie Quantisierung und die Verarbeitung dynamischer Formen, um Leistung und Anpassungsfähigkeit in unterschiedlichen Bereitstellungsumgebungen zu verbessern.

Quantisierung verringert die Modellgröße und erhöht die Inferenzgeschwindigkeit, indem Werte mit hoher Genauigkeit, etwa 32-Bit-Gleitkommazahlen, in Werte mit geringerer Genauigkeit umgewandelt werden. Die Verarbeitung dynamischer Formen ermöglicht es Modellen, variable Eingabegrößen effizient zu verarbeiten. Beide Funktionen sind entscheidend für die Ausführung von KI-Modellen auf Edge-Geräten mit begrenzten Ressourcen.

Abb. 1. Ein Blick auf die Funktionsweise von ExecuTorch (Quelle)

Eine einheitliche Abstraktionsschicht für Edge-Hardware#

Über seine Laufzeitumgebung hinaus fungiert ExecuTorch auch als einheitliche Abstraktionsschicht für mehrere Hardware-Backends. Einfach gesagt abstrahiert die Lösung hardwarespezifische Details und verwaltet, wie Modelle mit verschiedenen Verarbeitungseinheiten interagieren, darunter CPUs, GPUs und neuronale Verarbeitungseinheiten (NPUs).

Nach dem Export kann ExecuTorch so konfiguriert werden, dass das für ein bestimmtes Gerät am besten geeignete Backend verwendet wird. Entwickler können Modelle effizient auf unterschiedlicher Hardware bereitstellen, ohne gerätespezifischen Code schreiben oder separate Konvertierungsprozesse pflegen zu müssen.

Dank seines modularen, portierbaren Aufbaus und der nahtlosen PyTorch-Integration ist ExecuTorch eine hervorragende Option für die Bereitstellung von Computer-Vision-Modellen wie Ultralytics YOLO11 auf mobilen und eingebetteten Systemen. Die Lösung schließt die Lücke zwischen Modelltraining und praktischer Bereitstellung und macht Edge-KI schneller, effizienter und einfacher umsetzbar.

Wichtige Funktionen von ExecuTorch#

Bevor wir uns ansehen, wie du Ultralytics-YOLO-Modelle in das ExecuTorch-Format exportierst, schauen wir uns an, was ExecuTorch zu einer zuverlässigen Option für die Bereitstellung von KI am Rand macht.

Hier ist ein Überblick über einige der wichtigsten Funktionen:

• Unterstützung für Quantisierung: ExecuTorch unterstützt die Quantisierung von Modellen, eine Technik, bei der Werte mit hoher Genauigkeit in Werte mit geringerer Genauigkeit umgewandelt werden, um die Modellgröße zu verringern und die Inferenz zu beschleunigen. Dadurch laufen Modelle auf Edge-Geräten schneller und benötigen weniger Speicher, während sie nahezu dieselbe Genauigkeit beibehalten.
• Effiziente Speichernutzung: Einer der größten Vorteile von ExecuTorch ist der Umgang mit Speicher. Statt auf eine dynamische Speicherzuweisung zu setzen, die zusätzliche Latenz und einen höheren Energieverbrauch verursachen kann, verwendet ExecuTorch eine Speicherplanung zur Übersetzungszeit (AOT). Beim Export analysiert die Lösung den Modellgraphen und berechnet im Voraus, wie viel Speicher für jede Operation benötigt wird. Dadurch kann die Laufzeitumgebung Modelle mit einem statischen Speicherplan ausführen, was eine vorhersehbare Leistung sicherstellt und Verlangsamungen oder Abstürze auf Geräten mit begrenztem Arbeitsspeicher oder eingeschränkter Rechenleistung verhindert.
• Integrierte Modellmetadaten: Beim Export mit der von Ultralytics unterstützten Integration enthält jedes Modell eine YAML-Datei mit wichtigen Metadaten wie Eingabebildgröße, Klassennamen und Konfigurationsparametern. Diese zusätzliche Datei vereinfacht die Integration von Modellen in verschiedene Anwendungen und sorgt für ein einheitliches Verhalten auf unterschiedlichen Edge-Plattformen.

Ultralytics-YOLO-Modelle in das ExecuTorch-Format exportieren#

Nachdem wir nun besser verstehen, was ExecuTorch bietet, zeigen wir dir, wie du Ultralytics-YOLO-Modelle in das ExecuTorch-Format exportierst.

Schritt 1: Das Ultralytics Python-Paket installieren#

Für den Einstieg musst du das Ultralytics-Python-Paket mit pip installieren, einem Paketinstallationsprogramm. Führe dazu „pip install ultralytics“ in deinem Terminal oder deiner Eingabeaufforderung aus.

Wenn du in einer Jupyter-Notebook- oder Google-Colab-Umgebung arbeitest, setze einfach ein Ausrufezeichen vor den Befehl, also "!pip install ultralytics". Nach der Installation stellt das Ultralytics-Paket alle Werkzeuge bereit, die du zum Trainieren, Testen und Exportieren von Computer-Vision-Modellen wie Ultralytics YOLO11 benötigst.

Falls während der Installation oder beim Export deines Modells Probleme auftreten, enthalten die offizielle Ultralytics-Dokumentation und der Leitfaden zu häufigen Problemen detaillierte Schritte zur Fehlerbehebung und bewährte Vorgehensweisen, die dir einen reibungslosen Start ermöglichen.

Schritt 2: Ultralytics YOLO11 exportieren#

Nach der Installation des Ultralytics-Pakets kannst du eine Variante des YOLO11-Modells laden und in das ExecuTorch-Format exportieren. Du kannst beispielsweise ein vortrainiertes Modell wie „yolo11n.pt“ verwenden und es exportieren, indem du die Exportfunktion mit dem Format „executorch“ aufrufst.

Dabei wird ein Verzeichnis namens „yolo11n_executorch_model“ erstellt, das die optimierte Modelldatei (.pte) und eine separate Metadatendatei im YAML-Format mit wichtigen Angaben wie Bildgröße und Klassennamen enthält.

Hier ist der Code zum Exportieren deines Modells:

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="executorch")

Schritt 3: Schlussfolgerungen nach dem Export des Modells ausführen#

Nach dem Export kann das Modell mit der ExecuTorch-Laufzeitumgebung auf Edge- und Mobilgeräten bereitgestellt werden. Die exportierte .pte-Modelldatei kann in deine Anwendung geladen werden, um Echtzeit-Schlussfolgerungen direkt auf dem Gerät ohne Cloud-Verbindung auszuführen.

Das folgende Codebeispiel zeigt beispielsweise, wie du das exportierte Modell lädst und Schlussfolgerungen ausführst. Inferenz bedeutet einfach, ein trainiertes Modell zu verwenden, um Vorhersagen für neue Daten zu treffen. In diesem Beispiel wird das Modell anhand eines Bildes eines Busses getestet, das von einer öffentlichen URL geladen wird.

executorch_model = YOLO("yolo11n_executorch_model")
results = executorch_model.predict("https://ultralytics.com/images/bus.jpg", save=True)

Nach der Ausführung des Codes findest du das Ausgabebild mit den erkannten Objekten im Ordner „runs/detect/predict“.

Abb. 2. Objekterkennung mit einem exportierten Ultralytics-YOLO11-Modell im ExecuTorch-Format.

Vorteile der ExecuTorch-Integration#

Bei der Untersuchung der verschiedenen von Ultralytics unterstützten Exportoptionen fragst du dich vielleicht, was die ExecuTorch-Integration besonders macht. Der entscheidende Unterschied liegt in der gelungenen Kombination aus Leistung, Einfachheit und Flexibilität, die eine direkte Bereitstellung leistungsstarker KI-Modelle auf mobilen und Edge-Geräten erleichtert.

Hier ist ein Überblick über einige der wichtigsten Vorteile der ExecuTorch-Integration:

• Flexible Bereitstellungsoptionen: ExecuTorch-Modelle können in mobilen Anwendungen, eingebetteten Systemen, IoT-Geräten (Internet der Dinge) und spezialisierter Edge-KI-Hardware bereitgestellt werden. Diese Flexibilität ermöglicht es Entwicklern, skalierbare KI-Lösungen zu entwickeln, die auf unterschiedlichen Plattformen und in verschiedenen Umgebungen zuverlässig funktionieren.
• Durch Benchmarks bestätigte Leistung: Tests auf Geräten wie dem Raspberry Pi 5 zeigen, dass in das ExecuTorch-Format exportierte Ultralytics-YOLO11-Modelle ungefähr doppelt so schnell laufen wie ihre PyTorch-Gegenstücke und dabei nahezu dieselbe Genauigkeit erreichen.
• Flexible Integrations-APIs: ExecuTorch bietet C++-, Kotlin- und Objective-C-APIs für iOS, Android und eingebettetes Linux, sodass Entwickler YOLO-Modelle direkt in native Anwendungen integrieren können.
• Unterstützung für Hardwarebeschleunigung: ExecuTorch unterstützt mehrere Backends zur Hardwarebeschleunigung, darunter Vulkan und Metal für mobile GPUs, sowie optionale Integrationen für OpenCL und andere herstellerspezifische APIs. Außerdem kann die Lösung dedizierte Beschleuniger wie NPUs und DSPs nutzen, um gegenüber einer ausschließlich auf der CPU ausgeführten Inferenz erhebliche Geschwindigkeitssteigerungen zu erzielen.

Praktische Anwendungen von Ultralytics YOLO11 und dem ExecuTorch-Export#

Kürzlich wurde Ultralytics als Erfolgsgeschichte zu PyTorch ExecuTorch gewürdigt. Damit wurden unsere frühzeitige Unterstützung für Schlussfolgerungen auf dem Gerät und unsere fortlaufenden Beiträge zum PyTorch-Ökosystem hervorgehoben. Diese Anerkennung spiegelt das gemeinsame Ziel wider, leistungsstarke KI auf mobilen und Edge-Plattformen zugänglicher zu machen.

Von der Cloud zum Rand: Wie ExecuTorch und Ultralytics YOLO11 Bildverarbeitungs-KI zum Leben erwecken#

In der Praxis sieht das so aus: Lösungen für Bildverarbeitungs-KI laufen effizient auf Geräten vom Smartphone bis zum eingebetteten System. In der Fertigung spielen Edge-Geräte beispielsweise eine entscheidende Rolle bei der Überwachung von Produktionslinien und der Erkennung von Fehlern in Echtzeit.

Abb. 3. Beispiel für die Analyse einer Fertigungsmontagelinie mit Ultralytics YOLO11. (Quelle)

Statt Bilder oder Sensordaten zur Verarbeitung in die Cloud zu senden, was zu Verzögerungen führen kann und von der Internetverbindung abhängt, ermöglicht die ExecuTorch-Integration die direkte Ausführung von Ultralytics-YOLO11-Modellen auf lokaler Hardware. Dadurch können Fabriken Qualitätsprobleme sofort erkennen, Ausfallzeiten verringern und den Datenschutz wahren – und das bei begrenzten Rechenressourcen.

Hier sind einige weitere Beispiele dafür, wie die ExecuTorch-Integration und Ultralytics-YOLO-Modelle eingesetzt werden können:

• Intelligente Städte: Durch die lokale Ausführung von Ultralytics-YOLO11-Modellen mit ExecuTorch können Städte schneller datengestützte Entscheidungen treffen – von der Erkennung von Verkehrsstaus bis zur Identifizierung von Gefahren – und so Mobilität und Sicherheit insgesamt verbessern.
• Einzelhandel und Lagerhaltung: Mit Schlussfolgerungen direkt auf dem Gerät können Händler die Überwachung von Regalen automatisieren, Bestände verfolgen und Pakete schnell und sicher prüfen, ohne auf Cloud-Verbindungen angewiesen zu sein.
• Robotik und Drohnen: Für Edge-Geräte optimierte Ultralytics-YOLO11-Modelle ermöglichen es Robotern und Drohnen, Objekte zu erkennen, sich in Umgebungen zu orientieren und auch ohne Internetzugang Entscheidungen in Echtzeit zu treffen.

Abb. 4. Erkennen und Zählen von Autos im Verkehr mit YOLO11 (Quelle)

Wichtige Erkenntnisse#

Durch den Export von Ultralytics-YOLO-Modellen in das ExecuTorch-Format lassen sich Computer-Vision-Modelle problemlos auf vielen Geräten bereitstellen, darunter Smartphones, Tablets und eingebettete Systeme wie der Raspberry Pi. Dadurch wird eine optimierte Ausführung von Schlussfolgerungen direkt auf dem Gerät ohne Cloud-Verbindung möglich, was Geschwindigkeit, Datenschutz und Zuverlässigkeit verbessert.

Neben ExecuTorch unterstützt Ultralytics zahlreiche Integrationen, darunter TensorRT, OpenVINO, CoreML und weitere, sodass Entwickler ihre Modelle flexibel auf verschiedenen Plattformen ausführen können. Mit zunehmender Verbreitung von Bildverarbeitungs-KI vereinfachen diese Integrationen die Bereitstellung intelligenter Systeme, die für einen effizienten Betrieb unter realen Bedingungen entwickelt wurden.

Interessierst du dich für KI? Sieh dir unser GitHub-Repository an, tritt unserer Community bei und erkunde unsere Lizenzoptionen, um dein Bildverarbeitungs-KI-Projekt zu starten. Erfahre mehr über Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik, indem du unsere Lösungsseiten besuchst.