Ultralytics-YOLO-Modelle mithilfe der ExecuTorch-Integration bereitstellen

Bestimmte Computer-Vision-Anwendungen wie die automatisierte Qualitätsprüfung, autonome Drohnen oder intelligente Sicherheitssysteme funktionieren am besten, wenn Ultralytics YOLO-Modelle wie Ultralytics YOLO11 nahe am Sensor laufen, der die Bilder aufnimmt. Anders gesagt: Diese Modelle müssen Daten direkt dort verarbeiten, wo sie entstehen – auf Kameras, Drohnen oder eingebetteten Systemen – statt sie in die Cloud zu senden.

Dieser Ansatz, bekannt als Edge AI, ermöglicht es Modellen, Inferenz direkt auf dem Gerät auszuführen, auf dem die Daten erfasst werden. Durch die lokale Verarbeitung von Informationen statt über entfernte Server können Systeme eine geringere Latenz, besseren Datenschutz und höhere Zuverlässigkeit erreichen – selbst in Umgebungen mit eingeschränkter oder fehlender Internetverbindung.

Eine Fertigungskamera, die jede Minute Tausende Produkte prüft, oder eine Drohne, die sich in komplexen Umgebungen bewegt, kann sich beispielsweise die Verzögerungen durch die Verarbeitung in der Cloud nicht leisten. Wenn Ultralytics YOLO11 direkt auf dem Gerät ausgeführt wird, ist die Inferenz sofort und direkt auf dem Gerät möglich.

Um die Ausführung von Ultralytics YOLO-Modellen am Netzwerkrand einfacher und effizienter zu gestalten, bietet die neue, von Ultralytics unterstützte ExecuTorch-Integration eine optimierte Möglichkeit, Modelle direkt auf Mobilgeräten und eingebetteten Geräten zu exportieren und bereitzustellen. ExecuTorch ist Teil des PyTorch-Edge-Ökosystems und bietet eine Komplettlösung für die direkte Ausführung von KI-Modellen auf mobiler und Edge-Hardware, darunter Smartphones, Wearables, eingebettete Platinen und Mikrocontroller.

Mit dieser Integration lässt sich ein Ultralytics-YOLO-Modell wie YOLO11 ganz einfach vom Training bis zur Bereitstellung auf Edge-Geräten einsetzen. Durch die Kombination der Bildverarbeitungsfunktionen von YOLO11 mit der leichtgewichtigen Laufzeitumgebung und der PyTorch-Exportpipeline von ExecuTorch können Nutzer Modelle bereitstellen, die effizient auf Edge-Hardware laufen und dabei die Genauigkeit und Leistung der PyTorch-basierten Inferenz beibehalten.

In diesem Artikel sehen wir uns genauer an, wie die ExecuTorch-Integration funktioniert, warum sie sich für Edge-AI-Anwendungen eignet und wie du Ultralytics-YOLO-Modelle mit ExecuTorch bereitstellen kannst.

Was ist ExecuTorch?#

Wenn du ein Modell in PyTorch trainierst, läuft es normalerweise auf leistungsstarken Servern oder Grafikprozessoren (GPUs) in der Cloud. Dasselbe Modell auf einem Mobilgerät oder eingebetteten Gerät wie einem Smartphone, einer Drohne oder einem Mikrocontroller bereitzustellen, erfordert jedoch eine spezielle Lösung, die mit begrenzter Rechenleistung, Speicherplatz und Konnektivität zurechtkommt.

Genau dafür ist ExecuTorch gedacht. ExecuTorch ist eine im PyTorch-Edge-Ökosystem entwickelte Komplettlösung, die effiziente Inferenz direkt auf Mobilgeräten, eingebetteten Geräten und Edge-Plattformen ermöglicht. Sie erweitert die Möglichkeiten von PyTorch über die Cloud hinaus und lässt KI-Modelle direkt auf lokalen Geräten laufen.

PyTorch-Inferenz an den Netzwerkrand bringen#

Im Kern bietet ExecuTorch eine leichtgewichtige C++-Laufzeitumgebung, mit der PyTorch-Modelle direkt auf dem Gerät ausgeführt werden können. ExecuTorch verwendet das PyTorch-ExecuTorch-Modellformat (.pte), ein optimiertes Exportformat, das schneller geladen wird, weniger Speicher belegt und sich besser portieren lässt.

Für eine effiziente Inferenz auf der Zentraleinheit (CPU) unterstützt es XNNPACK als Standard-Backend und ist außerdem mit einer Vielzahl von Hardware-Backends kompatibel, darunter CoreML, Metal, Vulkan, Qualcomm, MediaTek, Arm EthosU, OpenVINO und weitere.

Diese Backends ermöglichen eine optimierte Beschleunigung auf Mobilgeräten, eingebetteten Geräten und spezialisierten Edge-Geräten. ExecuTorch lässt sich zudem in die PyTorch-Exportpipeline integrieren und unterstützt erweiterte Funktionen wie Quantisierung und den Umgang mit dynamischen Eingabegrößen, um Leistung und Anpassungsfähigkeit in verschiedenen Bereitstellungsumgebungen zu verbessern.

Quantisierung verkleinert Modelle und beschleunigt die Inferenz, indem Werte mit hoher Genauigkeit, etwa 32-Bit-Gleitkommazahlen, in Werte mit geringerer Genauigkeit umgewandelt werden. Der Umgang mit dynamischen Eingabegrößen ermöglicht es Modellen, unterschiedliche Eingabegrößen effizient zu verarbeiten. Beide Funktionen sind entscheidend, um KI-Modelle auf Edge-Geräten mit begrenzten Ressourcen auszuführen.

Abb. 1. Ein Einblick in die Funktionsweise von ExecuTorch (Quelle)

Eine einheitliche Ebene für Edge-Hardware#

Über seine Laufzeitumgebung hinaus dient ExecuTorch auch als einheitliche Abstraktionsebene für mehrere Hardware-Backends. Einfach gesagt abstrahiert ExecuTorch hardwarespezifische Details und verwaltet die Interaktion von Modellen mit verschiedenen Recheneinheiten, darunter CPUs, GPUs und neuronale Verarbeitungseinheiten (NPUs).

Nach dem Export lässt sich ExecuTorch so konfigurieren, dass es das am besten geeignete Backend für ein bestimmtes Gerät verwendet. Entwickler können Modelle effizient auf unterschiedlichen Hardwareplattformen bereitstellen, ohne benutzerdefinierten gerätespezifischen Code schreiben oder separate Konvertierungsabläufe pflegen zu müssen.

Dank seines modularen, portablen Designs und der engen PyTorch-Integration eignet sich ExecuTorch hervorragend, um Computer-Vision-Modelle wie Ultralytics YOLO11 auf Mobilgeräten und eingebetteten Systemen bereitzustellen. ExecuTorch schließt die Lücke zwischen dem Modelltraining und dem Einsatz in der Praxis und macht Edge AI schneller, effizienter und einfacher umsetzbar.

Wichtige Funktionen von ExecuTorch#

Bevor wir uns ansehen, wie du Ultralytics-YOLO-Modelle in das ExecuTorch-Format exportierst, werfen wir einen Blick darauf, warum ExecuTorch eine zuverlässige Option für den Einsatz von KI am Netzwerkrand ist.

Hier ein Überblick über einige der wichtigsten Funktionen:

• Unterstützung für Quantisierung: ExecuTorch unterstützt die Quantisierung von Modellen. Dabei werden Werte mit hoher Genauigkeit in Werte mit geringerer Genauigkeit umgewandelt, um die Modellgröße zu verringern und die Inferenz zu beschleunigen. So laufen Modelle auf Edge-Geräten schneller und benötigen weniger Speicher, während die Genauigkeit nahezu unverändert bleibt. Der Ultralytics-Export erzeugt derzeit FP32-Modelle für das XNNPACK-Backend.
• Effiziente Speichernutzung: Einer der größten Vorteile von ExecuTorch ist der Umgang mit Speicher. Statt auf dynamische Speicherzuweisung zu setzen, die Latenz und zusätzlichen Energieverbrauch verursachen kann, verwendet ExecuTorch eine Speicherplanung zur Übersetzungszeit (AOT). Beim Export analysiert es den Modellgraphen und berechnet im Voraus, wie viel Speicher für jeden Vorgang benötigt wird. So kann die Laufzeitumgebung Modelle mit einem festen Speicherplan ausführen und eine vorhersehbare Leistung gewährleisten. Zugleich werden Verlangsamungen und Abstürze auf Geräten mit begrenztem Arbeitsspeicher oder begrenzter Rechenleistung verhindert.
• Integrierte Modellmetadaten: Beim Export mit der von Ultralytics unterstützten Integration wird jedem Modell eine YAML-Datei mit wichtigen Metadaten wie Bildgröße, Klassennamen und Konfigurationsparametern beigefügt. Diese zusätzliche Datei vereinfacht die Integration des Modells in verschiedene Anwendungen und gewährleistet einheitliches Verhalten auf unterschiedlichen Edge-Plattformen.

Ultralytics-YOLO-Modelle in das ExecuTorch-Format exportieren#

Nachdem wir uns einen Überblick über die Möglichkeiten von ExecuTorch verschafft haben, gehen wir nun durch, wie du Ultralytics-YOLO-Modelle in das ExecuTorch-Format exportierst.

Schritt 1: Das Ultralytics-Python-Paket installieren#

Installiere zunächst mit pip, einem Paketinstallationsprogramm, das Ultralytics-Python-Paket. Führe dazu „pip install ultralytics“ in deinem Terminal oder deiner Eingabeaufforderung aus.

Wenn du in einer Jupyter-Notebook- oder Google-Colab-Umgebung arbeitest, setze einfach ein Ausrufezeichen vor den Befehl, etwa so: "!pip install ultralytics". Nach der Installation stellt dir das Ultralytics-Paket alle Werkzeuge bereit, die du zum Trainieren, Testen und Exportieren von Computer-Vision-Modellen wie Ultralytics YOLO11 benötigst.

Falls bei der Installation oder beim Export deines Modells Probleme auftreten, findest du in der offiziellen Ultralytics-Dokumentation und im Leitfaden zu häufigen Problemen ausführliche Schritte zur Fehlerbehebung und bewährte Vorgehensweisen, die dir den Einstieg erleichtern.

Schritt 2: Ultralytics YOLO11 exportieren#

Nachdem du das Ultralytics-Paket installiert hast, kannst du eine Variante des YOLO11-Modells laden und in das ExecuTorch-Format exportieren. Du kannst beispielsweise ein vortrainiertes Modell wie „yolo11n.pt“ verwenden und es exportieren, indem du die Exportfunktion mit dem Format „executorch“ aufrufst.

Dadurch wird ein Verzeichnis namens „yolo11n_executorch_model“ erstellt, das die optimierte Modelldatei (.pte) sowie eine separate YAML-Metadatendatei mit wichtigen Angaben wie Bildgröße und Klassennamen enthält.

Mit folgendem Code exportierst du dein Modell:

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="executorch")

Schritt 3: Inferenz nach dem Export des Modells ausführen#

Nach dem Export kann das Modell mit der ExecuTorch-Laufzeitumgebung auf Edge-Geräten und Mobilgeräten bereitgestellt werden. Die exportierte .pte-Modelldatei lässt sich in deine Anwendung laden, um Inferenz in Echtzeit direkt auf dem Gerät und ohne Cloud-Verbindung auszuführen.

Das folgende Codebeispiel zeigt, wie du das exportierte Modell lädst und Inferenz ausführst. Inferenz bedeutet einfach, ein trainiertes Modell zu verwenden, um Vorhersagen für neue Daten zu treffen. Hier wird das Modell mit einem Busbild getestet, das von einer öffentlichen URL stammt.

executorch_model = YOLO("yolo11n_executorch_model")
results = executorch_model.predict("https://ultralytics.com/images/bus.jpg", save=True)

Nach der Ausführung des Codes findest du das Ausgabebild mit den erkannten Objekten im Ordner „runs/detect/predict“.

Abb. 2. Objekterkennung mit einem exportierten Ultralytics-YOLO11-Modell im ExecuTorch-Format.

Vorteile der ExecuTorch-Integration#

Bei den verschiedenen von Ultralytics unterstützten Exportoptionen fragst du dich vielleicht, was die ExecuTorch-Integration besonders macht. Der entscheidende Unterschied liegt darin, wie gut sie Leistung, Einfachheit und Flexibilität verbindet und so die Bereitstellung leistungsstarker KI-Modelle direkt auf Mobilgeräten und Edge-Geräten erleichtert.

Hier sind einige der wichtigsten Vorteile der ExecuTorch-Integration:

• Flexible Bereitstellungsmöglichkeiten: ExecuTorch-Modelle lassen sich in mobilen Anwendungen, eingebetteten Systemen, IoT-Geräten (Geräten des Internets der Dinge) und spezialisierter Edge-AI-Hardware bereitstellen. Diese Flexibilität ermöglicht es Entwicklern, skalierbare KI-Lösungen zu entwickeln, die auf unterschiedlichen Plattformen und in verschiedenen Umgebungen zuverlässig funktionieren.
• Durch Benchmarks belegte Leistung: Tests auf Geräten wie dem Raspberry Pi 5 zeigen, dass Ultralytics-YOLO11-Modelle im ExecuTorch-Format ungefähr doppelt so schnell laufen wie ihre PyTorch-Varianten – bei nahezu identischer Genauigkeit.
• Flexible Integrations-APIs: ExecuTorch bietet C++-, Kotlin- und Objective-C-APIs für iOS, Android und eingebettetes Linux. So können Entwickler YOLO-Modelle direkt in native Apps integrieren.
• Unterstützung für Hardwarebeschleunigung: ExecuTorch unterstützt mehrere Backends zur Hardwarebeschleunigung, darunter Vulkan und Metal für mobile GPUs sowie optionale Integrationen für OpenCL und andere herstellerspezifische APIs. Außerdem kann es dedizierte Beschleuniger wie NPUs und DSPs nutzen, um die Inferenz im Vergleich zur Ausführung ausschließlich auf der CPU deutlich zu beschleunigen.

Praktische Anwendungen von Ultralytics YOLO11 und dem ExecuTorch-Export#

Kürzlich wurde Ultralytics als Erfolgsgeschichte von PyTorch ExecuTorch gewürdigt. Damit wurden unsere frühzeitige Unterstützung für Inferenz direkt auf dem Gerät und unsere fortlaufenden Beiträge zum PyTorch-Ökosystem hervorgehoben. Diese Anerkennung spiegelt das gemeinsame Ziel wider, leistungsstarke KI auf mobilen und Edge-Plattformen zugänglicher zu machen.

Von der Cloud zum Netzwerkrand: Wie ExecuTorch und Ultralytics YOLO11 Vision AI in die Praxis bringen#

In der Praxis bedeutet das, dass praxistaugliche Vision-AI-Lösungen effizient auf allen möglichen Geräten laufen – von Smartphones bis hin zu eingebetteten Systemen. In der Fertigung spielen Edge-Geräte beispielsweise eine wichtige Rolle bei der Überwachung von Produktionslinien und der Fehlererkennung in Echtzeit.

Abb. 3. Beispiel für die Analyse einer Fertigungsstraße mit Ultralytics YOLO11. (Quelle)

Statt Bilder oder Sensordaten zur Verarbeitung in die Cloud zu senden, was zu Verzögerungen führen und eine Internetverbindung voraussetzen kann, ermöglicht die ExecuTorch-Integration die direkte Ausführung von Ultralytics-YOLO11-Modellen auf lokaler Hardware. So können Fabriken Qualitätsprobleme sofort erkennen, Ausfallzeiten verringern und den Datenschutz wahren – und das alles mit begrenzten Rechenressourcen.

Hier sind einige weitere Beispiele für den Einsatz der ExecuTorch-Integration und von Ultralytics-YOLO-Modellen:

• Intelligente Städte: Indem Städte Ultralytics-YOLO11-Modelle lokal mit ExecuTorch ausführen, können sie schneller datengestützte Entscheidungen treffen – von der Erkennung von Staus bis zum Aufspüren von Gefahren. So lassen sich Mobilität und Sicherheit insgesamt verbessern.
• Einzelhandel und Lagerhaltung: Mit Inferenz direkt auf dem Gerät können Einzelhändler die Regalüberwachung automatisieren, Bestände verfolgen und Pakete schnell und sicher prüfen, ohne auf Cloud-Verbindungen angewiesen zu sein.
• Robotik und Drohnen: Für Edge-Geräte optimierte Ultralytics-YOLO11-Modelle ermöglichen es Robotern und Drohnen, Objekte zu erkennen, sich in ihrer Umgebung zurechtzufinden und in Echtzeit Entscheidungen zu treffen – auch ohne Internetzugang.

Abb. 4. Erkennung und Zählung von Autos im Verkehr mit YOLO11 (Quelle)

Die wichtigsten Erkenntnisse#

Der Export von Ultralytics-YOLO-Modellen in das ExecuTorch-Format erleichtert die Bereitstellung von Computer-Vision-Modellen auf zahlreichen Geräten, darunter Smartphones, Tablets und eingebettete Systeme wie der Raspberry Pi. Dadurch lässt sich optimierte Inferenz direkt auf dem Gerät ausführen, ohne auf eine Cloud-Verbindung angewiesen zu sein. Das verbessert Geschwindigkeit, Datenschutz und Zuverlässigkeit.

Neben ExecuTorch unterstützt Ultralytics eine große Auswahl an Integrationen, darunter TensorRT, OpenVINO, CoreML und weitere. Dadurch können Entwickler ihre Modelle flexibel auf verschiedenen Plattformen ausführen. Mit der zunehmenden Verbreitung von Vision AI vereinfachen diese Integrationen die Bereitstellung intelligenter Systeme, die unter realen Bedingungen effizient arbeiten.

Interessierst du dich für KI? Sieh dir unser GitHub-Repository an, tritt unserer Community bei und informiere dich über unsere Lizenzoptionen, um dein Vision-AI-Projekt zu starten. Erfahre auf unseren Lösungsseiten mehr über Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik.