Ultralytics YOLO11 nahtlos mit OpenVINO™ bereitstellen

Die Einführung von AI hängt davon ab, dass AI-Lösungen zugänglich sind. Ein großer Teil davon besteht darin, sie einfach auf der bereits vorhandenen Hardware bereitzustellen. Das Ausführen von AI-Modellen auf GPUs (Grafikprozessoren) ist im Hinblick auf Leistung und parallele Rechenleistung eine hervorragende Option.

In der Realität hat jedoch nicht jeder Zugriff auf leistungsstarke GPUs, insbesondere in Edge-Umgebungen oder auf alltäglichen Laptops. Deshalb ist es so wichtig, Modelle für den effizienten Betrieb auf weiter verbreiteter Hardware wie CPUs (Hauptprozessoren), integrierten GPUs und NPUs (neuronalen Verarbeitungseinheiten) zu optimieren.

Computer Vision ist beispielsweise ein Bereich der AI, der es Maschinen ermöglicht, Bilder und Videostreams in Echtzeit zu analysieren und zu verstehen. Vision-AI-Modelle wie Ultralytics YOLO11 unterstützen wichtige Aufgaben wie Objekterkennung und Instanzsegmentierung, die Anwendungen von der Analyse im Einzelhandel bis zur medizinischen Diagnostik ermöglichen.

Abb. 1 Ultralytics YOLO11 zur Erkennung und Segmentierung von Objekten in einem Einzelhandelsgeschäft.

Um Computer Vision breiter zugänglich zu machen, hat Ultralytics eine aktualisierte Integration des OpenVINO-Toolkits veröffentlicht. Dabei handelt es sich um ein Open-Source-Projekt zur Optimierung und Ausführung von AI-Inferenz auf CPUs, GPUs und NPUs.

Mit dieser Integration lassen sich YOLO11-Modelle einfacher exportieren und bereitstellen. Dabei ist eine bis zu 3-fach schnellere Inferenz auf CPUs sowie eine beschleunigte Leistung auf Intel GPUs und NPUs möglich. In diesem Artikel zeigen wir dir, wie du das Ultralytics Python-Paket verwendest, um YOLO11-Modelle in das OpenVINO-Format zu exportieren und für Inferenz zu nutzen. Legen wir los!

Ein Überblick über Ultralytics YOLO11#

Bevor wir uns mit den Details der von Ultralytics unterstützten OpenVINO-Integration befassen, sehen wir uns genauer an, was YOLO11 zu einem zuverlässigen und leistungsfähigen Computer-Vision-Modell macht. YOLO11 ist das neueste Modell der Ultralytics-YOLO-Reihe und bietet deutliche Verbesserungen bei Geschwindigkeit und Genauigkeit.

Eines der wichtigsten Merkmale ist die Effizienz. Ultralytics YOLO11m hat beispielsweise 22 % weniger Parameter als Ultralytics YOLOv8m und erzielt dennoch eine höhere mittlere durchschnittliche Präzision (mAP) auf dem COCO-Datensatz. Das bedeutet, dass es schneller ausgeführt wird und Objekte zugleich genauer erkennt – ideal für Echtzeitanwendungen, bei denen Leistung und Reaktionsfähigkeit entscheidend sind.

Abb. 2 Leistungsbenchmarks von Ultralytics YOLO11.

Neben der Objekterkennung unterstützt YOLO11 verschiedene fortgeschrittene Computer-Vision-Aufgaben wie Instanzsegmentierung, Posenschätzung, Bildklassifizierung, Objektverfolgung und die Erkennung orientierter Begrenzungsrahmen. YOLO11 ist außerdem entwicklerfreundlich: Das Ultralytics Python-Paket bietet eine einfache und einheitliche Schnittstelle zum Trainieren, Bewerten und Bereitstellen von Modellen.

Darüber hinaus unterstützt das Ultralytics Python-Paket verschiedene Integrationen und mehrere Exportformate, darunter OpenVINO, ONNX und TorchScript. Dadurch kannst du YOLO11 problemlos in verschiedene Bereitstellungspipelines integrieren. Unabhängig davon, ob du auf Cloud-Infrastruktur, Edge-Geräte oder eingebettete Systeme abzielst, ist der Exportprozess unkompliziert und lässt sich an deine Hardwareanforderungen anpassen.

Was ist OpenVINO™?#

OpenVINO™ (offene visuelle Inferenz und neuronale Netzwerkoptimierung) ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von AI-Inferenz auf einer großen Bandbreite von Hardware. Es ermöglicht Entwicklern, leistungsstarke Inferenzanwendungen effizient auf verschiedenen Intel-Plattformen auszuführen, darunter CPUs, integrierte und dedizierte GPUs, NPUs und feldprogrammierbare Gate-Arrays (FPGAs).

OpenVINO bietet eine einheitliche Laufzeitschnittstelle, die Hardwareunterschiede mithilfe gerätespezifischer Plugins abstrahiert. Dadurch können Entwickler Code einmal schreiben und ihn mit einer einheitlichen API auf mehreren Intel-Hardwarezielen bereitstellen.

Hier sind einige der wichtigsten Funktionen, die OpenVINO zu einer hervorragenden Wahl für die Bereitstellung machen:

• Modellkonverter: Dieses Tool konvertiert und bereitet Modelle aus gängigen Frameworks wie PyTorch, ONNX, TensorFlow, PaddlePaddle und anderen vor, damit sie für eine effiziente Inferenz auf Intel-Hardware optimiert werden können.
• Heterogene Ausführung: Du musst deinen Code nicht für unterschiedliche Intel-Hardware neu schreiben. OpenVINO erleichtert die Ausführung desselben Modells auf jeder unterstützten Hardware – von CPUs bis zu GPUs.
• Unterstützung für Quantisierung: Das Toolkit unterstützt Formate mit reduzierter Genauigkeit wie FP16 (Standard) und INT8. Dadurch lassen sich die Modellgröße verringern und die Inferenz beschleunigen, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Abb. 3 OpenVINO ermöglicht vielfältige Bereitstellungsoptionen.

Die Integration von Ultralytics und OpenVINO erkunden#

Nachdem wir uns angesehen haben, was OpenVINO ist und warum es wichtig ist, besprechen wir nun, wie du Ultralytics-YOLO11-Modelle in das OpenVINO-Format exportierst und effiziente Inferenz auf Intel-Hardware ausführst.

Schritt 1: Das Ultralytics Python-Paket installieren#

Um ein Modell in das OpenVINO-Format zu exportieren, musst du zunächst das Ultralytics Python-Paket installieren. Dieses Paket enthält alles, was du zum Trainieren, Bewerten und Exportieren von YOLO-Modellen einschließlich YOLO11 benötigst.

Du kannst es installieren, indem du den Befehl "pip install ultralytics" in deinem Terminal oder an der Eingabeaufforderung ausführst. Wenn du in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeitest, setze einfach ein Ausrufezeichen vor den Befehl.

Falls während der Installation oder beim Export Probleme auftreten, sind die Ultralytics-Dokumentation und die Anleitungen zur Fehlerbehebung hilfreiche Ressourcen, damit du schnell weiterarbeiten kannst.

Schritt 2: Dein Ultralytics-YOLO11-Modell in das OpenVINO-Format exportieren#

Sobald das Ultralytics-Paket eingerichtet ist, besteht der nächste Schritt darin, dein YOLO11-Modell zu laden und in ein mit OpenVINO kompatibles Format zu konvertieren.

Im folgenden Beispiel verwenden wir ein vortrainiertes YOLO11-Modell („yolo11n.pt“). Mit der Exportfunktion wird es in das OpenVINO-Format konvertiert. Nach der Ausführung dieses Codes wird das konvertierte Modell in einem neuen Verzeichnis namens „yolo11n_openvino_model“ gespeichert.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Schritt 3: Inferenz mit dem exportierten Modell ausführen#

Sobald dein YOLO11-Modell in das OpenVINO-Format exportiert wurde, kannst du Inferenz auf zwei Arten ausführen: mit dem Ultralytics Python-Paket oder der nativen OpenVINO Runtime.

Das Ultralytics Python-Paket verwenden#

Das exportierte YOLO11-Modell lässt sich wie im folgenden Codeausschnitt gezeigt einfach mit dem Ultralytics Python-Paket bereitstellen. Diese Methode eignet sich ideal für schnelle Experimente und eine unkomplizierte Bereitstellung auf Intel-Hardware.

Du kannst auch festlegen, welches Gerät für die Inferenz verwendet werden soll, zum Beispiel "intel:cpu", "intel:gpu" oder "intel:npu", abhängig von der in deinem System verfügbaren Intel-Hardware.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Nach der Ausführung des obigen Codes wird das Ausgabebild im Verzeichnis "runs/detect/predict" gespeichert.

Abb. 4. Verwendung des exportierten Ultralytics-YOLO11-Modells zur Erkennung von Objekten in einem Bild.

Die native OpenVINO Runtime verwenden#

Wenn du nach einer anpassbaren Möglichkeit zur Ausführung von Inferenz suchst, insbesondere in Produktionsumgebungen, bietet dir die OpenVINO Runtime mehr Kontrolle darüber, wie dein Modell ausgeführt wird. Sie unterstützt fortgeschrittene Funktionen wie asynchrone Ausführung (mehrere Inferenzanforderungen parallel ausführen) und Lastverteilung (Inferenz-Workloads effizient auf Intel-Hardware verteilen).

Für die Verwendung der nativen Runtime benötigst du die exportierten Modelldateien: eine .xml-Datei (die die Netzwerkarchitektur definiert) und eine .bin-Datei (die die trainierten Modellgewichte speichert). Abhängig von deiner Anwendung kannst du außerdem zusätzliche Parameter wie Eingabedimensionen oder Vorverarbeitungsschritte konfigurieren.

Ein typischer Bereitstellungsablauf umfasst die Initialisierung des OpenVINO-Kerns, das Laden und Kompilieren des Modells für ein Zielgerät, die Vorbereitung der Eingabe und die Ausführung der Inferenz. Ausführliche Beispiele und eine schrittweise Anleitung findest du in der offiziellen Ultralytics-OpenVINO-Dokumentation.

Warum solltest du die Integration von Ultralytics und OpenVINO wählen?#

Beim Erkunden der Ultralytics-Integrationen wirst du feststellen, dass das Ultralytics Python-Paket den Export von YOLO11-Modellen in verschiedene Formate wie TorchScript, CoreML, TensorRT und ONNX unterstützt. Warum solltest du also die OpenVINO-Integration wählen?

Hier sind einige Gründe, warum sich das OpenVINO-Exportformat hervorragend für die Bereitstellung von Modellen auf Intel-Hardware eignet:

• Leistungssteigerungen: Auf Intel-CPUs kannst du eine bis zu 3-fach schnellere Inferenz erzielen; integrierte GPUs und NPUs bieten zusätzliche Beschleunigung.
• Kein erneutes Training erforderlich: Du kannst deine vorhandenen Ultralytics-YOLO11-Modelle direkt in das OpenVINO-Format exportieren, ohne sie zu ändern oder erneut zu trainieren.
• Für die Skalierung entwickelt: Dasselbe exportierte Modell kann auf stromsparenden Edge-Geräten und in groß angelegter Cloud-Infrastruktur bereitgestellt werden, was die skalierbare AI-Bereitstellung vereinfacht.

Du kannst die Leistungsbenchmarks des Ultralytics-YOLO11-Modells außerdem auf verschiedenen Intel®-Plattformen im OpenVINO™ Model Hub auswerten. Der OpenVINO Model Hub ist eine Ressource für Entwickler, um AI-Modelle auf Intel-Hardware zu bewerten und den Leistungsvorteil von OpenVINO auf Intel-CPUs, integrierten GPUs, NPUs und dedizierten Grafikeinheiten zu entdecken.

Abb. 5. OpenVINO™ Model Hub: Leistungsbenchmarks des Ultralytics-YOLO11-Modells auf verschiedenen Intel®-Plattformen.

Anwendungen von Ultralytics YOLO11 und dem OpenVINO-Exportformat#

Mit der OpenVINO-Integration wird die Bereitstellung von Ultralytics-YOLO11-Modellen auf Intel-Hardware in realen Situationen deutlich einfacher.

Ein gutes Beispiel ist der intelligente Einzelhandel. Dort kann Ultralytics YOLO11 in Echtzeit leere Regale erkennen, verfolgen, bei welchen Produkten der Bestand knapp wird, und analysieren, wie sich Kunden durch das Geschäft bewegen. So können Händler ihre Bestandsverwaltung verbessern und die Gestaltung ihrer Verkaufsflächen für eine bessere Kundenbindung optimieren.

Auch in intelligenten Städten kann YOLO11 zur Verkehrsüberwachung eingesetzt werden, indem Fahrzeuge gezählt, Fußgänger verfolgt und Rotlichtverstöße in Echtzeit erkannt werden. Diese Erkenntnisse können die Optimierung des Verkehrsflusses und die Verkehrssicherheit unterstützen sowie bei automatisierten Durchsetzungssystemen helfen.

Abb. 6 Fahrzeuge mit YOLO11 zählen.

Ein weiterer interessanter Anwendungsfall ist die industrielle Inspektion. Hier kann Ultralytics YOLO11 auf Produktionslinien eingesetzt werden, um visuelle Mängel wie fehlende Komponenten, fehlerhafte Ausrichtung oder Oberflächenschäden automatisch zu erkennen. Das steigert die Effizienz, senkt die Kosten und unterstützt eine bessere Produktqualität.

Wichtige Faktoren bei der Verwendung des OpenVINO-Toolkits#

Bei der Bereitstellung von Ultralytics-YOLO11-Modellen mit OpenVINO solltest du einige wichtige Punkte beachten, um die besten Ergebnisse zu erzielen:

• Hardwarekompatibilität prüfen: Stelle sicher, dass deine Intel-Hardware – unabhängig davon, ob es sich um eine CPU, eine integrierte GPU oder eine NPU handelt – von OpenVINO unterstützt wird, damit das Modell effizient ausgeführt werden kann.
• Die richtigen Treiber installieren: Wenn du Intel GPUs oder NPUs verwendest, überprüfe, ob alle erforderlichen Treiber ordnungsgemäß installiert und auf dem neuesten Stand sind.
• Kompromisse bei der Genauigkeit verstehen: OpenVINO unterstützt die Modellgenauigkeiten FP32, FP16 und INT8. Jede Option stellt einen Kompromiss zwischen Geschwindigkeit und Genauigkeit dar. Deshalb ist es wichtig, die passende Option auf Grundlage deiner Leistungsziele und der verfügbaren Hardware zu wählen.

Wichtige Erkenntnisse#

Durch den Export von Ultralytics YOLO11 in das OpenVINO-Format lassen sich schnelle, effiziente Vision-AI-Modelle problemlos auf Intel-Hardware ausführen. Du kannst sie auf CPUs, GPUs und NPUs bereitstellen, ohne sie erneut trainieren oder deinen Code ändern zu müssen. Das ist eine hervorragende Möglichkeit, die Leistung zu steigern und gleichzeitig für Einfachheit und Skalierbarkeit zu sorgen.

Da das Ultralytics Python-Paket diese Funktion bereits unterstützt, ist das Exportieren und Ausführen von Inferenz mit OpenVINO unkompliziert. In nur wenigen Schritten kannst du dein Modell optimieren und auf verschiedenen Intel-Plattformen ausführen. Unabhängig davon, ob du im intelligenten Einzelhandel, bei der Verkehrsüberwachung oder in der industriellen Inspektion arbeitest – dieser Ablauf hilft dir, schnell und sicher von der Entwicklung zur Bereitstellung zu gelangen.

Tritt der YOLO-Community bei und sieh dir das GitHub-Repository von Ultralytics an, um mehr über wirkungsvolle, von Ultralytics unterstützte Integrationen zu erfahren. Informiere dich außerdem über die Lizenzoptionen von Ultralytics, um noch heute mit Computer Vision zu beginnen!

Melde dich für unser bevorstehendes Webinar an, um die Integration von Ultralytics × OpenVINO in Aktion zu sehen, und besuche die OpenVINO-Website, um Tools zur Optimierung und Bereitstellung von AI in großem Maßstab zu entdecken.