Ultralytics YOLO11 nahtlos mit OpenVINO bereitstellen

Die Einführung von KI hängt davon ab, dass KI-Lösungen zugänglich sind. Ein wichtiger Teil davon ist, sie einfach auf der bereits vorhandenen Hardware ausführen zu können. Der Einsatz von KI-Modellen auf Grafikprozessoren (GPUs) ist im Hinblick auf Leistung und parallele Verarbeitung eine hervorragende Option.

Allerdings hat nicht jeder Zugang zu leistungsstarken GPUs, insbesondere in Edge-Umgebungen oder auf gewöhnlichen Laptops. Deshalb ist es so wichtig, Modelle für die effiziente Ausführung auf weiter verbreiteter Hardware wie Zentralprozessoren (CPUs), integrierten GPUs und neuronalen Prozessoren (NPUs) zu optimieren.

Computer Vision ist beispielsweise ein Bereich der KI, der Maschinen in die Lage versetzt, Bilder und Videoströme in Echtzeit zu analysieren und zu verstehen. Modelle für visuelle KI wie Ultralytics YOLO11 unterstützen wichtige Aufgaben wie Objekterkennung und Instanzsegmentierung, die Anwendungen von Einzelhandelsanalysen bis hin zu medizinischer Diagnostik ermöglichen.

Abb. 1. Einsatz von Ultralytics YOLO11 zur Erkennung und Segmentierung von Objekten in einem Einzelhandelsgeschäft.

Um Computer Vision breiter zugänglich zu machen, hat Ultralytics eine aktualisierte Integration mit dem OpenVINO-Toolkit veröffentlicht. Dieses ist ein Open-Source-Projekt zur Optimierung und Ausführung von KI-Inferenz auf CPUs, GPUs und NPUs.

Mit dieser Integration lassen sich YOLO11-Modelle einfacher exportieren und bereitstellen. Die Inferenz auf CPUs ist bis zu dreimal schneller, und auf Intel-GPUs und NPUs wird eine beschleunigte Leistung erreicht. In diesem Artikel zeigen wir dir, wie du mit dem Ultralytics-Python-Paket YOLO11-Modelle in das OpenVINO-Format exportierst und für Inferenz verwendest.

Überblick über Ultralytics YOLO11#

Bevor wir uns mit den Einzelheiten der von Ultralytics unterstützten OpenVINO-Integration befassen, sehen wir uns genauer an, warum YOLO11 ein zuverlässiges und leistungsstarkes Computer-Vision-Modell ist. Zum Zeitpunkt der Veröffentlichung dieses Artikels war YOLO11 das neueste Modell der Ultralytics-YOLO-Reihe. Inzwischen wurde es von Ultralytics YOLO26 abgelöst. YOLO11 brachte erhebliche Verbesserungen bei Geschwindigkeit und Genauigkeit.

Eine seiner wichtigsten Stärken ist die Effizienz. So hat Ultralytics YOLO11m beispielsweise 22 % weniger Parameter als Ultralytics YOLOv8m und erzielt dennoch eine höhere mittlere durchschnittliche Präzision (mAP) auf dem COCO-Datensatz. Das Modell läuft dadurch schneller und erkennt Objekte präziser. Damit eignet es sich ideal für Echtzeitanwendungen, bei denen Leistung und Reaktionsfähigkeit entscheidend sind.

Abb. 2 Leistungsbenchmarks von Ultralytics YOLO11.

Über die Objekterkennung hinaus unterstützt YOLO11 verschiedene anspruchsvolle Computer-Vision-Aufgaben, darunter Instanzsegmentierung, Bildklassifizierung, Pose-Schätzung, Erkennung orientierter Begrenzungsrahmen und Objektverfolgung. YOLO11 ist zudem entwicklerfreundlich: Das Ultralytics-Python-Paket bietet eine einfache, einheitliche Schnittstelle zum Trainieren, Bewerten und Bereitstellen von Modellen.

Darüber hinaus unterstützt das Ultralytics-Python-Paket verschiedene Integrationen und mehrere Exportformate, darunter OpenVINO, ONNX und TorchScript. So kannst du YOLO11 problemlos in verschiedene Bereitstellungsabläufe integrieren. Ob du auf Cloud-Infrastruktur, Edge-Geräte oder eingebettete Systeme abzielst: Der Exportprozess ist unkompliziert und lässt sich an deine Hardwareanforderungen anpassen.

Was ist OpenVINO™?#

OpenVINO™ (offene visuelle Inferenz und Optimierung neuronaler Netze) ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz auf einer Vielzahl von Hardware. Damit können Entwickler leistungsstarke Inferenzanwendungen effizient auf verschiedenen Intel-Plattformen ausführen, darunter CPUs, integrierte und diskrete GPUs, NPUs sowie feldprogrammierbare Gatterarrays (FPGAs).

OpenVINO bietet eine einheitliche Laufzeitschnittstelle, die Hardwareunterschiede mithilfe gerätespezifischer Plugins abstrahiert. Entwickler können dadurch Code einmal schreiben und ihn mit einer einheitlichen API auf mehreren Intel-Hardwareplattformen bereitstellen.

Hier sind einige der wichtigsten Funktionen, die OpenVINO zu einer hervorragenden Wahl für die Bereitstellung machen:

• Modellkonverter: Dieses Tool konvertiert und bereitet Modelle aus gängigen Frameworks wie PyTorch, ONNX, TensorFlow, PaddlePaddle und anderen vor, damit sie für eine effiziente Inferenz auf Intel-Hardware optimiert werden können.
• Heterogene Ausführung: Du musst deinen Code nicht für unterschiedliche Intel-Hardware umschreiben. Mit OpenVINO kannst du dasselbe Modell problemlos auf jeder unterstützten Hardware ausführen – von CPUs bis zu GPUs.
• Unterstützung für Quantisierung: Das Toolkit unterstützt Formate mit geringerer Genauigkeit wie FP16 (Standard) und INT8. Sie verringern die Modellgröße und beschleunigen die Inferenz, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Abb. 3 OpenVINO ermöglicht vielfältige Bereitstellungsoptionen.

Die Integration von Ultralytics und OpenVINO im Überblick#

Nachdem wir nun OpenVINO und seine Bedeutung kennengelernt haben, sehen wir uns an, wie du Ultralytics-YOLO11-Modelle in das OpenVINO-Format exportierst und effiziente Inferenz auf Intel-Hardware ausführst.

Schritt 1: Das Ultralytics-Python-Paket installieren#

Um ein Modell in das OpenVINO-Format zu exportieren, musst du zunächst das Ultralytics-Python-Paket installieren. Dieses Paket enthält alles, was du zum Trainieren, Evaluieren und Exportieren von YOLO-Modellen einschließlich YOLO11 brauchst.

Du kannst es installieren, indem du den Befehl pip install ultralytics in deinem Terminal oder deiner Eingabeaufforderung ausführst. Wenn du in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeitest, setze einfach ein Ausrufezeichen vor den Befehl.

Sollten bei der Installation oder beim Export Probleme auftreten, helfen dir die Ultralytics-Dokumentation und die Anleitungen zur Fehlerbehebung weiter.

Schritt 2: Dein Ultralytics-YOLO11-Modell ins OpenVINO-Format exportieren#

Sobald das Ultralytics-Paket eingerichtet ist, lädst du als Nächstes dein YOLO11-Modell und wandelst es in ein mit OpenVINO kompatibles Format um.

Im folgenden Beispiel verwenden wir ein vortrainiertes YOLO11-Modell („yolo11n.pt“). Mit der Exportfunktion wandeln wir es in das OpenVINO-Format um. Nach Ausführung dieses Codes wird das konvertierte Modell in einem neuen Verzeichnis namens „yolo11n_openvino_model“ gespeichert.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Schritt 3: Inferenz mit dem exportierten Modell ausführen#

Sobald dein YOLO11-Modell ins OpenVINO-Format exportiert wurde, kannst du die Inferenz auf zwei Arten ausführen: mit dem Ultralytics-Python-Paket oder der nativen OpenVINO Runtime.

Das Ultralytics-Python-Paket verwenden#

Wie der folgende Codeausschnitt zeigt, lässt sich das exportierte YOLO11-Modell problemlos mit dem Ultralytics-Python-Paket bereitstellen. Diese Methode eignet sich ideal für schnelle Experimente und eine unkomplizierte Bereitstellung auf Intel-Hardware.

Je nach verfügbarer Intel-Hardware kannst du auch das Gerät für die Inferenz festlegen, etwa „intel:cpu“, „intel:gpu“ oder „intel:npu“.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Um das annotierte Ausgabebild im Verzeichnis "runs/detect/predict" zu speichern, füge save=True zum Inferenzaufruf hinzu.

Abb. 4. Mit dem exportierten Ultralytics-YOLO11-Modell Objekte in einem Bild erkennen.

Die native OpenVINO Runtime verwenden#

Wenn du nach einer anpassbaren Möglichkeit zur Inferenz suchst, insbesondere in Produktionsumgebungen, bietet dir die OpenVINO Runtime mehr Kontrolle über die Ausführung deines Modells. Sie unterstützt fortgeschrittene Funktionen wie asynchrone Ausführung (mehrere Inferenzanfragen parallel ausführen) und Lastverteilung (Inferenzarbeitslasten effizient auf Intel-Hardware verteilen).

Für die native Runtime benötigst du die exportierten Modelldateien: eine .xml-Datei (die die Netzwerkarchitektur definiert) und eine .bin-Datei (in der die trainierten Modellgewichte gespeichert sind). Je nach Anwendung kannst du außerdem zusätzliche Parameter wie Eingabedimensionen oder Vorverarbeitungsschritte konfigurieren.

Ein typischer Bereitstellungsablauf umfasst das Initialisieren des OpenVINO-Kerns, das Laden und Kompilieren des Modells für ein Zielgerät, die Vorbereitung der Eingabe und die Ausführung der Inferenz. Ausführliche Beispiele und eine Schritt-für-Schritt-Anleitung findest du in der offiziellen Ultralytics-OpenVINO-Dokumentation oder in der Lektion der Ultralytics Academy zum Ausführen von OpenVINO auf einer CPU.

Warum solltest du die Ultralytics-OpenVINO-Integration wählen?#

Bei der Erkundung der Ultralytics-Integrationen wirst du feststellen, dass das Ultralytics-Python-Paket den Export von YOLO11-Modellen in zahlreiche Formate wie TorchScript, CoreML, TensorRT und ONNX unterstützt. Warum also die OpenVINO-Integration wählen?

Hier sind einige Gründe, warum sich das OpenVINO-Exportformat besonders gut für die Bereitstellung von Modellen auf Intel-Hardware eignet:

• Mehr Leistung: Auf Intel-CPUs erreichst du eine bis zu 3× schnellere Inferenz. Zusätzliche Beschleunigung ist auf integrierten GPUs und NPUs möglich.
• Kein erneutes Training nötig: Du kannst deine vorhandenen Ultralytics-YOLO11-Modelle direkt ins OpenVINO-Format exportieren, ohne sie zu verändern oder erneut zu trainieren.
• Für den Einsatz in großem Maßstab entwickelt: Dasselbe exportierte Modell lässt sich auf stromsparenden Edge-Geräten und in großen Cloud-Infrastrukturen bereitstellen. Das vereinfacht die skalierbare KI-Bereitstellung.

Die Leistungsbenchmarks des Ultralytics-YOLO11-Modells auf verschiedenen Intel®-Plattformen kannst du auch im OpenVINO™ Model Hub auswerten. Der OpenVINO Model Hub hilft Entwicklern dabei, KI-Modelle auf Intel-Hardware zu evaluieren und die Leistungsvorteile von OpenVINO auf Intel-CPUs, integrierten GPUs, NPUs und diskreten Grafikprozessoren kennenzulernen.

Abb. 5. OpenVINO™ Model Hub: Leistungsbenchmarks des Ultralytics-YOLO11-Modells auf verschiedenen Intel®-Plattformen.

Anwendungsbereiche von Ultralytics YOLO11 und des OpenVINO-Exportformats#

Dank der OpenVINO-Integration lassen sich Ultralytics-YOLO11-Modelle viel einfacher in realen Anwendungsszenarien auf Intel-Hardware bereitstellen.

Ein gutes Beispiel ist der intelligente Einzelhandel: Ultralytics YOLO11 kann dabei helfen, leere Regale in Echtzeit zu erkennen, Produkte mit knappem Bestand zu verfolgen und die Bewegungen der Kunden im Geschäft zu analysieren. So können Händler die Bestandsverwaltung verbessern und die Ladenaufteilung optimieren, um das Einkaufserlebnis zu verbessern.

Auch in intelligenten Städten lässt sich YOLO11 einsetzen, um den Verkehr zu überwachen, indem Fahrzeuge gezählt, Fußgänger verfolgt und Rotlichtverstöße in Echtzeit erkannt werden. Diese Erkenntnisse können dazu beitragen, den Verkehrsfluss zu optimieren, die Verkehrssicherheit zu erhöhen und automatisierte Überwachungssysteme zu unterstützen.

Abb. 6. Fahrzeuge mit YOLO11 zählen.

Ein weiterer interessanter Anwendungsfall ist die industrielle Inspektion. Dabei kann Ultralytics YOLO11 in Produktionslinien eingesetzt werden, um automatisch sichtbare Mängel wie fehlende Bauteile, Fehlausrichtungen oder Oberflächenschäden zu erkennen. Das steigert die Effizienz, senkt Kosten und trägt zu einer besseren Produktqualität bei.

Wichtige Faktoren bei der Verwendung des OpenVINO-Toolkits#

Beachte bei der Bereitstellung von Ultralytics-YOLO11-Modellen mit OpenVINO einige wichtige Punkte, um die besten Ergebnisse zu erzielen:

• Hardwarekompatibilität prüfen: Stelle sicher, dass deine Intel-Hardware – ob CPU, integrierte GPU oder NPU – von OpenVINO unterstützt wird, damit das Modell effizient ausgeführt werden kann.
• Die richtigen Treiber installieren: Wenn du Intel-GPUs oder NPUs verwendest, prüfe sorgfältig, ob alle erforderlichen Treiber ordnungsgemäß installiert und auf dem neuesten Stand sind.
• Präzisionsabwägungen verstehen: OpenVINO unterstützt die Modellpräzisionen FP32, FP16 und INT8. Du kannst sie beim Export mit dem Argument quantize auswählen (zum Beispiel quantize="int8"). Jede Option stellt einen Kompromiss zwischen Geschwindigkeit und Genauigkeit dar. Daher ist es wichtig, die passende Option entsprechend deinen Leistungszielen und der verfügbaren Hardware zu wählen.

Die wichtigsten Erkenntnisse#

Wenn du Ultralytics YOLO11 ins OpenVINO-Format exportierst, kannst du schnelle und effiziente Computer-Vision-Modelle problemlos auf Intel-Hardware ausführen. Du kannst sie auf CPUs, GPUs und NPUs bereitstellen, ohne sie erneut trainieren oder deinen Code ändern zu müssen. So steigerst du die Leistung und hältst den Ablauf zugleich einfach und skalierbar.

Da die Unterstützung bereits im Ultralytics-Python-Paket enthalten ist, sind der Export und die Inferenz mit OpenVINO unkompliziert. Mit wenigen Schritten kannst du dein Modell optimieren und auf verschiedenen Intel-Plattformen ausführen. Ganz gleich, ob du an intelligentem Einzelhandel, Verkehrsüberwachung oder industrieller Inspektion arbeitest – dieser Ablauf hilft dir, schnell und sicher von der Entwicklung zur Bereitstellung zu gelangen.

Tritt der YOLO-Community bei und sieh dir das Ultralytics-GitHub-Repository an, um mehr über die von Ultralytics unterstützten Integrationen zu erfahren. Wirf auch einen Blick auf die Ultralytics-Lizenzoptionen, um noch heute mit Computer Vision zu beginnen!

Besuche die OpenVINO-Website, um Werkzeuge zur Optimierung und Bereitstellung von KI in großem Maßstab kennenzulernen.