Deploye Ultralytics YOLO11 nahtlos mit OpenVINO™

Die Einführung von KI hängt davon ab, dass KI-Lösungen zugänglich sind. Ein großer Teil davon besteht darin, sie einfach auf der Hardware bereitzustellen, die bereits vorhanden ist. Das Ausführen von KI-Modellen auf GPUs (Grafikprozessoren) ist eine hervorragende Option im Hinblick auf Leistung und parallele Rechenleistung.

Die Realität ist jedoch, dass nicht jeder Zugang zu High-End-GPUs hat, insbesondere in Edge-Umgebungen oder auf alltäglichen Laptops. Deshalb ist es so wichtig, Modelle so zu optimieren, dass sie effizient auf weit verbreiteter Hardware wie CPUs (Hauptprozessoren), integrierten GPUs und NPUs (neuronalen Prozessoren) laufen.

Computer Vision ist beispielsweise ein Zweig der KI, der es Maschinen ermöglicht, Bilder und Videostreams in Echtzeit zu analysieren und zu verstehen. Vision-KI-Modelle wie Ultralytics YOLO11 unterstützen wichtige Aufgaben wie Objekterkennung und Instanzsegmentierung, die Anwendungen von Einzelhandelsanalysen bis hin zu medizinischer Diagnostik ermöglichen.

Abb. 1. Verwendung von Ultralytics YOLO11 zur Erkennung und Segmentierung von Objekten in einem Einzelhandelsgeschäft.

Um Computer Vision breiter zugänglich zu machen, hat Ultralytics eine aktualisierte Integration mit dem OpenVINO Toolkit veröffentlicht. Dies ist ein Open-Source-Projekt zur Optimierung und Ausführung von KI-Inferenz auf CPUs, GPUs und NPUs.

Mit dieser Integration ist es einfacher, YOLO11-Modelle zu exportieren und bereitzustellen, mit einer bis zu 3× schnelleren Inferenz auf CPUs sowie beschleunigter Leistung auf Intel-GPUs und NPUs. In diesem Artikel gehen wir durch, wie du das Ultralytics Python-Paket verwendest, um YOLO11-Modelle in das OpenVINO-Format zu exportieren und für die Inferenz zu nutzen. Fangen wir an!

Link to this sectionEin Überblick über Ultralytics YOLO11#

Bevor wir in die Details der von Ultralytics unterstützten OpenVINO-Integration eintauchen, schauen wir uns genauer an, was YOLO11 zu einem zuverlässigen und wirkungsvollen Computer-Vision-Modell macht. YOLO11 ist das neueste Modell der Ultralytics YOLO-Serie und bietet signifikante Verbesserungen sowohl bei der Geschwindigkeit als auch bei der Genauigkeit.

Einer der wichtigsten Punkte ist die Effizienz. Beispielsweise hat Ultralytics YOLO11m 22 % weniger Parameter als Ultralytics YOLOv8m und erreicht dennoch eine höhere Mean Average Precision (mAP) auf dem COCO-Datensatz. Das bedeutet, es läuft schneller und erkennt Objekte genauer, was es ideal für Echtzeitanwendungen macht, bei denen Leistung und Reaktionsfähigkeit entscheidend sind.

Abb. 2. Ultralytics YOLO11 Leistungsbenchmarks.

Neben der Objekterkennung unterstützt YOLO11 verschiedene fortgeschrittene Computer-Vision-Aufgaben wie Instanzsegmentierung, Pose Estimation, Bildklassifizierung, Objektverfolgung und die Erkennung orientierter Bounding Boxes. YOLO11 ist zudem entwicklerfreundlich; das Ultralytics Python-Paket bietet eine einfache und konsistente Schnittstelle für das Training, die Evaluierung und die Bereitstellung von Modellen.

Darüber hinaus unterstützt das Ultralytics Python-Paket verschiedene Integrationen und mehrere Exportformate, einschließlich OpenVINO, ONNX und TorchScript, sodass du YOLO11 einfach in verschiedene Deployment-Pipelines integrieren kannst. Egal, ob du Cloud-Infrastruktur, Edge-Geräte oder eingebettete Systeme anvisierst, der Exportprozess ist unkompliziert und an deine Hardwareanforderungen anpassbar.

Link to this sectionWas ist OpenVINO™?#

OpenVINO™ (Open Visual Inference and Neural Network Optimization) ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz auf einer Vielzahl von Hardware. Es ermöglicht Entwicklern, leistungsstarke Inferenzanwendungen effizient auf verschiedenen Intel-Plattformen auszuführen, darunter CPUs, integrierte und diskrete GPUs, NPUs sowie FPGAs (field-programmable gate arrays).

OpenVINO bietet eine einheitliche Runtime-Schnittstelle, die Hardwareunterschiede durch gerätespezifische Plugins abstrahiert. Das bedeutet, Entwickler können Code einmal schreiben und mit einer konsistenten API auf mehreren Intel-Hardwarezielen bereitstellen.

Hier sind einige der wichtigsten Funktionen, die OpenVINO zu einer großartigen Wahl für die Bereitstellung machen:

• Modellkonverter: Dieses Tool konvertiert und bereitet Modelle von beliebten Frameworks wie PyTorch, ONNX, TensorFlow, PaddlePaddle und anderen vor, damit sie für eine effiziente Inferenz auf Intel-Hardware optimiert werden können.
• Heterogene Ausführung: Du musst deinen Code nicht für verschiedene Intel-Hardware umschreiben. OpenVINO macht es einfach, dasselbe Modell auf jeder unterstützten Hardware auszuführen, von CPUs bis zu GPUs.
• Quantisierungsunterstützung: Das Toolkit unterstützt Formate mit reduzierter Präzision wie FP16 (Standard) und INT8, die dazu beitragen, die Modellgröße zu verringern und die Inferenz zu beschleunigen, ohne die Genauigkeit signifikant zu beeinträchtigen.

Abb. 3. OpenVINO ermöglicht vielfältige Bereitstellungsoptionen.

Link to this sectionErkundung der Ultralytics x OpenVINO-Integration#

Nachdem wir nun untersucht haben, was OpenVINO ist und warum es wichtig ist, besprechen wir, wie YOLO11-Modelle in das OpenVINO-Format exportiert und eine effiziente Inferenz auf Intel-Hardware ausgeführt werden kann.

Link to this sectionSchritt 1: Installiere das Ultralytics Python-Paket#

Um ein Modell in das OpenVINO-Format zu exportieren, musst du zuerst das Ultralytics Python-Paket installieren. Dieses Paket bietet alles, was du zum Trainieren, Evaluieren und Exportieren von YOLO-Modellen, einschließlich YOLO11, benötigst.

Du kannst es installieren, indem du den Befehl "pip install ultralytics" in deinem Terminal oder deiner Eingabeaufforderung ausführst. Wenn du in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeitest, füge einfach ein Ausrufezeichen vor dem Befehl hinzu.

Solltest du während der Installation oder beim Export auf Probleme stoßen, sind die Ultralytics-Dokumentation und die Troubleshooting-Guides großartige Ressourcen, um dir zu helfen.

Link to this sectionSchritt 2: Exportiere dein YOLO11-Modell in das OpenVINO-Format#

Sobald das Ultralytics-Paket eingerichtet ist, besteht der nächste Schritt darin, dein YOLO11-Modell zu laden und in ein OpenVINO-kompatibles Format zu konvertieren.

Im folgenden Beispiel verwenden wir ein vortrainiertes YOLO11-Modell („yolo11n.pt“). Die Exportfunktionalität wird verwendet, um es in das OpenVINO-Format zu konvertieren. Nach Ausführung dieses Codes wird das konvertierte Modell in einem neuen Verzeichnis namens „yolo11n_openvino_model“ gespeichert.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Link to this sectionSchritt 3: Inferenz mit dem exportierten Modell ausführen#

Sobald dein YOLO11-Modell in das OpenVINO-Format exportiert wurde, kannst du Inferenzen auf zwei Arten ausführen: mit dem Ultralytics Python-Paket oder der nativen OpenVINO Runtime.

Link to this sectionVerwendung des Ultralytics Python-Pakets#

Das exportierte YOLO11-Modell lässt sich einfach mit dem Ultralytics Python-Paket bereitstellen, wie im folgenden Code-Schnipsel gezeigt. Diese Methode ist ideal für schnelle Experimente und eine optimierte Bereitstellung auf Intel-Hardware.

Du kannst auch festlegen, welches Gerät für die Inferenz verwendet werden soll, z. B. "intel:cpu", "intel:gpu" oder "intel:npu", je nachdem, welche Intel-Hardware auf deinem System verfügbar ist.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Nach Ausführung des obigen Codes wird das Ausgabebild im Verzeichnis "runs/detect/predict" gespeichert.

Abb. 4. Verwendung des exportierten YOLO11-Modells zur Erkennung von Objekten in einem Bild.

Link to this sectionVerwendung der nativen OpenVINO Runtime#

Wenn du eine anpassbare Methode für die Inferenz suchst, insbesondere in Produktionsumgebungen, bietet dir die OpenVINO Runtime mehr Kontrolle darüber, wie dein Modell ausgeführt wird. Sie unterstützt erweiterte Funktionen wie asynchrone Ausführung (Ausführung mehrerer Inferenzanfragen parallel) und Lastausgleich (effiziente Verteilung von Inferenz-Workloads auf Intel-Hardware).

Um die native Runtime zu verwenden, benötigst du die exportierten Modelldateien: eine .xml-Datei (die die Netzwerkarchitektur definiert) und eine .bin-Datei (die die trainierten Gewichte des Modells speichert). Du kannst auch zusätzliche Parameter wie Eingabedimensionen oder Vorverarbeitungsschritte je nach Anwendung konfigurieren.

Ein typischer Bereitstellungsablauf umfasst die Initialisierung des OpenVINO-Cores, das Laden und Kompilieren des Modells für ein Zielgerät, die Vorbereitung der Eingabe und die Ausführung der Inferenz. Detaillierte Beispiele und schrittweise Anleitungen findest du in der offiziellen Ultralytics OpenVINO-Dokumentation.

Link to this sectionWarum die Ultralytics x OpenVINO-Integration wählen?#

Während du die Ultralytics-Integrationen erkundest, wirst du feststellen, dass das Ultralytics Python-Paket den Export von YOLO11-Modellen in eine Vielzahl von Formaten wie TorchScript, CoreML, TensorRT und ONNX unterstützt. Warum also die OpenVINO-Integration wählen?

Hier sind einige Gründe, warum das OpenVINO-Exportformat eine gute Wahl für die Bereitstellung von Modellen auf Intel-Hardware ist:

• Leistungssteigerung: Du kannst eine bis zu 3× schnellere Inferenz auf Intel-CPUs erleben, mit zusätzlicher Beschleunigung auf integrierten GPUs und NPUs.
• Kein Umschulen erforderlich: Du kannst deine vorhandenen YOLO11-Modelle direkt in das OpenVINO-Format exportieren, ohne sie zu modifizieren oder neu zu trainieren.
• Für Skalierung gebaut: Dasselbe exportierte Modell kann auf Edge-Geräten mit geringem Stromverbrauch und in Cloud-Infrastrukturen im großen Maßstab bereitgestellt werden, was die skalierbare KI-Bereitstellung vereinfacht.

Du kannst auch die Leistungsbenchmarks für das YOLO11-Modell über eine Reihe von Intel®-Plattformen im OpenVINO™ Model Hub auswerten. Der OpenVINO Model Hub ist eine Ressource für Entwickler, um KI-Modelle auf Intel-Hardware zu bewerten und den Leistungsvorteil von OpenVINO auf Intel-CPUs, integrierten GPUs, NPUs und diskreten Grafikkarten zu entdecken.

Abb. 5. OpenVINO™ Model Hub: Leistungsbenchmarks für das YOLO11-Modell auf einer Reihe von Intel®-Plattformen.

Link to this sectionAnwendungen von YOLO11 und dem OpenVINO-Exportformat#

Mit Hilfe der OpenVINO-Integration wird die Bereitstellung von YOLO11-Modellen auf Intel-Hardware in realen Situationen viel einfacher.

Ein hervorragendes Beispiel ist der intelligente Einzelhandel, wo YOLO11 dabei helfen kann, leere Regale in Echtzeit zu erkennen, zu verfolgen, welche Produkte zur Neige gehen, und zu analysieren, wie sich Kunden durch den Laden bewegen. Dies ermöglicht Einzelhändlern, die Bestandsverwaltung zu verbessern und die Ladengestaltung für eine bessere Kundenbindung zu optimieren.

Ähnlich kann YOLO11 in Smart Cities verwendet werden, um Verkehr zu überwachen, indem Fahrzeuge gezählt, Fußgänger verfolgt und Rotlichtverstöße in Echtzeit erkannt werden. Diese Erkenntnisse können die Optimierung des Verkehrsflusses unterstützen, die Verkehrssicherheit erhöhen und bei automatisierten Durchsetzungssystemen helfen.

Abb. 6. Fahrzeuge zählen mit YOLO11.

Ein weiterer interessanter Anwendungsfall ist die industrielle Inspektion, bei der YOLO11 an Produktionslinien eingesetzt werden kann, um automatisch visuelle Defekte wie fehlende Komponenten, Fehlausrichtungen oder Oberflächenschäden zu erkennen. Dies steigert die Effizienz, senkt Kosten und unterstützt eine bessere Produktqualität.

Link to this sectionWichtige Faktoren bei der Verwendung des OpenVINO Toolkits#

Bei der Bereitstellung von YOLO11-Modellen mit OpenVINO gibt es ein paar wichtige Dinge zu beachten, um die besten Ergebnisse zu erzielen:

• Hardwarekompatibilität prüfen: Stelle sicher, dass deine Intel-Hardware, egal ob CPU, integrierte GPU oder NPU, von OpenVINO unterstützt wird, damit das Modell effizient laufen kann.
• Die richtigen Treiber installieren: Wenn du Intel-GPUs oder NPUs verwendest, prüfe noch einmal, ob alle erforderlichen Treiber ordnungsgemäß installiert und auf dem neuesten Stand sind.
• Präzisionskompromisse verstehen: OpenVINO unterstützt die Modellpräzisionen FP32, FP16 und INT8. Jede hat einen Kompromiss zwischen Geschwindigkeit und Genauigkeit, daher ist es wichtig, die richtige Option basierend auf deinen Leistungszielen und der verfügbaren Hardware zu wählen.

Link to this sectionWichtige Erkenntnisse#

Der Export von Ultralytics YOLO11 in das OpenVINO-Format macht es einfach, schnelle, effiziente Vision-KI-Modelle auf Intel-Hardware auszuführen. Du kannst sie auf CPUs, GPUs und NPUs bereitstellen, ohne neu trainieren oder deinen Code ändern zu müssen. Es ist eine großartige Möglichkeit, die Leistung zu steigern und gleichzeitig alles einfach und skalierbar zu halten.

Dank der Unterstützung im Ultralytics Python-Paket ist das Exportieren und Ausführen der Inferenz mit OpenVINO unkompliziert. In nur wenigen Schritten kannst du dein Modell optimieren und auf einer Vielzahl von Intel-Plattformen ausführen. Egal, ob du an intelligentem Einzelhandel, Verkehrsüberwachung oder industrieller Inspektion arbeitest, dieser Workflow hilft dir, schnell und sicher von der Entwicklung zur Bereitstellung überzugehen.

Tritt der YOLO-Community bei und schau dir das Ultralytics GitHub-Repository an, um mehr über wirkungsvolle Integrationen zu erfahren, die von Ultralytics unterstützt werden. Wirf auch einen Blick auf die Ultralytics Lizenzoptionen, um noch heute mit Computer Vision zu starten!

Melde dich für unser bevorstehendes Webinar an, um die Ultralytics × OpenVINO-Integration in Aktion zu sehen, und besuche die OpenVINO-Website, um Tools zur Optimierung und Bereitstellung von KI im großen Maßstab zu erkunden.