Deploye Ultralytics YOLO11 nahtlos mit OpenVINO™

Die Einführung von KI hängt davon ab, dass KI-Lösungen zugänglich sind. Ein großer Teil davon besteht darin, sie einfach auf der Hardware bereitzustellen, die bereits vorhanden ist. Das Ausführen von KI-Modellen auf GPUs (Grafikprozessoren) ist eine hervorragende Option im Hinblick auf Leistung und parallele Rechenleistung.

Die Realität ist jedoch, dass nicht jeder Zugang zu High-End-GPUs hat, insbesondere in Edge-Umgebungen oder auf alltäglichen Laptops. Deshalb ist es so wichtig, Modelle so zu optimieren, dass sie effizient auf weit verbreiteter Hardware wie CPUs (Hauptprozessoren), integrierten GPUs und NPUs (neuronalen Prozessoren) laufen.

Computer Vision zum Beispiel ist ein Zweig der KI, der es Maschinen ermöglicht, Bilder und Videoströme in Echtzeit zu analysieren und zu verstehen. Vision-KI-Modelle wie Ultralytics YOLO11 unterstützen wichtige Aufgaben wie Objekterkennung und Instanzsegmentierung, die Anwendungen von der Einzelhandelsanalyse bis zur medizinischen Diagnostik antreiben.

Abb. 1: Verwendung von Ultralytics YOLO11 zum Erkennen und Segmentieren von Objekten in einem Einzelhandelsgeschäft.

Um Computer Vision breiter zugänglich zu machen, hat Ultralytics eine aktualisierte Integration mit dem OpenVINO Toolkit veröffentlicht, einem Open-Source-Projekt zur Optimierung und Ausführung von KI-Inferenz über CPUs, GPUs und NPUs hinweg.

Mit dieser Integration ist es einfacher, YOLO11-Modelle mit bis zu 3× schnellerer Inferenz auf CPUs und beschleunigter Leistung auf Intel-GPUs und -NPUs zu exportieren und bereitzustellen. In diesem Artikel gehen wir durch, wie du das Ultralytics Python-Paket verwendest, um YOLO11-Modelle in das OpenVINO-Format zu exportieren und für die Inferenz zu nutzen. Fangen wir an!

Ein Überblick über Ultralytics YOLO11#

Bevor wir in die Details der von Ultralytics unterstützten OpenVINO-Integration eintauchen, schauen wir uns genauer an, was YOLO11 zu einem zuverlässigen und wirkungsvollen Computer-Vision-Modell macht. YOLO11 ist das neueste Modell der Ultralytics YOLO-Serie und bietet signifikante Verbesserungen sowohl bei der Geschwindigkeit als auch bei der Genauigkeit.

Einer der wichtigsten Punkte ist die Effizienz. Beispielsweise hat Ultralytics YOLO11m 22 % weniger Parameter als Ultralytics YOLOv8m und erreicht dennoch eine höhere Mean Average Precision (mAP) auf dem COCO-Datensatz. Das bedeutet, es läuft schneller und erkennt Objekte genauer, was es ideal für Echtzeitanwendungen macht, bei denen Leistung und Reaktionsfähigkeit entscheidend sind.

Abb. 2: Die Leistungs-Benchmarks von Ultralytics YOLO11.

Über die Objekterkennung hinaus unterstützt YOLO11 verschiedene fortgeschrittene Computer-Vision-Aufgaben wie Instanzsegmentierung, Pose Estimation, Bildklassifizierung, Objektverfolgung und die Erkennung von ausgerichteten Bounding Boxes (Oriented Bounding Boxes). YOLO11 ist zudem entwicklerfreundlich, wobei das Ultralytics Python-Paket eine einfache und einheitliche Schnittstelle zum Trainieren, Evaluieren und Bereitstellen von Modellen bietet.

Darüber hinaus unterstützt das Ultralytics Python-Paket verschiedene Integrationen und mehrere Exportformate, darunter OpenVINO, ONNX und TorchScript, sodass du YOLO11 problemlos in verschiedene Bereitstellungspipelines integrieren kannst. Egal, ob du Cloud-Infrastruktur, Edge-Geräte oder eingebettete Systeme anvisierst, der Exportprozess ist unkompliziert und an deine Hardware-Anforderungen anpassbar.

Was ist OpenVINO™?#

OpenVINO™ (Open Visual Inference and Neural Network Optimization) ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz auf einer Vielzahl von Hardware. Es ermöglicht Entwicklern, leistungsstarke Inferenzanwendungen effizient auf verschiedenen Intel-Plattformen auszuführen, darunter CPUs, integrierte und diskrete GPUs, NPUs sowie FPGAs (field-programmable gate arrays).

OpenVINO bietet eine einheitliche Runtime-Schnittstelle, die Hardwareunterschiede durch gerätespezifische Plugins abstrahiert. Das bedeutet, Entwickler können Code einmal schreiben und mit einer konsistenten API auf mehreren Intel-Hardwarezielen bereitstellen.

Hier sind einige der wichtigsten Funktionen, die OpenVINO zu einer großartigen Wahl für die Bereitstellung machen:

• Modellkonverter: Dieses Tool konvertiert und bereitet Modelle von beliebten Frameworks wie PyTorch, ONNX, TensorFlow, PaddlePaddle und anderen vor, damit sie für eine effiziente Inferenz auf Intel-Hardware optimiert werden können.
• Heterogene Ausführung: Du musst deinen Code nicht für verschiedene Intel-Hardware umschreiben. OpenVINO macht es einfach, dasselbe Modell auf jeder unterstützten Hardware auszuführen, von CPUs bis zu GPUs.
• Quantisierungsunterstützung: Das Toolkit unterstützt Formate mit reduzierter Präzision wie FP16 (Standard) und INT8, die dazu beitragen, die Modellgröße zu verringern und die Inferenz zu beschleunigen, ohne die Genauigkeit signifikant zu beeinträchtigen.

Abb. 3: OpenVINO ermöglicht vielfältige Bereitstellungsoptionen.

Erkundung der Ultralytics x OpenVINO-Integration#

Nachdem wir uns angesehen haben, was OpenVINO ist und welche Bedeutung es hat, wollen wir besprechen, wie du Ultralytics YOLO11-Modelle in das OpenVINO-Format exportierst und eine effiziente Inferenz auf Intel-Hardware ausführst.

Schritt 1: Installiere das Ultralytics Python-Paket#

Um ein Modell in das OpenVINO-Format zu exportieren, musst du zuerst das Ultralytics Python-Paket installieren. Dieses Paket bietet alles, was du brauchst, um YOLO-Modelle, einschließlich YOLO11, zu trainieren, zu evaluieren und zu exportieren.

Du kannst es installieren, indem du den Befehl "pip install ultralytics" in deinem Terminal oder deiner Eingabeaufforderung ausführst. Wenn du in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeitest, füge einfach ein Ausrufezeichen vor dem Befehl hinzu.

Wenn du während der Installation oder beim Export auf Probleme stößt, sind die Ultralytics-Dokumentation und die Fehlerbehebungsanleitungen hervorragende Ressourcen, die dir helfen, wieder auf den richtigen Weg zu kommen.

Schritt 2: Exportiere dein Ultralytics YOLO11-Modell in das OpenVINO-Format#

Sobald das Ultralytics-Paket eingerichtet ist, besteht der nächste Schritt darin, dein YOLO11-Modell zu laden und in ein OpenVINO-kompatibles Format zu konvertieren.

Im folgenden Beispiel verwenden wir ein vortrainiertes YOLO11-Modell („yolo11n.pt“). Die Exportfunktionalität wird verwendet, um es in das OpenVINO-Format zu konvertieren. Nach Ausführung dieses Codes wird das konvertierte Modell in einem neuen Verzeichnis namens „yolo11n_openvino_model“ gespeichert.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Schritt 3: Inferenz mit dem exportierten Modell ausführen#

Sobald dein YOLO11-Modell in das OpenVINO-Format exportiert wurde, kannst du Inferenzen auf zwei Arten ausführen: mit dem Ultralytics Python-Paket oder der nativen OpenVINO Runtime.

Verwendung des Ultralytics Python-Pakets#

Das exportierte YOLO11-Modell lässt sich einfach mit dem Ultralytics Python-Paket bereitstellen, wie im folgenden Code-Schnipsel gezeigt. Diese Methode ist ideal für schnelle Experimente und eine optimierte Bereitstellung auf Intel-Hardware.

Du kannst auch festlegen, welches Gerät für die Inferenz verwendet werden soll, z. B. "intel:cpu", "intel:gpu" oder "intel:npu", je nachdem, welche Intel-Hardware auf deinem System verfügbar ist.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Nach Ausführung des obigen Codes wird das Ausgabebild im Verzeichnis "runs/detect/predict" gespeichert.

Abb. 4. Verwendung des exportierten Ultralytics YOLO11-Modells zur Objekterkennung in einem Bild.

Verwendung der nativen OpenVINO Runtime#

Wenn du eine anpassbare Methode für die Inferenz suchst, insbesondere in Produktionsumgebungen, bietet dir die OpenVINO Runtime mehr Kontrolle darüber, wie dein Modell ausgeführt wird. Sie unterstützt erweiterte Funktionen wie asynchrone Ausführung (Ausführung mehrerer Inferenzanfragen parallel) und Lastausgleich (effiziente Verteilung von Inferenz-Workloads auf Intel-Hardware).

Um die native Runtime zu verwenden, benötigst du die exportierten Modelldateien: eine .xml-Datei (die die Netzwerkarchitektur definiert) und eine .bin-Datei (die die trainierten Gewichte des Modells speichert). Du kannst auch zusätzliche Parameter wie Eingabedimensionen oder Vorverarbeitungsschritte je nach Anwendung konfigurieren.

Ein typischer Bereitstellungsablauf umfasst die Initialisierung des OpenVINO-Core, das Laden und Kompilieren des Modells für ein Zielgerät, das Vorbereiten der Eingabe und das Ausführen der Inferenz. Detaillierte Beispiele und eine Schritt-für-Schritt-Anleitung findest du in der offiziellen Ultralytics OpenVINO-Dokumentation.

Warum die Ultralytics x OpenVINO-Integration wählen?#

Während du die Ultralytics-Integrationen erkundest, wirst du feststellen, dass das Ultralytics Python-Paket den Export von YOLO11-Modellen in eine Vielzahl von Formaten wie TorchScript, CoreML, TensorRT und ONNX unterstützt. Warum also die OpenVINO-Integration wählen?

Hier sind einige Gründe, warum das OpenVINO-Exportformat eine gute Wahl für die Bereitstellung von Modellen auf Intel-Hardware ist:

• Leistungssteigerungen: Du kannst eine bis zu 3× schnellere Inferenz auf Intel-CPUs erleben, mit zusätzlicher Beschleunigung auf integrierten GPUs und NPUs.
• Kein Retraining erforderlich: Du kannst deine bestehenden Ultralytics YOLO11-Modelle direkt in das OpenVINO-Format exportieren, ohne sie zu modifizieren oder neu zu trainieren.
• Für Skalierbarkeit entwickelt: Dasselbe exportierte Modell kann auf leistungsschwachen Edge-Geräten und groß angelegten Cloud-Infrastrukturen bereitgestellt werden, was die skalierbare KI-Bereitstellung vereinfacht.

Du kannst auch die Leistungs-Benchmarks für das Ultralytics YOLO11-Modell auf verschiedenen Intel®-Plattformen im OpenVINO™ Model Hub auswerten. Der OpenVINO Model Hub ist eine Ressource für Entwickler, um KI-Modelle auf Intel-Hardware zu bewerten und den Leistungsvorteil von OpenVINO auf Intel CPUs, integrierten GPUs, NPUs und diskreten Grafikkarten zu entdecken.

Abb. 5. OpenVINO™ Model Hub: Leistungskennzahlen für das Ultralytics YOLO11-Modell auf verschiedenen Intel®-Plattformen.

Anwendungen von Ultralytics YOLO11 und dem OpenVINO-Exportformat#

Mit Hilfe der OpenVINO-Integration wird die Bereitstellung von Ultralytics YOLO11-Modellen auf Intel-Hardware in realen Szenarien deutlich einfacher.

Ein tolles Beispiel ist der intelligente Einzelhandel, in dem Ultralytics YOLO11 dabei helfen kann, leere Regale in Echtzeit zu erkennen, zu verfolgen, welche Produkte zur Neige gehen, und zu analysieren, wie sich Kunden durch das Geschäft bewegen. Dies ermöglicht es Einzelhändlern, das Bestandsmanagement zu verbessern und Ladengestaltungen für ein besseres Kundenerlebnis zu optimieren.

Ebenso kann YOLO11 in Smart Cities zur Verkehrsüberwachung eingesetzt werden, indem Fahrzeuge gezählt, Fußgänger verfolgt und Rotlichtverstöße in Echtzeit erkannt werden. Diese Erkenntnisse können zur Optimierung des Verkehrsflusses beitragen, die Verkehrssicherheit verbessern und automatisierte Überwachungssysteme unterstützen.

Abb. 6: Zählen von Fahrzeugen mit YOLO11.

Ein weiterer interessanter Anwendungsfall ist die industrielle Inspektion, bei der Ultralytics YOLO11 an Produktionslinien eingesetzt werden kann, um visuelle Mängel wie fehlende Komponenten, Fehlausrichtungen oder Oberflächenschäden automatisch zu erkennen. Dies steigert die Effizienz, senkt die Kosten und unterstützt eine bessere Produktqualität.

Wichtige Faktoren bei der Verwendung des OpenVINO Toolkits#

Beachte beim Bereitstellen von Ultralytics YOLO11-Modellen mit OpenVINO einige wichtige Dinge, um die besten Ergebnisse zu erzielen:

• Hardware-Kompatibilität prüfen: Stelle sicher, dass deine Intel-Hardware – egal ob CPU, integrierte GPU oder NPU – von OpenVINO unterstützt wird, damit das Modell effizient ausgeführt werden kann.
• Die richtigen Treiber installieren: Wenn du Intel-GPUs oder NPUs verwendest, prüfe noch einmal, ob alle erforderlichen Treiber ordnungsgemäß installiert und auf dem neuesten Stand sind.
• Präzisions-Abwägungen verstehen: OpenVINO unterstützt die Modellpräzisionen FP32, FP16 und INT8. Jede davon bringt einen Kompromiss zwischen Geschwindigkeit und Genauigkeit mit sich, weshalb es wichtig ist, die richtige Option basierend auf deinen Leistungszielen und der verfügbaren Hardware auszuwählen.

Wichtige Erkenntnisse#

Der Export von Ultralytics YOLO11 in das OpenVINO-Format macht es einfach, schnelle, effiziente Vision-KI-Modelle auf Intel-Hardware auszuführen. Du kannst sie auf CPUs, GPUs und NPUs bereitstellen, ohne neu trainieren oder deinen Code ändern zu müssen. Es ist eine großartige Möglichkeit, die Leistung zu steigern und gleichzeitig alles einfach und skalierbar zu halten.

Dank der Unterstützung im Ultralytics Python-Paket ist das Exportieren und Ausführen der Inferenz mit OpenVINO unkompliziert. In nur wenigen Schritten kannst du dein Modell optimieren und auf einer Vielzahl von Intel-Plattformen ausführen. Egal, ob du an intelligentem Einzelhandel, Verkehrsüberwachung oder industrieller Inspektion arbeitest, dieser Workflow hilft dir, schnell und sicher von der Entwicklung zur Bereitstellung überzugehen.

Trete der YOLO-Community bei und schaue dir das Ultralytics-GitHub-Repository an, um mehr über wirkungsvolle Integrationen zu erfahren, die von Ultralytics unterstützt werden. Wirf außerdem einen Blick auf die Ultralytics-Lizenzierungsoptionen, um noch heute mit Computer Vision zu beginnen!

Melde dich für unser kommendes Webinar an, um die Integration von Ultralytics und OpenVINO in Aktion zu sehen, und besuche die OpenVINO-Website, um Tools zur Optimierung und Bereitstellung von KI im großen Maßstab zu erkunden.