Erfahren Sie, wie der Export von Ultralytics YOLO11 in das OpenVINO™-Format eine blitzschnelle Inferenz auf Intel®-Hardware ermöglicht und so Geschwindigkeit, Skalierbarkeit und Genauigkeit verbessert.
Die Einführung von KI hängt davon ab, dass KI-Lösungen zugänglich sind, und ein großer Teil davon besteht darin, sie einfach auf der Hardware bereitzustellen, die die Leute bereits haben. Das Ausführen von KI-Modellen auf GPUs (Graphics Processing Units) ist eine großartige Option in Bezug auf Leistung und parallele Verarbeitungskraft.
Die Realität sieht jedoch so aus, dass nicht jeder Zugang zu High-End-GPUs hat, insbesondere in Edge-Umgebungen oder auf alltäglichen Laptops. Deshalb ist es so wichtig, Modelle so zu optimieren, dass sie effizient auf weit verbreiteteren Hardware wie Central Processing Units (CPUs), integrierten GPUs und Neural Processing Units (NPUs) laufen.
Computer Vision ist beispielsweise ein Zweig der KI, der es Maschinen ermöglicht, Bilder und Videostreams in Echtzeit zu analysieren und zu verstehen. Vision-KI-Modelle wie Ultralytics YOLO11 unterstützen wichtige Aufgaben wie Objekterkennung und Instanzsegmentierung, die Anwendungen von Einzelhandelsanalysen bis hin zu medizinischer Diagnostik ermöglichen.
Um Computer Vision einem breiteren Publikum zugänglich zu machen, hat Ultralytics eine aktualisierte Integration mit dem OpenVINO-Toolkit veröffentlicht, einem Open-Source-Projekt zur Optimierung und Ausführung von KI-Inferenz auf CPUs, GPUs und NPUs.
Mit dieser Integration ist es einfacher, YOLO11-Modelle zu exportieren und bereitzustellen, mit bis zu 3-fach schnellerer Inferenz auf CPUs und beschleunigter Leistung auf Intel-GPUs und -NPUs. In diesem Artikel werden wir durchgehen, wie Sie das Ultralytics Python-Paket verwenden, um YOLO11-Modelle in das OpenVINO-Format zu exportieren und es für die Inferenz zu verwenden. Lass uns anfangen!
Bevor wir uns mit den Details der von Ultralytics unterstützten OpenVINO-Integration befassen, wollen wir uns genauer ansehen, was YOLO11 zu einem zuverlässigen und wirkungsvollen Computer-Vision-Modell macht. YOLO11 ist das neueste Modell der Ultralytics YOLO-Serie und bietet deutliche Verbesserungen in Bezug auf Geschwindigkeit und Genauigkeit.
Einer der wichtigsten Vorteile ist die Effizienz. Zum Beispiel hat Ultralytics YOLO11m 22 % weniger Parameter als Ultralytics YOLOv8m, erreicht aber eine höhere mittlere durchschnittliche Präzision (mAP) auf dem COCO-Datensatz. Das bedeutet, dass es schneller läuft und auch Objekte genauer erkennt, was es ideal für Echtzeitanwendungen macht, bei denen Leistung und Reaktionsfähigkeit entscheidend sind.
Über die Objekterkennung hinaus unterstützt YOLO11 verschiedene fortschrittliche Computer Vision Aufgaben, wie z. B. Instanzsegmentierung, Pose-Schätzung, Bildklassifizierung, Objektverfolgung und Erkennung von orientierten Bounding Boxes. YOLO11 ist zudem entwicklerfreundlich, da das Ultralytics Python-Paket eine einfache und konsistente Schnittstelle für das Trainieren, Evaluieren und Bereitstellen von Modellen bietet.
Darüber hinaus unterstützt das Ultralytics Python-Paket verschiedene Integrationen und mehrere Exportformate, darunter OpenVINO, ONNX, TorchScript, sodass Sie YOLO11 problemlos in verschiedene Deployment-Pipelines integrieren können. Ob Sie nun Cloud-Infrastrukturen, Edge-Geräte oder eingebettete Systeme anvisieren, der Exportprozess ist unkompliziert und an Ihre Hardwareanforderungen anpassbar.
OpenVINO™ (Open Visual Inference and Neural Network Optimization) ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz auf einer Vielzahl von Hardware. Es ermöglicht Entwicklern, hochleistungsfähige Inferenzanwendungen effizient auf verschiedenen Intel-Plattformen auszuführen, darunter CPUs, integrierte und diskrete GPUs, NPUs und Field-Programmable Gate Arrays (FPGAs).
OpenVINO bietet eine einheitliche Laufzeitschnittstelle, die Hardwareunterschiede durch gerätespezifische Plugins abstrahiert. Das bedeutet, dass Entwickler Code einmal schreiben und ihn mit einer konsistenten API auf verschiedenen Intel-Hardwarezielen bereitstellen können.
Hier sind einige der wichtigsten Funktionen, die OpenVINO zu einer guten Wahl für die Bereitstellung machen:
Nachdem wir nun untersucht haben, was OpenVINO ist und welche Bedeutung es hat, wollen wir erörtern, wie man YOLO11-Modelle in das OpenVINO-Format exportiert und eine effiziente Inferenz auf Intel-Hardware ausführt.
Um ein Modell in das OpenVINO-Format zu exportieren, müssen Sie zuerst das Ultralytics Python-Paket installieren. Dieses Paket bietet alles, was Sie zum Trainieren, Evaluieren und Exportieren von YOLO-Modellen benötigen, einschließlich YOLO11.
Sie können es installieren, indem Sie den Befehl "pip install ultralytics" in Ihrem Terminal oder Ihrer Eingabeaufforderung ausführen. Wenn Sie in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeiten, fügen Sie einfach ein Ausrufezeichen vor dem Befehl hinzu.
Sollten Sie während der Installation oder beim Exportieren auf Probleme stoßen, sind die Ultralytics-Dokumentation und die Fehlerbehebungsanleitungen eine gute Hilfe, um wieder auf den richtigen Weg zu kommen.
Sobald das Ultralytics-Paket eingerichtet ist, besteht der nächste Schritt darin, Ihr YOLO11-Modell zu laden und in ein mit OpenVINO kompatibles Format zu konvertieren.
Im folgenden Beispiel verwenden wir ein vortrainiertes YOLO11-Modell („yolo11n.pt“). Die Exportfunktion wird verwendet, um es in das OpenVINO-Format zu konvertieren. Nach dem Ausführen dieses Codes wird das konvertierte Modell in einem neuen Verzeichnis namens „yolo11n_openvino_model“ gespeichert.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="openvino")Sobald Ihr YOLO11-Modell in das OpenVINO-Format exportiert wurde, können Sie Inferenz auf zwei Arten durchführen: mit dem Ultralytics Python-Paket oder der nativen OpenVINO Runtime.
Das exportierte YOLO11-Modell kann einfach mit dem Ultralytics Python-Paket bereitgestellt werden, wie im folgenden Code-Snippet gezeigt. Diese Methode ist ideal für schnelle Experimente und eine optimierte Bereitstellung auf Intel-Hardware.
Sie können auch festlegen, welches Gerät für die Inferenz verwendet werden soll, z. B. "intel:cpu", "intel:gpu" oder "intel:npu", abhängig von der auf Ihrem System verfügbaren Intel-Hardware.
ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")Nach Ausführung des obigen Codes wird das Ausgabebild im Verzeichnis „runs/detect/predict“ gespeichert.
Wenn Sie nach einer anpassbaren Möglichkeit suchen, Inferenz auszuführen, insbesondere in Produktionsumgebungen, bietet Ihnen die OpenVINO Runtime mehr Kontrolle darüber, wie Ihr Modell ausgeführt wird. Sie unterstützt erweiterte Funktionen wie asynchrone Ausführung (paralleles Ausführen mehrerer Inferenzanfragen) und Load Balancing (effizientes Verteilen von Inferenz-Workloads auf Intel-Hardware).
Um die native Laufzeitumgebung zu nutzen, benötigen Sie die exportierten Modelldateien: eine .xml-Datei (die die Netzwerkarchitektur definiert) und eine .bin-Datei (die die trainierten Gewichte des Modells speichert). Sie können auch zusätzliche Parameter wie Eingabedimensionen oder Vorverarbeitungsschritte konfigurieren, abhängig von Ihrer Anwendung.
Ein typischer Deployment-Ablauf umfasst das Initialisieren des OpenVINO-Kerns, das Laden und Kompilieren des Modells für ein Zielgerät, das Vorbereiten der Eingabe und das Ausführen der Inferenz. Detaillierte Beispiele und eine schrittweise Anleitung finden Sie in der offiziellen Ultralytics OpenVINO-Dokumentation.
Bei der Erkundung von Ultralytics-Integrationen werden Sie feststellen, dass das Ultralytics Python-Paket den Export von YOLO11-Modellen in eine Vielzahl von Formaten wie TorchScript, CoreML, TensorRT und ONNX unterstützt. Warum also die OpenVINO-Integration wählen?
Hier sind einige Gründe, warum das OpenVINO-Exportformat sich hervorragend für die Bereitstellung von Modellen auf Intel-Hardware eignet:
Sie können die Performance-Benchmarks für das YOLO11-Modell auf einer Reihe von Intel®-Plattformen im OpenVINO™ Model Hub evaluieren. Der OpenVINO Model Hub ist eine Ressource für Entwickler, um KI-Modelle auf Intel-Hardware zu evaluieren und den Performance-Vorteil von OpenVINO auf Intel-CPUs, integrierten GPUs, NPUs und diskreten Grafikkarten zu entdecken.
Mithilfe der OpenVINO-Integration wird die Bereitstellung von YOLO11-Modellen auf Intel-Hardware in realen Situationen erheblich vereinfacht.
Ein gutes Beispiel ist der intelligente Einzelhandel, bei dem YOLOv8 helfen kann, leere Regale in Echtzeit zu erkennen, zu verfolgen, welche Produkte zur Neige gehen, und zu analysieren, wie sich Kunden durch das Geschäft bewegen. Dies ermöglicht es Einzelhändlern, die Bestandsverwaltung zu verbessern und die Ladenlayouts für ein besseres Kundenengagement zu optimieren.
In Smart Cities kann YOLO11 ebenfalls zur Verkehrsüberwachung eingesetzt werden, indem es Fahrzeuge zählt, Fußgänger verfolgt und Rotlichtverstöße in Echtzeit erkennt. Diese Erkenntnisse können die Optimierung des Verkehrsflusses unterstützen, die Verkehrssicherheit verbessern und bei automatisierten Überwachungssystemen helfen.
Ein weiteres interessantes Anwendungsbeispiel ist die industrielle Inspektion, bei der YOLO11 auf Produktionslinien eingesetzt werden kann, um visuelle Fehler wie fehlende Komponenten, Fehlausrichtungen oder Oberflächenschäden automatisch zu erkennen. Dies steigert die Effizienz, senkt die Kosten und unterstützt eine bessere Produktqualität.
Hier sind ein paar wichtige Punkte, die Sie bei der Bereitstellung von YOLO11-Modellen mit OpenVINO beachten sollten, um die besten Ergebnisse zu erzielen:
Der Export von Ultralytics YOLOv8 in das OpenVINO-Format macht es einfach, schnelle und effiziente Vision AI-Modelle auf Intel-Hardware auszuführen. Sie können diese auf CPUs, GPUs und NPUs bereitstellen, ohne Ihr Modell neu trainieren oder Ihren Code ändern zu müssen. Dies ist eine hervorragende Möglichkeit, die Leistung zu steigern und gleichzeitig die Dinge einfach und skalierbar zu halten.
Mit der in das Ultralytics Python-Paket integrierten Unterstützung ist das Exportieren und Ausführen von Inferenz mit OpenVINO unkompliziert. In nur wenigen Schritten können Sie Ihr Modell optimieren und es auf einer Vielzahl von Intel-Plattformen ausführen. Egal, ob Sie an intelligentem Einzelhandel, Verkehrsüberwachung oder industrieller Inspektion arbeiten, dieser Workflow hilft Ihnen, schnell und sicher von der Entwicklung zur Bereitstellung zu gelangen.
Treten Sie der YOLO-Community bei und sehen Sie sich das Ultralytics GitHub-Repository an, um mehr über die wirkungsvollen Integrationen zu erfahren, die von Ultralytics unterstützt werden. Werfen Sie auch einen Blick auf die Ultralytics-Lizenzoptionen, um noch heute mit Computer Vision zu beginnen!
Melden Sie sich für unser kommendes Webinar an, um die Ultralytics × OpenVINO-Integration in Aktion zu sehen, und besuchen Sie die OpenVINO-Website, um Tools zur Optimierung und Bereitstellung von KI in großem Maßstab zu erkunden.
.webp)