Wenn Sie auf "Alle Cookies akzeptieren" klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Navigation auf der Website zu verbessern, die Nutzung der Website zu analysieren und unsere Marketingaktivitäten zu unterstützen. Mehr Infos
Cookie-Einstellungen
Wenn Sie auf "Alle Cookies akzeptieren" klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Navigation auf der Website zu verbessern, die Nutzung der Website zu analysieren und unsere Marketingaktivitäten zu unterstützen. Mehr Infos
Erfahren Sie, wie der Export von Ultralytics YOLO11 in das OpenVINO™-Format blitzschnelle Inferenzen auf Intel®-Hardware ermöglicht und so die Geschwindigkeit, Skalierbarkeit und Genauigkeit erhöht.
Die Akzeptanz von KI hängt davon ab, dass KI-Lösungen zugänglich sind, und ein wichtiger Teil davon ist, dass sie auf der Hardware, die die Menschen bereits besitzen, einfach eingesetzt werden können. Die Ausführung von KI-Modellen auf GPUs (Grafikprozessoren) ist eine großartige Option in Bezug auf Leistung und parallele Verarbeitung.
Die Realität sieht jedoch so aus, dass nicht jeder Zugang zu High-End-GPUs hat, insbesondere in Randbereichen oder auf normalen Laptops. Deshalb ist es so wichtig, Modelle so zu optimieren, dass sie auf weit verbreiteter Hardware wie zentralen Recheneinheiten (CPUs), integrierten GPUs und neuronalen Recheneinheiten (NPUs) effizient laufen.
Computer Vision beispielsweise ist ein Zweig der KI, der es Maschinen ermöglicht, Bilder und Videoströme in Echtzeit zu analysieren und zu verstehen. KI-Modelle wie Ultralytics YOLO11 unterstützen wichtige Aufgaben wie Objekterkennung und Instanzsegmentierung, die Anwendungen von der Einzelhandelsanalyse bis zur medizinischen Diagnostik unterstützen.
Abb. 1. Einsatz von Ultralytics YOLO11 zur Erkennung und Segmentierung von Objekten in einem Einzelhandelsgeschäft.
Um Computer Vision einem breiteren Publikum zugänglich zu machen, hat Ultralytics eine aktualisierte Integration mit dem OpenVINO-Toolkit veröffentlicht, einem Open-Source-Projekt zur Optimierung und Ausführung von KI-Inferenzen auf CPUs, GPUs und NPUs.
Mit dieser Integration ist es einfacher, YOLO11-Modelle zu exportieren und bereitzustellen, mit bis zu 3x schnellerer Inferenz auf CPUs und beschleunigter Leistung auf Intel GPUs und NPUs. In diesem Artikel zeigen wir Ihnen, wie Sie das Ultralytics Python-Paket verwenden, um YOLO11-Modelle in das OpenVINO-Format zu exportieren und für Inferenzen zu verwenden. Legen wir los!
Ein Überblick über Ultralytics YOLO11
Bevor wir uns mit den Einzelheiten der von Ultralytics unterstützten OpenVINO-Integration befassen, wollen wir uns genauer ansehen, was YOLO11 zu einem zuverlässigen und wirkungsvollen Computer-Vision-Modell macht. YOLO11 ist das neueste Modell der YOLO-Serie von Ultralytics und bietet erhebliche Verbesserungen bei Geschwindigkeit und Genauigkeit.
Einer der wichtigsten Punkte ist die Effizienz. Ultralytics YOLO11m hat beispielsweise 22 % weniger Parameter als Ultralytics YOLOv8m und erreicht dennoch eine höhere durchschnittliche Genauigkeit (mAP) auf dem COCO-Datensatz. Das bedeutet, dass es schneller läuft und auch Objekte genauer erkennt, was es ideal für Echtzeitanwendungen macht, bei denen Leistung und Reaktionsfähigkeit entscheidend sind.
Abb. 2. Leistungsbenchmarks von Ultralytics YOLO11.
Neben der Objekterkennung unterstützt YOLO11 verschiedene fortgeschrittene Computer-Vision-Aufgaben wie Instanzsegmentierung, Posenschätzung, Bildklassifizierung, Objektverfolgung und orientierte Bounding-Box-Erkennung. YOLO11 ist auch entwicklerfreundlich. Das Python-Paket Ultralytics bietet eine einfache und konsistente Schnittstelle für das Training, die Bewertung und den Einsatz von Modellen.
Darüber hinaus unterstützt das Ultralytics Python-Paket verschiedene Integrationen und mehrere Exportformate, darunter OpenVINO, ONNX und TorchScript, so dass Sie YOLO11 problemlos in verschiedene Bereitstellungspipelines integrieren können. Ganz gleich, ob Sie auf Cloud-Infrastrukturen, Edge-Geräte oder eingebettete Systeme abzielen, der Exportprozess ist unkompliziert und lässt sich an Ihre Hardwareanforderungen anpassen.
Was ist OpenVINO™?
OpenVINO™ (Open Visual Inference and Neural Network Optimization) ist ein Open-Source-Toolkit für die Optimierung und den Einsatz von KI-Inferenzen auf einer breiten Palette von Hardware. Es ermöglicht Entwicklern die effiziente Ausführung hochleistungsfähiger Inferenzanwendungen auf verschiedenen Intel-Plattformen, darunter CPUs, integrierte und diskrete GPUs, NPUs und FPGAs (Field-Programmable Gate Arrays).
OpenVINO bietet eine einheitliche Laufzeitschnittstelle, die Hardwareunterschiede durch gerätespezifische Plugins abstrahiert. Das bedeutet, dass Entwickler nur einmal Code schreiben und diesen über eine einheitliche API auf mehreren Intel-Hardwarezielen einsetzen können.
Hier sind einige der wichtigsten Funktionen, die OpenVINO zu einer guten Wahl für die Bereitstellung machen:
Modellkonverter: Dieses Tool konvertiert und bereitet Modelle aus beliebten Frameworks wie PyTorch, ONNX, TensorFlow, PaddlePaddle und anderen vor, so dass sie für effiziente Inferenz auf Intel-Hardware optimiert werden können.
Heterogene Ausführung: Sie müssen Ihren Code nicht für unterschiedliche Intel-Hardware neu schreiben. OpenVINO macht es einfach, dasselbe Modell auf jeder unterstützten Hardware auszuführen, von CPUs bis hin zu GPUs.
Unterstützung der Quantisierung: Das Toolkit unterstützt Formate mit reduzierter Genauigkeit wie FP16 (Standard) und INT8, die dazu beitragen, die Modellgröße zu verringern und die Inferenz zu beschleunigen, ohne die Genauigkeit wesentlich zu beeinträchtigen.
Nachdem wir nun erfahren haben, was OpenVINO ist und welche Bedeutung es hat, wollen wir nun besprechen, wie man YOLO11-Modelle in das OpenVINO-Format exportiert und effiziente Inferenzen auf Intel-Hardware durchführt.
Schritt 1: Installieren Sie das Ultralytics Python-Paket
Um ein Modell in das OpenVINO-Format zu exportieren, müssen Sie zunächst das Ultralytics Python-Paket installieren. Dieses Paket enthält alles, was Sie zum Trainieren, Bewerten und Exportieren von YOLO-Modellen benötigen, einschließlich YOLO11.
Sie können es installieren, indem Sie den Befehl"pip install ultralytics" in Ihrem Terminal oder Ihrer Eingabeaufforderung ausführen. Wenn Sie in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeiten, fügen Sie einfach ein Ausrufezeichen vor den Befehl.
Sollten Sie während der Installation oder des Exports auf Probleme stoßen, sind die Ultralytics-Dokumentation und die Anleitungen zur Fehlerbehebung hervorragende Hilfsmittel, die Ihnen helfen, wieder auf den richtigen Weg zu kommen.
Schritt 2: Exportieren Sie Ihr YOLO11-Modell in das OpenVINO-Format
Sobald das Ultralytics-Paket eingerichtet ist, müssen Sie im nächsten Schritt Ihr YOLO11-Modell laden und in ein mit OpenVINO kompatibles Format konvertieren.
Im folgenden Beispiel verwenden wir ein vortrainiertes YOLO11-Modell ("yolo11n.pt"). Die Exportfunktion wird verwendet, um es in das OpenVINO-Format zu konvertieren. Nach der Ausführung dieses Codes wird das konvertierte Modell in einem neuen Verzeichnis namens "yolo11n_openvino_model" gespeichert.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="openvino")
Schritt 3: Inferenz mit dem exportierten Modell durchführen
Sobald Ihr YOLO11-Modell in das OpenVINO-Format exportiert wurde, können Sie auf zwei Arten Schlussfolgerungen ziehen: mit dem Ultralytics-Python-Paket oder der nativen OpenVINO-Laufzeitumgebung.
Verwendung des Ultralytics Python-Pakets
Das exportierte YOLO11-Modell kann mit Hilfe des Ultralytics-Python-Pakets einfach eingesetzt werden, wie im nachstehenden Codeschnipsel gezeigt. Diese Methode ist ideal für schnelle Experimente und eine optimierte Bereitstellung auf Intel-Hardware.
Sie können auch angeben, welches Gerät für die Inferenz verwendet werden soll, z. B. "intel:cpu", "intel:gpu" oder "intel:npu", je nachdem, welche Intel-Hardware auf Ihrem System verfügbar ist.
Nach Ausführung des obigen Codes wird das Ausgabebild im Verzeichnis "runs/detect/predict" gespeichert.
Abb. 4. Verwendung des exportierten YOLO11-Modells zur Erkennung von Objekten in einem Bild.
Verwendung der nativen OpenVINO Runtime
Wenn Sie auf der Suche nach einer anpassbaren Methode zur Ausführung von Inferenzen sind, insbesondere in Produktionsumgebungen, bietet Ihnen die OpenVINO-Laufzeitumgebung mehr Kontrolle darüber, wie Ihr Modell ausgeführt wird. Sie unterstützt fortschrittliche Funktionen wie asynchrone Ausführung (parallele Ausführung mehrerer Inferenzanfragen) und Lastausgleich (effiziente Verteilung von Inferenz-Workloads auf Intel-Hardware).
Um die native Laufzeit zu nutzen, benötigen Sie die exportierten Modelldateien: eine .xml-Datei (die die Netzwerkarchitektur definiert) und eine .bin-Datei (die die trainierten Gewichte des Modells speichert). Außerdem können Sie je nach Anwendung zusätzliche Parameter wie Eingabedimensionen oder Vorverarbeitungsschritte konfigurieren.
Ein typischer Einsatzablauf umfasst die Initialisierung des OpenVINO-Kerns, das Laden und Kompilieren des Modells für ein Zielgerät, die Vorbereitung der Eingabe und die Ausführung der Inferenz. Ausführliche Beispiele und schrittweise Anleitungen finden Sie in der offiziellen Ultralytics OpenVINO-Dokumentation.
Warum sollten Sie sich für die Ultralytics x OpenVINO-Integration entscheiden?
Bei der Erkundung der Ultralytics-Integrationen werden Sie feststellen, dass das Ultralytics-Python-Paket den Export von YOLO11-Modellen in eine Vielzahl von Formaten wie TorchScript, CoreML, TensorRT und ONNX unterstützt. Warum also die OpenVINO-Integration wählen?
Hier sind einige Gründe, warum das OpenVINO-Exportformat für die Bereitstellung von Modellen auf Intel-Hardware hervorragend geeignet ist:
Leistungssteigerung: Auf Intel-CPUs können Sie bis zu dreimal schnellere Schlussfolgerungen ziehen, und auf integrierten GPUs und NPUs ist zusätzliche Beschleunigung möglich.
Keine Nachschulung erforderlich: Sie können Ihre bestehenden YOLO11-Modelle direkt in das OpenVINO-Format exportieren, ohne sie zu verändern oder neu zu trainieren.
Für die Skalierung entwickelt: Dasselbe exportierte Modell kann auf stromsparenden Edge-Geräten und in großen Cloud-Infrastrukturen eingesetzt werden, was die skalierbare KI-Bereitstellung vereinfacht.
Sie können auch die Leistungsbenchmarks für das YOLO11-Modell auf einer Reihe von Intel®-Plattformen auf dem OpenVINO™ Model Hub auswerten. Der OpenVINO Model Hub ist eine Ressource für Entwickler, um KI-Modelle auf Intel-Hardware zu evaluieren und den Leistungsvorteil von OpenVINO auf Intel-CPUs, integrierten GPUs, NPUs und diskreten Grafiken zu entdecken.
Abb. 5. OpenVINO™ Model Hub: Leistungs-Benchmarks für das YOLO11-Modell auf einer Reihe von Intel®-Plattformen.
Anwendungen von YOLO11 und dem OpenVINO-Exportformat
Mit Hilfe der OpenVINO-Integration wird der Einsatz von YOLO11-Modellen auf Intel-Hardware in realen Situationen wesentlich einfacher.
Ein großartiges Beispiel ist der intelligente Einzelhandel, wo YOLO11 helfen kann, leere Regale in Echtzeit zu erkennen, zu verfolgen, welche Produkte zur Neige gehen, und zu analysieren, wie sich die Kunden durch den Laden bewegen. Dadurch können Einzelhändler die Bestandsverwaltung verbessern und das Ladenlayout für eine bessere Kundenbindung optimieren.
Ebenso kann YOLO11 in intelligenten Städten zur Verkehrsüberwachung eingesetzt werden, indem Fahrzeuge gezählt, Fußgänger verfolgt und Rotlichtverstöße in Echtzeit erkannt werden. Diese Erkenntnisse können zur Optimierung des Verkehrsflusses, zur Verbesserung der Verkehrssicherheit und zur Unterstützung automatischer Durchsetzungssysteme beitragen.
Ein weiterer interessanter Anwendungsfall ist die industrielle Inspektion, bei der YOLO11 in Produktionslinien eingesetzt werden kann, um visuelle Defekte wie fehlende Komponenten, Ausrichtungsfehler oder Oberflächenschäden automatisch zu erkennen. Dies steigert die Effizienz, senkt die Kosten und unterstützt eine bessere Produktqualität.
Wichtige Faktoren, die bei der Verwendung des OpenVINO-Toolkits zu beachten sind
Beim Einsatz von YOLO11-Modellen mit OpenVINO sind einige wichtige Dinge zu beachten, um die besten Ergebnisse zu erzielen:
Hardware-Kompatibilität prüfen: Vergewissern Sie sich, dass Ihre Intel-Hardware, sei es eine CPU, eine integrierte GPU oder eine NPU, von OpenVINO unterstützt wird, damit das Modell effizient ausgeführt werden kann.
Installieren Sie die richtigen Treiber: Wenn Sie Intel-GPUs oder -NPUs verwenden, überprüfen Sie, ob alle erforderlichen Treiber ordnungsgemäß installiert und auf dem neuesten Stand sind.
Verstehen Sie Präzision Kompromisse: OpenVINO unterstützt die Modellgenauigkeiten FP32, FP16 und INT8. Jedes Modell ist mit einem Kompromiss zwischen Geschwindigkeit und Genauigkeit verbunden, daher ist es wichtig, die richtige Option auf der Grundlage Ihrer Leistungsziele und der verfügbaren Hardware zu wählen.
Die wichtigsten Erkenntnisse
Der Export von Ultralytics YOLO11 in das OpenVINO-Format erleichtert die Ausführung schneller, effizienter Vision AI-Modelle auf Intel-Hardware. Sie können sie auf CPUs, GPUs und NPUs einsetzen, ohne dass Sie Ihren Code neu trainieren oder ändern müssen. Dies ist eine großartige Möglichkeit, die Leistung zu steigern und gleichzeitig die Dinge einfach und skalierbar zu halten.
Dank der in das Ultralytics-Python-Paket integrierten Unterstützung ist das Exportieren und Ausführen von Schlussfolgerungen mit OpenVINO ganz einfach. In nur wenigen Schritten können Sie Ihr Modell optimieren und es auf einer Vielzahl von Intel-Plattformen ausführen. Ganz gleich, ob Sie an einem intelligenten Einzelhandel, einer Verkehrsüberwachung oder einer industriellen Inspektion arbeiten, dieser Arbeitsablauf hilft Ihnen, schnell und sicher von der Entwicklung zur Bereitstellung zu gelangen.
Schließen Sie sich der YOLO-Gemeinschaft an und besuchen Sie das Ultralytics GitHub-Repository, um mehr über die von Ultralytics unterstützten wirkungsvollen Integrationen zu erfahren. Werfen Sie auch einen Blick auf die Ultralytics Lizenzierungsoptionen, um noch heute mit Computer Vision zu beginnen!
Melden Sie sich für unser kommendes Webinar an, um die Ultralytics × OpenVINO-Integration in Aktion zu sehen, und besuchen Sie die OpenVINO-Website, um Tools für die Optimierung und Bereitstellung von KI im großen Maßstab zu erkunden.
.webp)