Ultralytics YOLOv8 für die Inferenz mit Intel OpenVINO exportieren und optimieren

In diesem Blogbeitrag zeigen wir dir, wie du dein vortrainiertes oder benutzerdefiniert trainiertes Ultralytics YOLOv8-Modell für die Inferenz mit OpenVINO exportieren und optimieren kannst. Wenn du ein Intel-basiertes System mit CPU oder GPU verwendest, erfährst du in dieser Anleitung, wie du dein Modell mit minimalem Aufwand deutlich beschleunigen kannst.

Warum Ultralytics YOLOv8 mit OpenVINO optimieren?#

Wenn du dein Ultralytics-YOLOv8-Modell mit OpenVINO optimierst, kann sich die Geschwindigkeit bei Inferenzaufgaben um bis zu das Dreifache erhöhen, insbesondere bei Verwendung einer Intel-CPU. Diese Leistungssteigerung kann bei Echtzeitanwendungen einen großen Unterschied machen, von der Objekterkennung über die Segmentierung bis hin zu Sicherheitssystemen.

Schritte zum Exportieren und Optimieren deines Ultralytics-YOLOv8-Modells#

Den Ablauf verstehen#

Sehen wir uns zunächst den Ablauf an. Wir wandeln ein PyTorch-Modell in das OpenVINO-Format um und optimieren es. Zum Zeitpunkt des Videos erfolgte diese Konvertierung über ONNX als Zwischenschritt; aktuelle Ultralytics-Versionen konvertieren direkt aus PyTorch. Der Vorgang umfasst einige einfache Schritte und lässt sich auf verschiedene Modelle und Formate anwenden, darunter TensorFlow, PyTorch und ONNX.

Das Modell exportieren#

Werfen wir einen Blick in die Ultralytics-Dokumentation: Zum Exportieren eines YOLOv8-Modells verwenden wir die Methode Export des Ultralytics-Frameworks. Diese Methode konvertiert unser Modell von PyTorch und optimiert es für OpenVINO. Das Ergebnis ist ein Modell, das auf Intel-Hardware deutlich schneller läuft.

Abhängigkeiten installieren#

Bevor du das Exportskript ausführst, musst du sicherstellen, dass alle erforderlichen Abhängigkeiten installiert sind. Dazu gehören die Ultralytics-Bibliothek und OpenVINO. Die Installation dieser Pakete ist unkompliziert und erfolgt über pip, das Installationsprogramm für Python-Pakete.

Das Exportskript ausführen#

Sobald deine Umgebung eingerichtet ist, kannst du dein Exportskript ausführen. Dieses Skript konvertiert dein PyTorch-Modell in OpenVINO. Der Vorgang ist unkompliziert: Zum Exportieren rufst du einfach eine Funktion auf. Mit dem Ultralytics-Framework kannst du deine Modelle problemlos konvertieren und optimieren, damit du mit minimalem Aufwand die bestmögliche Leistung erzielst.

Abb. 1: Nicolai Nielsen erläutert, wie das Exportskript ausgeführt wird.

Leistung vergleichen#

Nach dem Export ist es wichtig, die Leistung des ursprünglichen und des optimierten Modells zu vergleichen. Wenn du die Inferenzzeit beider Modelle misst, erkennst du die Leistungssteigerung deutlich. Das OpenVINO-Modell weist im Vergleich zum ursprünglichen PyTorch-Modell üblicherweise eine deutlich kürzere Inferenzzeit auf. Das gilt besonders für größere Modelle, bei denen die Leistungssteigerung am deutlichsten ausfällt.

Anwendungen und Vorteile in der Praxis#

Die Optimierung von Ultralytics-YOLOv8-Modellen mit OpenVINO ist besonders vorteilhaft für Anwendungen, die eine Verarbeitung in Echtzeit erfordern. Hier sind einige Beispiele:

• Sicherheitssysteme: Die Objekterkennung in Echtzeit kann Sicherheitspersonal sofort alarmieren und so die Sicherheit und Reaktionsfähigkeit verbessern.
• Autonome Fahrzeuge: Schnellere Inferenz verbessert die Reaktionsfähigkeit autonomer Fahrsysteme und macht sie sicherer und zuverlässiger.
• Gesundheitswesen: Eine schnelle Bildverarbeitung für Diagnosewerkzeuge kann Leben retten, indem sie schneller Ergebnisse liefert und rechtzeitige Eingriffe ermöglicht.

Mit diesen Optimierungen steigerst du nicht nur die Leistung, sondern auch die Zuverlässigkeit und Effizienz deiner Anwendungen. Das kann zu besseren Nutzererlebnissen, höherer Produktivität und innovativeren Lösungen führen.

Zum Abschluss#

Der Export und die Optimierung eines Ultralytics-YOLOv8-Modells für OpenVINO sind eine effektive Möglichkeit, Intel-Hardware für schnellere und effizientere KI-Anwendungen zu nutzen. Mit wenigen einfachen Schritten kannst du die Leistung deines Modells deutlich verbessern und es effektiv auf reale Anwendungsfälle anwenden.

Sieh dir weitere Tutorials und Anleitungen von Ultralytics an, zum Beispiel die Lektion OpenVINO auf der CPU in der Ultralytics Academy, um deine KI-Projekte weiterzuentwickeln. Besuche unser GitHub-Repository und werde Teil der Ultralytics-Community, um weitere Einblicke und Neuigkeiten zu erhalten.

Denk daran: Bei der Optimierung deiner Modelle geht es nicht nur um Geschwindigkeit – sie erschließt neue Möglichkeiten und sorgt dafür, dass deine KI-Lösungen robust, effizient und für die Zukunft gerüstet sind.