Ultralytics YOLOv8 für die Inferenz mit Intel OpenVINO exportieren und optimieren

In diesem Blogbeitrag sehen wir uns an, wie du dein vortrainiertes oder benutzerdefiniert trainiertes Ultralytics YOLOv8-Modell für die Inferenz mit OpenVINO exportieren und optimieren kannst. Wenn du ein System mit Intel-Hardware verwendest, unabhängig davon, ob es sich um eine CPU oder GPU handelt, zeigt dir diese Anleitung, wie du dein Modell mit minimalem Aufwand deutlich beschleunigen kannst.

Warum Ultralytics YOLOv8 mit OpenVINO optimieren?#

Die Optimierung deines Ultralytics YOLOv8-Modells mit OpenVINO kann bei Inferenzaufgaben eine bis zu dreifache Geschwindigkeitssteigerung ermöglichen, insbesondere bei Verwendung einer Intel-CPU. Dieser Leistungsschub kann bei Echtzeitanwendungen einen großen Unterschied machen – von der Objekterkennung über die Segmentierung bis hin zu Sicherheitssystemen.

Schritte zum Exportieren und Optimieren deines Ultralytics YOLOv8-Modells#

Den Prozess verstehen#

Zunächst sehen wir uns den Prozess im Detail an. Wir werden ein PyTorch-Modell in ONNX konvertieren und anschließend mit OpenVINO optimieren. Dieser Prozess umfasst einige unkomplizierte Schritte und kann auf verschiedene Modelle und Formate angewendet werden, darunter TensorFlow, PyTorch, Caffe und ONNX.

Das Modell exportieren#

In der Ultralytics-Dokumentation finden wir, dass der Export eines YOLOv8-Modells die Export-Methode des Ultralytics-Frameworks verwendet. Mit dieser Methode können wir unser Modell von PyTorch in ONNX konvertieren und es anschließend für OpenVINO optimieren. Das Ergebnis ist ein Modell, das die leistungsstarke Hardware von Intel nutzt und deutlich schneller ausgeführt wird.

Abhängigkeiten installieren#

Bevor du das Exportskript ausführst, musst du sicherstellen, dass alle erforderlichen Abhängigkeiten installiert sind. Dazu gehören die Ultralytics-Bibliothek, ONNX und OpenVINO. Die Installation dieser Pakete ist unkompliziert und kann über pip, den Paketinstaller für Python, erfolgen.

Das Exportskript ausführen#

Sobald deine Umgebung eingerichtet ist, kannst du dein Exportskript ausführen. Dieses Skript konvertiert dein PyTorch-Modell in ONNX und anschließend in OpenVINO. Der Prozess ist unkompliziert und umfasst den Aufruf einer einzigen Funktion, die den Export übernimmt. Das Ultralytics-Framework erleichtert die Konvertierung und Optimierung deiner Modelle, damit du mit minimalem Aufwand die bestmögliche Leistung erhältst.

Abb. 1: Nicolai Nielsen erklärt, wie das Exportskript ausgeführt wird.

Leistung vergleichen#

Nach dem Export ist es wichtig, die Leistung der ursprünglichen und der optimierten Modelle zu vergleichen. Indem du die Inferenzzeit beider Modelle misst, kannst du die Leistungssteigerungen deutlich erkennen. Typischerweise weist das OpenVINO-Modell im Vergleich zum ursprünglichen PyTorch-Modell eine deutlich kürzere Inferenzzeit auf. Dies gilt insbesondere für größere Modelle, bei denen der Leistungsschub am deutlichsten ausfällt.

Anwendungen und Vorteile in der Praxis#

Die Optimierung von Ultralytics YOLOv8-Modellen mit OpenVINO ist besonders für Anwendungen vorteilhaft, die eine Verarbeitung in Echtzeit erfordern. Hier sind einige Beispiele:

• Sicherheitssysteme: Die Objekterkennung in Echtzeit kann das Sicherheitspersonal sofort alarmieren und so Sicherheit und Reaktionsfähigkeit verbessern.
• Automatisierte Fahrzeuge: Schnellere Inferenz verbessert die Reaktionsfähigkeit autonomer Fahrsysteme und macht sie sicherer und zuverlässiger.
• Gesundheitswesen: Eine schnelle Bildverarbeitung für diagnostische Hilfsmittel kann durch schnellere Ergebnisse Leben retten und rechtzeitige Interventionen ermöglichen.

Durch die Umsetzung dieser Optimierungen verbesserst du nicht nur die Leistung, sondern auch die Zuverlässigkeit und Effizienz deiner Anwendungen. Dies kann zu einer besseren Benutzererfahrung, höherer Produktivität und innovativeren Lösungen führen.

Zum Abschluss#

Das Exportieren und Optimieren eines Ultralytics YOLOv8-Modells für OpenVINO ist eine leistungsstarke Möglichkeit, Intel-Hardware für schnellere und effizientere KI-Anwendungen zu nutzen. Mit nur wenigen einfachen Schritten kannst du die Leistung deines Modells grundlegend verbessern und es effektiv auf Szenarien aus der Praxis anwenden.

Sieh dir weitere Tutorials und Anleitungen von Ultralytics an, um deine KI-Projekte kontinuierlich weiterzuentwickeln. Besuche unser GitHub-Repository und werde Teil der Ultralytics-Community, um weitere Einblicke und Neuigkeiten zu erhalten. Lass uns gemeinsam Innovationen vorantreiben!

Denk daran: Bei der Optimierung deiner Modelle geht es nicht nur um Geschwindigkeit – es geht darum, neue Möglichkeiten zu erschließen und sicherzustellen, dass deine KI-Lösungen robust, effizient und zukunftssicher sind.