Exportiere und optimiere Ultralytics YOLOv8 für die Inferenz auf Intel OpenVINO

In diesem Blogpost schauen wir uns an, wie du dein vortrainiertes oder benutzerdefiniertes Ultralytics YOLOv8 Modell für die Inferenz mit OpenVINO exportieren und optimieren kannst. Wenn du ein Intel-basiertes System verwendest, egal ob CPU oder GPU, zeigt dir dieser Leitfaden, wie du dein Modell mit minimalem Aufwand deutlich beschleunigen kannst.

Link to this sectionWarum YOLOv8 mit OpenVINO optimieren?#

Die Optimierung deines YOLOv8 Modells mit OpenVINO kann bei Inferenzaufgaben eine bis zu dreifache Geschwindigkeitssteigerung bewirken, insbesondere wenn du eine Intel CPU verwendest. Dieser Leistungsschub kann bei Echtzeitanwendungen einen riesigen Unterschied machen, von Objekterkennung bis hin zu Segmentierung und Sicherheitssystemen.

Link to this sectionSchritte zum Exportieren und Optimieren deines YOLOv8 Modells#

Link to this sectionDen Prozess verstehen#

Zuerst einmal: Lass uns den Prozess aufschlüsseln. Wir werden ein PyTorch Modell nach ONNX konvertieren und es dann mit OpenVINO optimieren. Dieser Prozess umfasst ein paar einfache Schritte und kann auf verschiedene Modelle und Formate wie TensorFlow, PyTorch, Caffe und ONNX angewendet werden.

Link to this sectionDas Modell exportieren#

Wenn man einen Blick in die Ultralytics Dokumentation wirft, sieht man, dass der Export eines YOLOv8 Modells die Verwendung der export Methode aus dem Ultralytics Framework erfordert. Mit dieser Methode können wir unser Modell von PyTorch nach ONNX konvertieren und es schließlich für OpenVINO optimieren. Das Ergebnis ist ein Modell, das deutlich schneller läuft und die leistungsstarke Hardware von Intel nutzt.

Link to this sectionAbhängigkeiten installieren#

Bevor du das Export-Skript ausführst, musst du sicherstellen, dass alle erforderlichen Abhängigkeiten installiert sind. Dazu gehören die Ultralytics Bibliothek, ONNX und OpenVINO. Die Installation dieser Pakete ist ein einfacher Prozess, der über pip, den Python Paket-Installer, durchgeführt werden kann.

Link to this sectionDas Export-Skript ausführen#

Sobald deine Umgebung eingerichtet ist, kannst du dein Export-Skript ausführen. Dieses Skript konvertiert dein PyTorch Modell nach ONNX und dann zu OpenVINO. Der Prozess ist unkompliziert und erfordert nur den Aufruf einer einzelnen Funktion, um den Export abzuwickeln. Das Ultralytics Framework macht es einfach, deine Modelle zu konvertieren und zu optimieren, damit du die beste Leistung mit minimalem Aufwand erhältst.

Abb. 1: Nicolai Nielsen zeigt, wie man das Export-Skript ausführt.

Link to this sectionLeistung vergleichen#

Nach dem Export ist es wichtig, die Leistung des ursprünglichen und des optimierten Modells zu vergleichen. Durch das Benchmarking der Inferenzzeit beider Modelle kannst du die Leistungssteigerungen klar erkennen. In der Regel weist das OpenVINO Modell eine deutliche Reduzierung der Inferenzzeit im Vergleich zum ursprünglichen PyTorch Modell auf. Dies gilt insbesondere für größere Modelle, bei denen der Leistungsschub am deutlichsten spürbar ist.

Link to this sectionAnwendungen in der Praxis und Vorteile#

Die Optimierung von YOLOv8 Modellen mit OpenVINO ist besonders vorteilhaft für Anwendungen, die eine Echtzeitverarbeitung erfordern. Hier sind einige Beispiele:

• Sicherheitssysteme: Objekterkennung in Echtzeit kann Sicherheitspersonal sofort alarmieren und so die Sicherheit und Reaktionsfähigkeit erhöhen.
• Automatisierte Fahrzeuge: Schnellere Inferenzgeschwindigkeiten verbessern die Reaktionsfähigkeit autonomer Fahrsysteme und machen sie sicherer und zuverlässiger.
• Gesundheitswesen: Schnelle Bildverarbeitung für Diagnosetools kann Leben retten, indem sie schnellere Ergebnisse liefert und zeitnahe Interventionen ermöglicht.

Durch die Umsetzung dieser Optimierungen verbesserst du nicht nur die Leistung, sondern auch die Zuverlässigkeit und Effizienz deiner Anwendungen. Dies kann zu besseren Nutzererfahrungen, gesteigerter Produktivität und innovativeren Lösungen führen.

Link to this sectionZusammenfassung#

Das Exportieren und Optimieren eines YOLOv8 Modells für OpenVINO ist eine leistungsstarke Möglichkeit, Intel-Hardware für schnellere und effizientere KI-Anwendungen zu nutzen. Mit nur wenigen einfachen Schritten kannst du die Leistung deines Modells transformieren und es effektiv auf reale Szenarien anwenden.

Schaue dir unbedingt weitere Tutorials und Leitfäden von Ultralytics an, um deine KI-Projekte weiter zu verbessern. Besuche unser GitHub Repository und trete der Ultralytics Community bei, um weitere Einblicke und Updates zu erhalten. Lass uns gemeinsam innovativ sein!

Denk daran: Bei der Optimierung deiner Modelle geht es nicht nur um Geschwindigkeit – es geht darum, neue Möglichkeiten zu erschließen und sicherzustellen, dass deine KI-Lösungen robust, effizient und zukunftssicher sind.