24. Mai 2024
Optimieren Sie Ihr Ultralytics YOLOv8-Modell für die Inferenz mit OpenVINO. Folgen Sie unserem Leitfaden, um PyTorch-Modelle in ONNX zu konvertieren und für Echtzeitanwendungen zu optimieren.
In diesem Blogbeitrag werden wir uns ansehen, wie Sie Ihr vortrainiertes oder benutzerdefiniert trainiertes Ultralytics YOLOv8-Modell für die Inferenz mit OpenVINO exportieren und optimieren können. Wenn Sie ein Intel-basiertes System verwenden, sei es eine CPU oder GPU, zeigt Ihnen dieser Leitfaden, wie Sie Ihr Modell mit minimalem Aufwand deutlich beschleunigen können.
Die Optimierung Ihres YOLOv8-Modells mit OpenVINO kann eine bis zu 3-fache Geschwindigkeitssteigerung bei Inferenzaufgaben ermöglichen, insbesondere wenn Sie eine Intel-CPU verwenden. Dieser Leistungsschub kann einen großen Unterschied bei Echtzeitanwendungen ausmachen, von der Objekterkennung über die Segmentierung bis hin zu Sicherheitssystemen.
Zunächst wollen wir den Prozess aufschlüsseln. Wir werden ein PyTorch-Modell in ONNX konvertieren und es dann mit OpenVINO optimieren. Dieser Prozess umfasst einige einfache Schritte und kann auf verschiedene Modelle und Formate angewendet werden, darunter TensorFlow, PyTorch, Caffe und ONNX.
Ein Blick in die Ultralytics Dokumentation zeigt, dass das Exportieren eines YOLOv8-Modells die Verwendung der Export-Methode aus dem Ultralytics-Framework beinhaltet. Diese Methode ermöglicht es uns, unser Modell von PyTorch nach ONNX zu konvertieren und es schliesslich für OpenVINO zu optimieren. Das Ergebnis ist ein Modell, das deutlich schneller läuft und die leistungsstarke Hardware von Intel nutzt.
Bevor Sie das Exportskript ausführen, müssen Sie sicherstellen, dass alle erforderlichen Abhängigkeiten installiert sind. Dazu gehören die Ultralytics-Bibliothek, ONNX und OpenVINO. Die Installation dieser Pakete ist ein einfacher Vorgang, der über pip, den Python-Paketinstaller, durchgeführt werden kann.
Sobald Ihre Umgebung eingerichtet ist, können Sie Ihr Exportskript ausführen. Dieses Skript konvertiert Ihr PyTorch-Modell in ONNX und dann in OpenVINO. Der Prozess ist unkompliziert und beinhaltet den Aufruf einer einzigen Funktion zur Abwicklung des Exports. Das Ultralytics-Framework macht es einfach, Ihre Modelle zu konvertieren und zu optimieren, um sicherzustellen, dass Sie die beste Leistung mit minimalem Aufwand erzielen.
Nach dem Export ist es wichtig, die Leistung der Original- und der optimierten Modelle zu vergleichen. Durch das Benchmarking der Inferenzzeit beider Modelle können Sie die Leistungssteigerungen deutlich erkennen. In der Regel zeigt das OpenVINO-Modell eine deutliche Reduzierung der Inferenzzeit im Vergleich zum ursprünglichen PyTorch-Modell. Dies gilt insbesondere für größere Modelle, bei denen der Leistungsschub am deutlichsten ist.
Die Optimierung von YOLOv8-Modellen mit OpenVINO ist besonders vorteilhaft für Anwendungen, die eine Echtzeitverarbeitung erfordern. Hier sind einige Beispiele:
Durch die Implementierung dieser Optimierungen verbessern Sie nicht nur die Leistung, sondern auch die Zuverlässigkeit und Effizienz Ihrer Anwendungen. Dies kann zu besseren Benutzererlebnissen, erhöhter Produktivität und innovativeren Lösungen führen.
Das Exportieren und Optimieren eines YOLOv8-Modells für OpenVINO ist eine leistungsstarke Möglichkeit, Intel-Hardware für schnellere und effizientere KI-Anwendungen zu nutzen. Mit nur wenigen einfachen Schritten können Sie die Leistung Ihres Modells transformieren und es effektiv auf reale Szenarien anwenden.
Schauen Sie sich weitere Tutorials und Anleitungen von Ultralytics an, um Ihre KI-Projekte weiter zu verbessern. Besuchen Sie unser GitHub-Repository und treten Sie der Ultralytics-Community bei, um weitere Einblicke und Updates zu erhalten. Lasst uns gemeinsam Innovationen entwickeln!
Denken Sie daran, dass es bei der Optimierung Ihrer Modelle nicht nur um Geschwindigkeit geht, sondern auch darum, neue Möglichkeiten zu erschließen und sicherzustellen, dass Ihre KI-Lösungen robust, effizient und bereit für die Zukunft sind.
.webp)