X
Ultralytics YOLOv8.2 FreigabeUltralytics YOLOv8.2 FreigabeUltralytics YOLOv8.2 Pfeil loslassen
Grüner Scheck
Link in die Zwischenablage kopiert

Exportieren und Optimieren eines YOLOv8 Modells für die Inferenz auf OpenVINO

Optimiere dein YOLOv8 Modell für Inferenzen mit OpenVINO. Folge unserer Anleitung, um PyTorch Modelle in ONNX zu konvertieren und sie für Echtzeitanwendungen zu optimieren.

In this blogpost, we'll be taking a look at  how you can export and optimize your pre-trained or custom-trained Ultralytics YOLOv8 model for inference using OpenVINO. If you're using an Intel-based system, whether it’s a CPU or GPU, this guide will show you how to significantly speed up your model with minimal effort.

Warum YOLOv8 mit OpenVINO optimieren?

Optimizing your YOLOv8 model with OpenVINO can provide up to a 3x speed increase on inference tasks, particularly if you're running an Intel CPU. This performance boost can make a huge difference in real-time applications, from object detection to segmentation and security systems.

Schritte zum Exportieren und Optimieren deines YOLOv8 Modells

Den Prozess verstehen

Das Wichtigste zuerst: Lass uns den Prozess aufschlüsseln. Wir werden ein Modell von PyTorch in ONNX konvertieren und es dann mit OpenVINO optimieren. Dieser Prozess umfasst ein paar einfache Schritte und kann auf verschiedene Modelle und Formate angewendet werden, z. B. TensorFlow, PyTorch, Caffe und ONNX.

Das Modell exportieren

Jumping into the Ultralytics documentation, we find that exporting a YOLOv8 model involves using the export method from the Ultralytics framework. This method allows us to convert our model from PyTorch to ONNX, and finally, optimize it for OpenVINO. The result is a model that runs significantly faster, leveraging Intel's powerful hardware.

Installieren von Abhängigkeiten

Bevor du das Export-Skript ausführst, musst du sicherstellen, dass alle notwendigen Abhängigkeiten installiert sind. Dazu gehören die Bibliothek Ultralytics , ONNX und OpenVINO. Die Installation dieser Pakete ist ein einfacher Prozess, der mit pip, dem Paketinstallationsprogramm Python , durchgeführt werden kann.

Ausführen des Export-Skripts

Sobald deine Umgebung eingerichtet ist, kannst du dein Export-Skript ausführen. Dieses Skript wandelt dein PyTorch Modell in ONNX und dann in OpenVINO um. Der Prozess ist unkompliziert und beinhaltet den Aufruf einer einzigen Funktion, die den Export abwickelt. Das Ultralytics Framework macht es dir leicht, deine Modelle zu konvertieren und zu optimieren, damit du mit minimalem Aufwand die beste Leistung erzielst.

Abb. 1. Nicolai Nielsen erklärt, wie man das Export-Skript ausführt.

Leistung im Vergleich

Nach dem Exportieren ist es wichtig, die Leistung des ursprünglichen und des optimierten Modells zu vergleichen. Wenn du die Inferenzzeit beider Modelle vergleichst, kannst du die Leistungssteigerung deutlich erkennen. In der Regel verkürzt das Modell OpenVINO die Inferenzzeit im Vergleich zum ursprünglichen Modell PyTorch deutlich. Das gilt besonders für größere Modelle, bei denen der Leistungszuwachs am deutlichsten ist.

Anwendung und Vorteile in der realen Welt

Die Optimierung von YOLOv8 Modellen mit OpenVINO ist besonders vorteilhaft für Anwendungen, die Echtzeitverarbeitung erfordern. Hier sind ein paar Beispiele:

  • Sicherheitssysteme: Durch die Erkennung von Objekten in Echtzeit kann das Sicherheitspersonal sofort alarmiert werden, was die Sicherheit und Reaktionsfähigkeit erhöht.
  • Automatisierte Fahrzeuge: Schnellere Inferenzgeschwindigkeiten verbessern die Reaktionsfähigkeit von autonomen Fahrsystemen und machen sie sicherer und zuverlässiger.
  • Gesundheitswesen: Eine schnelle Bildverarbeitung für Diagnoseinstrumente kann Leben retten, da sie schnellere Ergebnisse liefert und ein rechtzeitiges Eingreifen ermöglicht.

Wenn du diese Optimierungen umsetzt, verbesserst du nicht nur die Leistung, sondern auch die Zuverlässigkeit und Effizienz deiner Anwendungen. Das kann zu einem besseren Nutzererlebnis, höherer Produktivität und innovativeren Lösungen führen.

Einpacken

Exporting and optimizing a YOLOv8 model for OpenVINO is a powerful way to leverage Intel hardware for faster and more efficient AI applications. With just a few simple steps, you can transform your model’s performance and apply it to real-world scenarios effectively.

Schau dir unbedingt weitere Tutorials und Leitfäden von Ultralytics an, um deine KI-Projekte weiter zu verbessern. Besuche unser GitHub-Repository und werde Mitglied der Ultralytics Community, um weitere Einblicke und Updates zu erhalten. Lasst uns gemeinsam innovativ sein!

Vergiss nicht, dass es bei der Optimierung deiner Modelle nicht nur um Geschwindigkeit geht - es geht darum, neue Möglichkeiten zu erschließen und sicherzustellen, dass deine KI-Lösungen robust, effizient und bereit für die Zukunft sind. 

Facebook-LogoTwitter-LogoLinkedIn-LogoKopier-Link-Symbol

Lies mehr in dieser Kategorie

Lass uns gemeinsam die Zukunft
der KI gestalten!

Beginne deine Reise in die Zukunft des maschinellen Lernens