Beschleunigung von Ultralytics YOLO26 mit OpenVINO auf Intel Core Ultra Series 3 (Panther Lake)

In den letzten Jahren haben sich KI und Computer Vision von einem experimentellen Bereich zu einem festen Bestandteil alltäglicher Geschäftsprozesse entwickelt. Umfragen zeigen tatsächlich, dass etwa 88% der Unternehmen bereits KI in mindestens einem Teil ihres Geschäftsbetriebs einsetzen.

Die Umsetzung dieser Einführung in einen echten Mehrwert – sei es in Produktionssystemen oder bei persönlichen Projekten – hängt jedoch oft davon ab, wie gut die Modelle nach der Bereitstellung tatsächlich laufen. In vielen realen Szenarien werden Computer Vision-Modelle wie Ultralytics YOLO26 auf Edge-Geräten und einer Reihe von Hardware-Komponenten eingesetzt, häufig auf CPUs, integrierten GPUs oder NPUs, anstatt auf High-End-GPUs.

An diesem Punkt kann die Leistung schwanken und die Optimierung wird entscheidend. Ein Modell, das in einer Umgebung gut funktioniert, kann in einer anderen Schwierigkeiten haben, wenn es nicht ordnungsgemäß für die zugrunde liegende Hardware optimiert wurde.

Um dies zu rationalisieren, unterstützt das Ultralytics Python package den Export von YOLO26-Modellen in optimierte Formate wie OpenVINO, sodass sie reibungslos auf Intel-Hardware ausgeführt werden können, ohne dass Änderungen an deinem Workflow erforderlich sind.

Wenn beispielsweise ein YOLO26-Modell in das OpenVINO-Format exportiert wird, kann es effizienter auf Intel Core Ultra Series 3-Prozessoren ausgeführt werden, wobei die GPU-Inferenzgeschwindigkeiten um das bis zu Dreifache verbessert werden.

In diesem Artikel untersuchen wir, wie die aktualisierte Ultralytics- und OpenVINO-Integration es einfacher macht, YOLO26-Modelle auf Intel Core Ultra Series 3-Hardware bereitzustellen. Legen wir los!

Link to this sectionEin Überblick über die Ultralytics x OpenVINO-Integration#

Das Ultralytics Python package bietet eine einzige Schnittstelle für das Training, das Ausführen von Inferenz und das Bereitstellen von Ultralytics YOLO-Modellen wie YOLO26. Es unterstützt eine Reihe von Integrationen, die bei verschiedenen Teilen des Vision-KI-Workflows helfen, vom Training und Experimentieren bis hin zur Bereitstellung und Optimierung.

Eine der auf die Bereitstellung fokussierten Integrationen ist die mit dem OpenVINO-Toolkit, das es dir ermöglicht, YOLO26-Modelle in ein optimiertes Format für Intel-Hardware zu exportieren. Dieser Prozess konvertiert YOLO-Modelle in ein Format, das effizienter auf Intel-CPUs, -GPUs und -NPUs läuft, einschließlich Systemen, die von Intel® Core™ Ultra™-Prozessoren angetrieben werden.

Dies macht es einfacher, Modelle auf verschiedenen Intel-Geräten auszuführen, ohne sie manuell für jedes Setup anpassen zu müssen. Egal, ob du an einer lokalen Maschine, einem Edge-Gerät oder einer größeren Bereitstellung arbeitest, dasselbe exportierte Modell kann wiederverwendet werden.

Was diese Integration besonders praktisch macht, ist, wie nahtlos sie in den bestehenden Ultralytics-Workflow passt. Du kannst ein Modell über dieselbe Schnittstelle exportieren, die du auch für Training und Inferenz verwendest, ohne zusätzliche Tools oder ein komplexes Setup zu benötigen.

Nach dem Export kann das Modell entweder über das Ultralytics Python package oder die OpenVINO Runtime für die Inferenz verwendet werden, je nachdem, wie viel Kontrolle und Flexibilität du benötigst.

Link to this sectionEin genauerer Blick auf OpenVINO und Intel Panther Lake-Hardware für KI-Inferenz#

Bevor wir sehen, wie effizient ein exportiertes YOLO26-Modell auf Intel-Hardware laufen kann, machen wir einen Schritt zurück und verstehen, wie OpenVINO und Intel-Hardware zusammenarbeiten, um eine effiziente Inferenz zu ermöglichen.

OpenVINO ist ein Open-Source-Toolkit, das darauf ausgelegt ist, KI-Inferenz auf Intel-Hardware zu optimieren und auszuführen, einschließlich CPUs, integrierten GPUs und NPUs. Es bietet eine einheitliche Runtime, sodass dasselbe Modell auf diesen verschiedenen Recheneinheiten laufen kann, ohne umgeschrieben werden zu müssen.

Fig 1. OpenVINO macht es einfach, Modelle auf mehreren Hardwarezielen bereitzustellen. (Quelle)

Auf neuen Intel® Core™ Ultra™ Series 3-Prozessoren (mit dem Codenamen Panther Lake) laufen KI-Workloads auf mehreren Recheneinheiten innerhalb desselben Prozessors. Jeder Chip kombiniert CPU-Kerne für Allzweckaufgaben, eine integrierte GPU für parallele Verarbeitung und eine dedizierte NPU, die speziell für KI-Inferenz entwickelt wurde.

OpenVINO bietet eine einheitliche API, mit der du jede dieser Recheneinheiten ansteuern kannst, egal ob CPU, GPU oder NPU, ohne deinen Code zu ändern. Du kannst einfach zur Laufzeit festlegen, auf welchem Gerät die Inferenz ausgeführt werden soll, was den Wechsel zwischen allen drei je nach deinen Leistungs- und Effizienzanforderungen unkompliziert macht.

Link to this sectionBenchmarking von YOLO26 auf der Intel® Core™ Ultra™-Serie#

Während du die Ultralytics- und OpenVINO-Integration erkundest, fragst du dich vielleicht: Welche Leistungssteigerungen des Modells kannst du beim Exportieren von YOLO26 in das OpenVINO-Format erwarten?

Der Unterschied in der Inferenzgeschwindigkeit wird beim Benchmarking von YOLO26-Modellen über verschiedene Formate und Präzisionsstufen hinweg deutlich. Zum Beispiel, wenn man die Nano-Variante von YOLO26 (YOLO26n) auf einem Intel Core Ultra X7 358H, einem Panther Lake-Prozessor, ausführt, sinkt die Inferenzzeit von 25,18 ms pro Bild in PyTorch bei FP32-Präzision auf 2,64 ms mit OpenVINO bei derselben Präzision mit der integrierten NPU.

Das ist schneller als die ursprüngliche PyTorch FP32-Baseline, was einen spürbaren Unterschied bei Echtzeit- und Edge-Anwendungen ausmachen kann, bei denen Latenz entscheidend ist. Diese Gewinne werden noch deutlicher, wenn dasselbe Modell auf der integrierten Intel Arc GPU ausgeführt wird.

Fig 2. Benchmarking der YOLO26-Inferenz auf Intel Panther Lake GPU mit OpenVINO (Quelle)

Fig 3. Benchmarking der YOLO26-Inferenz auf Intel Panther Lake NPU mit OpenVINO (Quelle)

Link to this sectionZwei Wege zum Exportieren von Ultralytics YOLO26 in das OpenVINO-Format erkunden#

Es gibt zwei Hauptwege, um YOLO26-Modelle in das OpenVINO-Format zu exportieren. Du kannst entweder das Ultralytics Python package verwenden oder direkt über Ultralytics Platform exportieren, einem End-to-End-Arbeitsbereich zum Aufbau und zur Verwaltung von Computer Vision-Workflows an einem Ort. Als Nächstes gehen wir beide Ansätze durch.

Link to this sectionVerwendung des Ultralytics Python package zum Exportieren von YOLO26#

Das Ultralytics Python package bietet eine einfache Möglichkeit, YOLO26-Modelle innerhalb eines codebasierten Workflows in das OpenVINO-Format zu exportieren. Da dieselbe Schnittstelle für Training und Inferenz verwendet wird, fügt sich das Exportieren eines Modells natürlich in bestehende Pipelines ein, ohne dass zusätzliche Tools erforderlich sind.

Um loszulegen, kannst du das Ultralytics-Paket installieren. Dies kann durch Ausführen des Befehls „pip install ultralytics“ in einem Terminal oder einer Eingabeaufforderung erfolgen. Wenn du in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeitest, kannst du denselben Befehl ausführen, indem du ein Ausrufezeichen voranstellst.

Nach der Installation kannst du ein trainiertes YOLO26-Modell laden und direkt in das OpenVINO-Format exportieren. Wie unten gezeigt, wird ein vorab trainiertes YOLO26n-Modell (yolo26n.pt) geladen und dann mit der export-Methode in das OpenVINO-Format konvertiert.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

Nachdem der Code ausgeführt wurde, wird das konvertierte Modell in einem neuen Verzeichnis gespeichert, wo es für die Bereitstellung verwendet werden kann.

Link to this sectionExportieren von YOLO26 auf Ultralytics Platform#

Wenn du nach einem einfacheren, codefreien Ansatz suchst, kannst du YOLO26-Modelle direkt über Ultralytics Platform exportieren. Die Plattform vereint den vollständigen Computer Vision-Workflow in einem einzigen Arbeitsbereich, was den Wechsel vom Training zur Bereitstellung ohne zusätzliche Einrichtung erleichtert.

Sobald dein Modell fertig ist, kannst du es innerhalb der Plattform öffnen und zum Tab „Export“ navigieren. Von dort aus kannst du OpenVINO als Exportformat auswählen und optional Einstellungen wie Bildgröße oder Präzision anpassen.

Fig 4. Ein Blick auf das Exportieren von YOLO26 innerhalb von Ultralytics Platform

Die Plattform übernimmt die Konvertierung automatisch, sodass keine Skripte, Abhängigkeiten oder Umgebungskonfigurationen verwaltet werden müssen. Nachdem der Export abgeschlossen ist, kann das optimierte Modell heruntergeladen und für die Bereitstellung auf Intel-CPUs, -GPUs und -NPUs verwendet werden.

Link to this sectionBereitstellungsoptionen ermöglicht durch die Ultralytics x OpenVINO-Integration#

Sobald ein YOLO26-Modell in das OpenVINO-Format exportiert wurde, gibt es einige Möglichkeiten, Inferenz auszuführen, abhängig von deinem Workflow und dem erforderlichen Grad an Kontrolle. Du kannst entweder das Ultralytics Python package für einen einfacheren, integrierten Ansatz verwenden oder die native OpenVINO-Runtime für mehr Flexibilität und Kontrolle nutzen.

Link to this sectionInferenz mit dem Ultralytics Python package ausführen#

Sobald dein Modell in das OpenVINO-Format exportiert wurde, kannst du Inferenz mit dem Ultralytics Python package ausführen. Dieser Ansatz ist ideal für schnelle Tests und eine optimierte Bereitstellung, da er dieselbe Schnittstelle wie beim Training und Export verwendet.

Mit diesem Ansatz kannst du das exportierte OpenVINO-Modell aus seinem Verzeichnis laden und Inferenz auf eine Eingabe wie ein Bild oder Video ausführen. Du kannst auch wählen, auf welchem Gerät die Ausführung erfolgen soll, indem du Optionen wie „intel:cpu“, „intel:gpu“ oder „intel:npu“ angibst, je nachdem, welche Hardware auf deinem System verfügbar ist.

Der Code-Schnipsel unten zeigt, wie das exportierte Modell geladen und Inferenz auf einem Bild mit Ziel auf die GPU ausgeführt wird. Nachdem die Inferenz abgeschlossen ist, wird das Ausgabebild im Verzeichnis „runs/detect/predict“ gespeichert.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Link to this sectionNutzung des nativen OpenVINO-Pakets für Inferenz#

Wenn du mehr Kontrolle darüber benötigst, wie dein Modell in der Produktion läuft, kannst du die native OpenVINO-Runtime für Inferenz verwenden. Diese Methode ist nützlich, wenn du Modelle in größere Anwendungen integrierst oder wenn du feinabstimmen möchtest, wie die Inferenz auf spezifischer Hardware ausgeführt wird.

OpenVINO bietet eine einheitliche Möglichkeit, Modelle auf Intel-CPUs, -GPUs und -NPUs auszuführen, zusammen mit Funktionen wie asynchroner Ausführung und effizienter Nutzung der verfügbaren Rechenressourcen. Um dies einzurichten, kannst du direkt mit den exportierten Modelldateien arbeiten, einschließlich der .xml-Datei, die die Modellstruktur definiert, und der .bin-Datei, die die trainierten Gewichte enthält.

Je nach Anwendungsfall kannst du auch Einstellungen wie Eingabegröße oder Vorverarbeitungsschritte anpassen. Das Einrichten der Inferenz umfasst das Initialisieren der OpenVINO-Runtime, das Laden und Kompilieren des Modells für ein Zielgerät, das Vorbereiten der Eingabedaten und dann das Ausführen der Inferenz.

Fig 5. Ein Beispiel für eine typische Inferenz-Pipeline mit OpenVINO (Quelle)

Dies ermöglicht es dir zu steuern, wie das Modell ausgeführt wird und wie es in deine gesamte Bereitstellung passt. Um mehr über das Einrichten und Ausführen von Inferenz mit der OpenVINO-Runtime zu erfahren, kannst du die offizielle Ultralytics-Dokumentation erkunden.

Link to this sectionReale Anwendungen von YOLO26 auf Intel-Hardware#

Der echte Wert der Ultralytics- und OpenVINO-Integration zeigt sich in der Produktion, wo zuverlässige Inferenz mit niedriger Latenz einen greifbaren Unterschied machen kann. Hier ist ein Blick auf einige Schlüsselbranchen, in denen diese Integration zu aussagekräftigen Ergebnissen führt:

• Fertigung: Durch den Export von YOLO26 in OpenVINO können Produktionsliniensysteme visuelle Defekte wie fehlende Komponenten, Fehlausrichtungen oder Oberflächenschäden auf Intel-Hardware automatisch erkennen, was dazu beiträgt, die Produktqualität zu verbessern und kostspielige Fehler zu reduzieren.

• Gesundheitswesen: Medizinische Bildgebungs- und Patientenüberwachungssysteme können exportierte YOLO26-Modelle lokal auf Intel-Hardware ausführen und so strenge Datenschutzanforderungen erfüllen, während gleichzeitig eine zuverlässige Inferenzleistung aufrechterhalten wird.

• Smart Cities: Verkehrsüberwachung und Crowd-Analyse können mithilfe exportierter YOLO26-Modelle auf Edge-Kameras mit Intel-Antrieb bereitgestellt werden, was Echtzeiteinblicke wie Fahrzeugzählung, Fußgängerverfolgung und Vorfallerkennung ermöglicht.

• Automobilindustrie: Niedrige Latenz und Energieeffizienz sind entscheidend bei der Fahrerüberwachung und der Erfassung im Fahrzeuginnenraum, was Intel-Hardware in Kombination mit exportierten YOLO26-Modellen zu einer starken Lösung für eingebettete Automobilsysteme macht.

Wenn du mehr über diese Integration erfahren möchtest, nimm an unserer Intel OpenVINO DevCon Workshop-Serie teil: „From Annotation to Deployment: Building an Object Detection Pipeline with Geti, YOLO26, and OpenVINO™“. Dort wird unser Partnership and Ecosystem Manager, Francesco Mattioli, gemeinsam mit Intels AI Software Evangelist, Adrian Boguszewski, eine Live-Demonstration und einen Durchlauf zeigen, wie man produktionsreife Computer Vision-Pipelines für reale industrielle Szenarien aufbaut. Der Workshop wird einen vollständigen End-to-End-Objekterkennungs-Workflow bieten, von der Datensatz-Erstellung und dem Modelltraining bis hin zur Optimierung und Edge-Bereitstellung.

Link to this sectionVorteile der Verwendung des OpenVINO-Exportformats#

Hier sind einige der Hauptvorteile der Verwendung des OpenVINO-Exportformats:

• Zugänglich und einfach zu integrieren: Mit einer einheitlichen API und mehr als 80 Tutorial-Notebooks macht OpenVINO den Schritt vom Experimentieren zur Bereitstellung einfacher, ohne signifikante Komplexität einzuführen.

• Dasselbe Modell auf verschiedenen Hardware-Komponenten ausführen: OpenVINO ermöglicht dir die Verwendung eines einzigen exportierten Modells auf unterstützter Intel-Hardware, sodass du es auf CPUs, GPUs oder NPUs bereitstellen kannst, ohne es für jedes Gerät umschreiben oder anpassen zu müssen.

• Integrierte Optimierung während des Exports: Der Export in OpenVINO konvertiert Modelle von gängigen Frameworks wie PyTorch und TensorFlow in ein optimiertes Format, das für die Inferenz bereit ist, wodurch separate Konvertierungsschritte entfallen.

• Bessere Ausnutzung der Hardwareressourcen: OpenVINO unterstützt asynchrone Inferenz und Lastausgleich auf Intel-Hardware, was dazu beiträgt, die Effizienz in realen Anwendungen zu verbessern.

Link to this sectionYOLO26 mit ExecuTorch und dem OpenVINO-Backend ausführen#

Wenn du YOLO26 in anspruchsvolleren Produktionsumgebungen einsetzt, gibt es eine weitere Option, die On-Device-Effizienz mit fortschrittlicher Modellkomprimierung kombiniert.

ExecuTorch, PyTorchs Framework für On-Device-Inferenz, unterstützt ein OpenVINO-Backend, das es dir ermöglicht, YOLO26 über einen anderen Export- und Runtime-Pfad auf Intel-Hardware bereitzustellen.

Es funktioniert so, dass ExecuTorch den Modelexport und die Runtime-Ausführung übernimmt, während OpenVINO darunter als Hardware-Beschleunigungsschicht fungiert und die tatsächliche Berechnung auf Intel-CPU, -GPU oder -NPU abwickelt. Beide arbeiten zusammen, sodass du die Portabilität und On-Device-Effizienz von ExecuTorch kombiniert mit den hardwarespezifischen Optimierungen erhältst, die OpenVINO bietet.

Um mehr darüber zu erfahren, wie das funktioniert und wie du mit YOLO26 auf ExecuTorch und dem OpenVINO-Backend loslegst, schau dir den Intel-Blog an, der die neuesten Updates zu ExecuTorch und OpenVINO abdeckt.

Link to this sectionWichtige Erkenntnisse#

Das Exportieren von YOLO26-Modellen über die Ultralytics- und OpenVINO-Integration verbessert die Leistung auf Intel-Hardware, ohne die Komplexität deines Workflows zu erhöhen. Du kannst vom Training zur Bereitstellung übergehen, ohne deine Pipeline zu überarbeiten. Insgesamt bietet dies einen einfachen Weg, Modelle effizient auf Intel-CPUs, -GPUs und -NPUs in realen Anwendungen auszuführen.

Tritt unserer Community bei und erkunde unser GitHub-Repository, um mehr über Vision AI zu erfahren. Sieh dir unsere Lizenzoptionen an, um deine Computer Vision-Projekte zu starten. Interessiert an Innovationen wie KI in der Fertigung oder Computer Vision in der Automobilindustrie? Besuche unsere Lösungsseiten, um mehr zu entdecken.