Ultralytics YOLO26 mit OpenVINO auf der Intel Core Ultra Series 3 (Panther Lake) beschleunigen

In den vergangenen Jahren haben sich KI und Computer Vision von experimentellen Technologien zu einem wichtigen Bestandteil des täglichen Geschäftsbetriebs entwickelt. Tatsächlich zeigen Umfragen, dass rund 88 % der Unternehmen KI bereits in mindestens einem Bereich ihres Geschäfts einsetzen.

Die Einführung in echten Mehrwert zu verwandeln, sei es in Produktionssystemen oder persönlichen Projekten, hängt jedoch oft davon ab, wie gut Modelle nach ihrer Bereitstellung tatsächlich laufen. In vielen realen Szenarien werden Computer-Vision-Modelle wie Ultralytics YOLO26 auf Edge-Geräten und einer Vielzahl von Hardwarekomponenten eingesetzt, häufig auf CPUs, integrierten GPUs oder NPUs statt auf leistungsstarken GPUs.

Hier kann die Leistung zu schwanken beginnen, und genau hier wird Optimierung entscheidend. Ein Modell, das in einer Umgebung gut funktioniert, kann in einer anderen Probleme bereiten, wenn es nicht richtig auf die zugrunde liegende Hardware optimiert ist.

Um dies zu vereinfachen, unterstützt das Ultralytics Python-Paket den Export von YOLO26-Modellen in optimierte Formate wie OpenVINO, sodass sie ohne Änderungen an deinem Arbeitsablauf reibungslos auf Intel-Hardware ausgeführt werden können.

Wird beispielsweise ein Ultralytics YOLO26-Modell in das OpenVINO-Format exportiert, kann es auf Prozessoren der Intel Core Ultra Series 3 effizienter ausgeführt werden, wobei sich die GPU-Inferenzgeschwindigkeit um bis zu das Dreifache verbessert.

In diesem Artikel sehen wir uns an, wie die aktualisierte Integration von Ultralytics und OpenVINO die Bereitstellung von YOLO26-Modellen auf Hardware der Intel Core Ultra Series 3 vereinfacht. Legen wir los!

Überblick über die Integration von Ultralytics und OpenVINO#

Das Ultralytics Python-Paket bietet eine einheitliche Schnittstelle zum Trainieren, Ausführen von Inferenz und Bereitstellen von Ultralytics YOLO-Modellen wie YOLO26. Es unterstützt eine Reihe von Integrationen, die verschiedene Teile des Computer-Vision-Arbeitsablaufs abdecken – vom Training und Experimentieren bis zur Bereitstellung und Optimierung.

Eine auf die Bereitstellung ausgerichtete Integration besteht mit dem OpenVINO-Toolkit. Damit kannst du Ultralytics YOLO26-Modelle in ein optimiertes Format für Intel-Hardware exportieren. Dabei werden YOLO-Modelle in ein Format umgewandelt, das effizienter auf Intel-CPUs, -GPUs und -NPUs läuft, einschließlich Systemen mit Prozessoren der Intel® Core™ Ultra™ Series.

Dadurch lassen sich Modelle auf verschiedenen Intel-Geräten einfacher ausführen, ohne sie manuell für jede Konfiguration anpassen zu müssen. Unabhängig davon, ob du auf einem lokalen Rechner, einem Edge-Gerät oder in einer größeren Bereitstellung arbeitest, kannst du dasselbe exportierte Modell wiederverwenden.

Besonders praktisch ist, dass sich diese Integration nahtlos in den bestehenden Ultralytics-Arbeitsablauf einfügt. Du kannst ein Modell über dieselbe Schnittstelle exportieren, die du auch für Training und Inferenz verwendest, ohne zusätzliche Tools oder eine komplexe Einrichtung.

Nach dem Export kannst du das Modell je nach gewünschtem Maß an Kontrolle und Flexibilität entweder über das Ultralytics Python-Paket oder die OpenVINO Runtime für Inferenz verwenden.

OpenVINO und die Intel-Panther-Lake-Hardware für KI-Inferenz im Detail#

Bevor wir sehen, wie effizient ein exportiertes Ultralytics YOLO26-Modell auf Intel-Hardware laufen kann, gehen wir einen Schritt zurück und betrachten, wie OpenVINO und Intel-Hardware zusammenarbeiten, um eine effiziente Inferenz zu ermöglichen.

OpenVINO ist ein Open-Source-Toolkit zur Optimierung und Ausführung von KI-Inferenz auf Intel-Hardware, einschließlich CPUs, integrierten GPUs und NPUs. Es bietet eine einheitliche Laufzeitumgebung, sodass dasselbe Modell auf diesen verschiedenen Recheneinheiten ausgeführt werden kann, ohne neu geschrieben werden zu müssen.

Abb. 1. OpenVINO erleichtert die Bereitstellung von Modellen auf mehreren Hardwarezielen. (Quelle)

Auf neuen Prozessoren der Intel® Core™ Ultra™ Series 3 (Codename Panther Lake) laufen KI-Workloads auf mehreren Recheneinheiten innerhalb desselben Prozessors. Jeder Chip kombiniert CPU-Kerne für allgemeine Aufgaben, eine integrierte GPU für parallele Verarbeitung und eine dedizierte NPU, die speziell für KI-Inferenz entwickelt wurde.

OpenVINO bietet eine einheitliche API, mit der du jede dieser Recheneinheiten – CPU, GPU oder NPU – ansteuern kannst, ohne deinen Code zu ändern. Du gibst zur Laufzeit einfach das Gerät an, auf dem die Inferenz ausgeführt werden soll, und kannst je nach deinen Anforderungen an Leistung und Effizienz problemlos zwischen allen drei wechseln.

Ultralytics YOLO26 auf der Intel® Core™ Ultra™ Series benchmarken#

Wenn du die Integration von Ultralytics und OpenVINO erkundest, fragst du dich vielleicht: Welche Leistungssteigerungen kannst du erwarten, wenn du YOLO26 in das OpenVINO-Format exportierst?

Der Unterschied bei der Inferenzgeschwindigkeit wird deutlich, wenn YOLO26-Modelle mit verschiedenen Formaten und Genauigkeitsstufen benchmarked werden. Wird beispielsweise die Nano-Variante von YOLO26 (YOLO26n) auf einem Intel Core Ultra X7 358H, einem Panther-Lake-Prozessor, ausgeführt, sinkt die Inferenzzeit von 25,18 ms pro Bild in PyTorch mit FP32-Genauigkeit auf 2,64 ms mit OpenVINO bei derselben Genauigkeit und unter Verwendung der integrierten NPU.

Das ist schneller als die ursprüngliche PyTorch-FP32-Baseline und kann in Echtzeit- und Edge-Anwendungen, in denen Latenz entscheidend ist, einen spürbaren Unterschied machen. Noch deutlicher werden diese Vorteile, wenn dasselbe Modell auf der integrierten Intel Arc GPU ausgeführt wird.

Abb. 2. Benchmarking der Ultralytics YOLO26-Inferenz auf der Intel-Panther-Lake-GPU mit OpenVINO (Quelle)

Abb. 3. Benchmarking der Ultralytics YOLO26-Inferenz auf der Intel-Panther-Lake-NPU mit OpenVINO (Quelle)

Zwei Möglichkeiten zum Export von Ultralytics YOLO26 in das OpenVINO-Format#

Es gibt zwei Hauptmöglichkeiten, YOLO26-Modelle in das OpenVINO-Format zu exportieren. Du kannst entweder das Ultralytics Python-Paket verwenden oder direkt über die Ultralytics Platform exportieren, einen durchgängigen Arbeitsbereich zum Erstellen und Verwalten von Computer-Vision-Arbeitsabläufen an einem Ort. Im Folgenden führen wir dich durch beide Ansätze.

YOLO26 mit dem Ultralytics Python-Paket exportieren#

Das Ultralytics Python-Paket bietet eine unkomplizierte Möglichkeit, YOLO26-Modelle in einem codebasierten Arbeitsablauf in das OpenVINO-Format zu exportieren. Da für Training und Inferenz dieselbe Schnittstelle verwendet wird, fügt sich der Modellexport ohne zusätzliche Tools natürlich in bestehende Pipelines ein.

Für den Anfang kannst du das Ultralytics-Paket installieren. Führe dazu den Befehl „pip install ultralytics“ in einem Terminal oder an einer Eingabeaufforderung aus. Wenn du in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeitest, kannst du denselben Befehl mit einem vorangestellten Ausrufezeichen ausführen.

Nach der Installation kannst du ein trainiertes YOLO26-Modell laden und direkt in das OpenVINO-Format exportieren. Wie unten gezeigt, wird ein vortrainiertes YOLO26n-Modell (yolo26n.pt) geladen und anschließend mit der Exportmethode in das OpenVINO-Format umgewandelt.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

Nach der Ausführung des Codes wird das umgewandelte Modell in einem neuen Verzeichnis gespeichert, in dem es für die Bereitstellung verwendet werden kann.

YOLO26 auf der Ultralytics Platform exportieren#

Wenn du einen einfacheren Ansatz ohne Code suchst, kannst du YOLO26-Modelle direkt über die Ultralytics Platform exportieren. Die Plattform bündelt den gesamten Computer-Vision-Arbeitsablauf in einem einzigen Arbeitsbereich und erleichtert so den Übergang vom Training zur Bereitstellung ohne zusätzliche Einrichtung.

Sobald dein Modell bereit ist, kannst du es innerhalb der Plattform öffnen und zum Tab „Export“ navigieren. Dort kannst du OpenVINO als Exportformat auswählen und optional Einstellungen wie Bildgröße oder Genauigkeit anpassen.

Abb. 4. Der Export von YOLO26 innerhalb der Ultralytics Platform

Die Plattform übernimmt die Umwandlung automatisch, sodass du keine Skripte, Abhängigkeiten oder Umgebungskonfigurationen verwalten musst. Nach Abschluss des Exports kann das optimierte Modell heruntergeladen und für die Bereitstellung auf Intel-CPUs, -GPUs und -NPUs verwendet werden.

Bereitstellungsoptionen durch die Integration von Ultralytics und OpenVINO#

Sobald ein YOLO26-Modell in das OpenVINO-Format exportiert wurde, gibt es je nach Arbeitsablauf und gewünschtem Maß an Kontrolle mehrere Möglichkeiten, die Inferenz auszuführen. Du kannst entweder das Ultralytics Python-Paket für einen einfacheren, integrierten Ansatz oder die native OpenVINO-Laufzeitumgebung für mehr Flexibilität und Kontrolle verwenden.

Inferenz mit dem Ultralytics Python-Paket ausführen#

Sobald dein Modell in das OpenVINO-Format exportiert wurde, kannst du mit dem Ultralytics Python-Paket Inferenz ausführen. Dieser Ansatz eignet sich ideal für schnelle Tests und eine unkomplizierte Bereitstellung, da er dieselbe Schnittstelle wie Training und Export verwendet.

Mit diesem Ansatz kannst du das exportierte OpenVINO-Modell aus seinem Verzeichnis laden und Inferenz auf einer Eingabe wie einem Bild oder Video ausführen. Du kannst auch das Ausführungsgerät auswählen, indem du je nach verfügbarer Hardware Optionen wie "intel:cpu", "intel:gpu" oder "intel:npu" angibst.

Das folgende Codebeispiel zeigt, wie du das exportierte Modell lädst und Inferenz auf einem Bild ausführst, wobei die GPU angesteuert wird. Nach Abschluss der Inferenz wird das Ausgabebild im Verzeichnis „runs/detect/predict“ gespeichert.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Die native OpenVINO-Bibliothek für Inferenz nutzen#

Wenn du mehr Kontrolle darüber benötigst, wie dein Modell in der Produktion ausgeführt wird, kannst du die native OpenVINO-Laufzeitumgebung für die Inferenz verwenden. Diese Methode ist nützlich, wenn du Modelle in größere Anwendungen integrierst oder die Ausführung der Inferenz auf bestimmter Hardware feinabstimmen möchtest.

OpenVINO bietet eine einheitliche Möglichkeit, Modelle auf Intel-CPUs, -GPUs und -NPUs auszuführen, sowie Funktionen wie asynchrone Ausführung und eine effiziente Nutzung der verfügbaren Rechenressourcen. Für die Einrichtung kannst du direkt mit den exportierten Modelldateien arbeiten, einschließlich der .xml-Datei, die die Modellstruktur definiert, und der .bin-Datei, die die trainierten Gewichte enthält.

Je nach Anwendungsfall kannst du auch Einstellungen wie Eingabegröße oder Vorverarbeitungsschritte anpassen. Zum Einrichten der Inferenz initialisierst du die OpenVINO-Laufzeitumgebung, lädst das Modell und kompilierst es für ein Zielgerät, bereitest die Eingabedaten vor und führst anschließend die Inferenz aus.

Abb. 5. Beispiel für eine typische Inferenzpipeline mit OpenVINO (Quelle)

Damit kannst du steuern, wie das Modell ausgeführt wird und wie es sich in deine gesamte Bereitstellung einfügt. Weitere Informationen zum Einrichten und Ausführen von Inferenz mit der OpenVINO-Laufzeitumgebung findest du in der offiziellen Ultralytics-Dokumentation.

Reale Anwendungen von Ultralytics YOLO26 auf Intel-Hardware#

Der praktische Nutzen der Integration von Ultralytics und OpenVINO zeigt sich in der Produktion, wo zuverlässige Inferenz mit niedriger Latenz einen konkreten Unterschied bewirken kann. Hier ein Blick auf einige wichtige Branchen, in denen diese Integration messbare Ergebnisse liefert:

• Fertigung: Durch den Export von Ultralytics YOLO26 in OpenVINO können Produktionsliniensysteme visuelle Defekte wie fehlende Komponenten, fehlerhafte Ausrichtung oder Oberflächenschäden auf Intel-Hardware automatisch erkennen. Das trägt dazu bei, die Produktqualität zu verbessern und kostspielige Fehler zu reduzieren.

• Gesundheitswesen: Systeme für medizinische Bildgebung und Patientenüberwachung können exportierte Ultralytics YOLO26-Modelle lokal auf Intel-Hardware ausführen. So lassen sich strenge Anforderungen an den Datenschutz unterstützen und gleichzeitig eine zuverlässige Inferenzleistung aufrechterhalten.

• Intelligente Städte: Verkehrsüberwachung und Menschenmengenanalyse können mit exportierten Ultralytics YOLO26-Modellen auf Intel-basierten Edge-Kameras bereitgestellt werden. Dadurch werden Echtzeiteinblicke wie Fahrzeugzählung, Fußgängerverfolgung und Ereigniserkennung ermöglicht.

• Automobilindustrie: Niedrige Latenz und Energieeffizienz sind bei der Fahrerüberwachung und der Erfassung des Innenraums entscheidend. Daher eignet sich Intel-Hardware in Verbindung mit exportierten Ultralytics YOLO26-Modellen besonders gut für eingebettete Systeme in Fahrzeugen.

Wenn du mehr über diese Integration erfahren möchtest, nimm an der OpenVINO DevCon-Workshopreihe von Intel teil: „Von der Annotation zur Bereitstellung: Eine Objekterkennungspipeline mit Geti, Ultralytics YOLO26 und OpenVINO™ entwickeln“. Dort wird unser Manager für Partnerschaften und Ökosysteme, Francesco Mattioli, gemeinsam mit Intels Evangelisten für KI-Software, Adrian Boguszewski, live demonstrieren und erläutern, wie produktionsreife Computer-Vision-Pipelines für industrielle Szenarien aus der Praxis erstellt werden. Der Workshop umfasst einen vollständigen durchgängigen Arbeitsablauf zur Objekterkennung – von der Erstellung des Datensatzes und dem Modelltraining bis zur Optimierung und Bereitstellung am Edge.

Vorteile des OpenVINO-Exportformats#

Hier sind einige der wichtigsten Vorteile des OpenVINO-Exportformats:

• Zugänglich und einfach zu integrieren: Mit einer einheitlichen API und mehr als 80 Tutorial-Notebooks erleichtert OpenVINO den Übergang vom Experimentieren zur Bereitstellung, ohne nennenswerte Komplexität einzuführen.

• Dasselbe Modell auf unterschiedlicher Hardware ausführen: Mit OpenVINO kannst du ein einziges exportiertes Modell auf unterstützter Intel-Hardware verwenden und es auf CPUs, GPUs oder NPUs bereitstellen, ohne es für jedes Gerät neu schreiben oder anpassen zu müssen.

• Integrierte Optimierung beim Export: Der Export in OpenVINO wandelt Modelle aus beliebten Frameworks wie PyTorch und TensorFlow in ein für die Inferenz optimiertes Format um, sodass separate Konvertierungsschritte entfallen.

• Bessere Nutzung der Hardwareressourcen: OpenVINO unterstützt asynchrone Inferenz und Lastverteilung auf Intel-Hardware und trägt so zur Verbesserung der Effizienz in realen Anwendungen bei.

Ultralytics YOLO26 mit ExecuTorch und dem OpenVINO-Backend ausführen#

Wenn du Ultralytics YOLO26 in anspruchsvolleren Produktionsumgebungen bereitstellst, steht dir eine weitere Option zur Verfügung, die Effizienz auf dem Gerät mit fortschrittlicher Modellkomprimierung verbindet.

ExecuTorch, das Inferenz-Framework von PyTorch für die Ausführung auf Geräten, unterstützt ein OpenVINO-Backend. Damit kannst du Ultralytics YOLO26 über einen anderen Export- und Laufzeitpfad auf Intel-Hardware bereitstellen.

ExecuTorch übernimmt dabei den Modellexport und die Ausführung zur Laufzeit, während OpenVINO als darunterliegende Hardwarebeschleunigungsschicht fungiert und die eigentlichen Berechnungen auf der Intel-CPU, -GPU oder -NPU ausführt. Beide arbeiten zusammen, sodass du die Portabilität und Effizienz auf dem Gerät von ExecuTorch mit den hardwarespezifischen Optimierungen von OpenVINO kombinierst.

Weitere Informationen zur Funktionsweise und zu den ersten Schritten mit Ultralytics YOLO26 auf ExecuTorch und dem OpenVINO-Backend findest du im Intel-Blog mit den neuesten Updates zu ExecuTorch und OpenVINO.

Die wichtigsten Erkenntnisse#

Der Export von YOLO26-Modellen über die Integration von Ultralytics und OpenVINO verbessert die Leistung auf Intel-Hardware, ohne deinen Arbeitsablauf komplizierter zu machen. Du kannst vom Training zur Bereitstellung wechseln, ohne deine Pipeline neu entwickeln zu müssen. Insgesamt bietet dies eine unkomplizierte Möglichkeit, Modelle in realen Anwendungen effizient auf Intel-CPUs, -GPUs und -NPUs auszuführen.

Tritt unserer Community bei und erkunde unser GitHub-Repository, um mehr über Vision AI zu erfahren. Sieh dir unsere Lizenzoptionen an, um deine Computer-Vision-Projekte zu starten. Interessierst du dich für Innovationen wie KI in der Fertigung oder Computer Vision in der Automobilindustrie? Besuche unsere Lösungsseiten, um mehr zu erfahren.