Ultralytics YOLO26 mit OpenVINO auf Intel Core Ultra Series 3 (Panther Lake) beschleunigen

In den vergangenen Jahren haben sich KI und Computer Vision von experimentellen Technologien zu einem wichtigen Bestandteil des Geschäftsalltags entwickelt. Umfragen zeigen sogar, dass bereits etwa 88 % der Unternehmen KI in mindestens einem Geschäftsbereich einsetzen.

Ob daraus ein tatsächlicher Mehrwert entsteht – in Produktionssystemen oder persönlichen Projekten –, hängt jedoch oft davon ab, wie gut die Modelle nach ihrer Bereitstellung wirklich laufen. In vielen realen Anwendungsszenarien werden Computer-Vision-Modelle wie Ultralytics YOLO26 auf Edge-Geräten und verschiedenster Hardware eingesetzt, häufig auf CPUs, integrierten GPUs oder NPUs statt auf leistungsstarken GPUs.

Hier kann die Leistung stark variieren, und hier wird Optimierung entscheidend. Ein Modell, das in einer Umgebung gut funktioniert, kann in einer anderen Schwierigkeiten bereiten, wenn es nicht für die jeweilige Hardware optimiert wurde.

Um diesen Prozess zu vereinfachen, unterstützt das Ultralytics Python-Paket den Export von YOLO26-Modellen in optimierte Formate wie OpenVINO. So laufen die Modelle problemlos auf Intel-Hardware, ohne dass du deinen Workflow ändern musst.

Wird ein Ultralytics YOLO26-Modell beispielsweise in das OpenVINO-Format exportiert, kann es auf Intel Core Ultra Series 3-Prozessoren effizienter laufen. Dabei kann sich die GPU-Inferenzgeschwindigkeit um das bis zu Dreifache erhöhen.

In diesem Artikel zeigen wir, wie die aktualisierte Integration von Ultralytics und OpenVINO die Bereitstellung von YOLO26-Modellen auf Intel Core Ultra Series 3-Hardware erleichtert. Los geht’s!

Überblick über die Integration von Ultralytics und OpenVINO#

Das Ultralytics Python-Paket bietet eine einheitliche Schnittstelle zum Trainieren, Ausführen von Inferenz und Bereitstellen von Ultralytics YOLO-Modellen wie YOLO26. Es unterstützt eine Reihe von Integrationen, die verschiedene Schritte im Vision-AI-Workflow abdecken – vom Training und Experimentieren bis hin zur Bereitstellung und Optimierung.

Eine der auf die Bereitstellung ausgerichteten Integrationen ist die Anbindung an das OpenVINO-Toolkit. Damit kannst du Ultralytics YOLO26-Modelle in ein optimiertes Format für Intel-Hardware exportieren. Dabei werden YOLO-Modelle in ein Format umgewandelt, das effizienter auf Intel-CPUs, -GPUs und -NPUs läuft, darunter Systeme mit Prozessoren der Intel® Core™ Ultra™-Serie.

Dadurch lassen sich Modelle einfacher auf verschiedenen Intel-Geräten ausführen, ohne sie manuell für jede Konfiguration anpassen zu müssen. Ob auf einem lokalen Rechner, einem Edge-Gerät oder in einer größeren Bereitstellung – dasselbe exportierte Modell lässt sich wiederverwenden.

Besonders praktisch ist, wie nahtlos sich diese Integration in den bestehenden Ultralytics-Workflow einfügt. Du kannst ein Modell über dieselbe Schnittstelle exportieren, die du auch zum Trainieren und Ausführen von Inferenz verwendest, ohne zusätzliche Tools oder eine komplexe Einrichtung.

Nach dem Export kannst du das Modell je nach gewünschtem Maß an Kontrolle und Flexibilität entweder über das Ultralytics Python-Paket oder die OpenVINO Runtime für Inferenz verwenden.

OpenVINO und Intel Panther Lake: Hardware für KI-Inferenz im Detail#

Bevor wir uns ansehen, wie effizient ein exportiertes Ultralytics YOLO26-Modell auf Intel-Hardware laufen kann, betrachten wir zunächst, wie OpenVINO und Intel-Hardware zusammenspielen, um eine effiziente Inferenz zu ermöglichen.

OpenVINO ist ein Open-Source-Toolkit zur Optimierung und Ausführung von KI-Inferenz auf Intel-Hardware, darunter CPUs, integrierte GPUs und NPUs. Es bietet eine einheitliche Laufzeitumgebung, sodass dasselbe Modell auf diesen verschiedenen Recheneinheiten ausgeführt werden kann, ohne dafür neu geschrieben werden zu müssen.

Abb. 1: Mit OpenVINO lassen sich Modelle einfach auf verschiedenen Hardwarezielen bereitstellen. (Quelle)

Auf neuen Intel® Core™ Ultra™ Series 3-Prozessoren (Codename Panther Lake) werden KI-Workloads auf mehreren Recheneinheiten innerhalb desselben Prozessors ausgeführt. Jeder Chip vereint CPU-Kerne für allgemeine Aufgaben, eine integrierte GPU für parallele Verarbeitung und eine speziell für KI-Inferenz entwickelte NPU.

OpenVINO bietet eine einheitliche API, mit der du jede dieser Recheneinheiten ansprechen kannst – CPU, GPU oder NPU –, ohne deinen Code zu ändern. Du musst lediglich zur Laufzeit das Gerät angeben, auf dem die Inferenz ausgeführt werden soll. So kannst du je nach Leistungs- und Effizienzanforderungen problemlos zwischen allen drei wechseln.

Ultralytics YOLO26 auf der Intel® Core™ Ultra™-Serie im Benchmark#

Wenn du dich mit der Integration von Ultralytics und OpenVINO beschäftigst, fragst du dich vielleicht, welche Leistungssteigerung du durch den Export von YOLO26 in das OpenVINO-Format erwarten kannst.

Der Unterschied bei der Inferenzgeschwindigkeit wird deutlich, wenn YOLO26-Modelle in verschiedenen Formaten und mit unterschiedlicher Genauigkeit getestet werden. Läuft beispielsweise die Nano-Variante von YOLO26 (YOLO26n) auf einem Intel Core Ultra X7 358H, einem Panther Lake-Prozessor, sinkt die Inferenzzeit pro Bild von 25,18 ms mit PyTorch bei FP32-Genauigkeit auf 2,64 ms mit OpenVINO bei derselben Genauigkeit und Verwendung der integrierten NPU.

Das ist schneller als die ursprüngliche PyTorch-FP32-Ausgangsmessung und kann bei Echtzeit- und Edge-Anwendungen, in denen die Latenz entscheidend ist, einen spürbaren Unterschied machen. Auf der integrierten Intel Arc GPU fallen die Leistungsgewinne beim selben Modell noch deutlicher aus.

Abb. 2: Benchmark der Ultralytics YOLO26-Inferenz auf einer Intel Panther Lake GPU mit OpenVINO (Quelle)

Abb. 3: Benchmark der Ultralytics YOLO26-Inferenz auf einer Intel Panther Lake NPU mit OpenVINO (Quelle)

Zwei Möglichkeiten zum Export von Ultralytics YOLO26 in das OpenVINO-Format#

Es gibt zwei Hauptwege, YOLO26-Modelle in das OpenVINO-Format zu exportieren. Du kannst entweder das Ultralytics Python-Paket verwenden oder den Export direkt über die Ultralytics Platform ausführen – einen durchgängigen Arbeitsbereich, in dem du Computer-Vision-Workflows an einem Ort entwickelst und verwaltest. Im Folgenden gehen wir beide Möglichkeiten durch.

YOLO26 mit dem Ultralytics Python-Paket exportieren#

Das Ultralytics Python-Paket bietet eine einfache Möglichkeit, YOLO26-Modelle in einem codebasierten Workflow in das OpenVINO-Format zu exportieren. Da dieselbe Schnittstelle für Training und Inferenz verwendet wird, fügt sich der Modelleexport ganz natürlich in bestehende Pipelines ein und erfordert keine zusätzlichen Tools.

Installiere zunächst das Ultralytics-Paket. Führe dazu in einem Terminal oder einer Eingabeaufforderung den Befehl „pip install ultralytics“ aus. Wenn du in einer interaktiven Umgebung wie Jupyter Notebook oder Google Colab arbeitest, kannst du denselben Befehl mit einem vorangestellten Ausrufezeichen ausführen.

Nach der Installation kannst du ein trainiertes YOLO26-Modell laden und direkt in das OpenVINO-Format exportieren. Wie unten gezeigt, wird ein vortrainiertes YOLO26n-Modell (yolo26n.pt) geladen und anschließend mit der Exportmethode in das OpenVINO-Format umgewandelt.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

Nach der Ausführung des Codes wird das umgewandelte Modell in einem neuen Verzeichnis gespeichert, wo du es bereitstellen kannst.

YOLO26 über die Ultralytics Platform exportieren#

Wenn du einen einfacheren Ansatz ohne Code suchst, kannst du YOLO26-Modelle exportieren, und zwar direkt über die Ultralytics Platform. Die Plattform vereint den gesamten Computer-Vision-Workflow in einem einzigen Arbeitsbereich und ermöglicht dir den einfachen Übergang vom Training zur Bereitstellung – ganz ohne zusätzliche Einrichtung.

Sobald dein Modell bereit ist, kannst du es auf der Plattform öffnen und zum Tab „Export“ wechseln. Dort kannst du OpenVINO als Exportformat auswählen und bei Bedarf Einstellungen wie Bildgröße oder Genauigkeit anpassen.

Abb. 4: YOLO26-Export in der Ultralytics Platform

Die Plattform übernimmt die Umwandlung automatisch. Du musst dich also nicht um Skripte, Abhängigkeiten oder die Konfiguration der Umgebung kümmern. Nach dem Export kannst du das optimierte Modell herunterladen und auf Intel-CPUs, -GPUs und -NPUs bereitstellen.

Bereitstellungsoptionen durch die Integration von Ultralytics und OpenVINO#

Sobald ein YOLO26-Modell in das OpenVINO-Format exportiert wurde, gibt es je nach Workflow und gewünschtem Maß an Kontrolle verschiedene Möglichkeiten, Inferenz auszuführen. Du kannst entweder das Ultralytics Python-Paket für einen einfacheren, integrierten Ansatz oder die native OpenVINO-Laufzeitumgebung für mehr Flexibilität und Kontrolle verwenden.

Inferenz mit dem Ultralytics Python-Paket ausführen#

Sobald du dein Modell in das OpenVINO-Format exportiert hast, kannst du mit dem Ultralytics Python-Paket Inferenz ausführen. Dieser Ansatz eignet sich ideal für schnelle Tests und eine unkomplizierte Bereitstellung, da er dieselbe Schnittstelle wie Training und Export verwendet.

Bei diesem Ansatz kannst du das exportierte OpenVINO-Modell aus seinem Verzeichnis laden und Inferenz für eine Eingabe wie ein Bild oder Video ausführen. Je nach verfügbarer Hardware kannst du außerdem mit Optionen wie „intel:cpu“, „intel:gpu“ oder „intel:npu“ das Zielgerät auswählen.

Das folgende Codebeispiel zeigt, wie du das exportierte Modell lädst und Inferenz für ein Bild auf der GPU ausführst. Nach Abschluss der Inferenz wird das Ausgabebild im Verzeichnis „runs/detect/predict“ gespeichert.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Die native OpenVINO-Bibliothek für Inferenz nutzen#

Wenn du mehr Kontrolle darüber benötigst, wie dein Modell in der Produktion läuft, kannst du für die Inferenz die native OpenVINO-Laufzeitumgebung verwenden. Diese Methode ist hilfreich, wenn du Modelle in größere Anwendungen integrierst oder die Ausführung der Inferenz auf bestimmter Hardware genau abstimmen möchtest.

OpenVINO bietet eine einheitliche Möglichkeit, Modelle auf Intel-CPUs, -GPUs und -NPUs auszuführen. Dazu kommen Funktionen wie asynchrone Ausführung und die effiziente Nutzung verfügbarer Rechenressourcen. Für die Einrichtung kannst du direkt mit den exportierten Modelldateien arbeiten, darunter die .xml-Datei mit der Modellstruktur und die .bin-Datei mit den trainierten Gewichten.

Je nach Anwendungsfall kannst du auch Einstellungen wie Eingabegröße oder Vorverarbeitungsschritte anpassen. Für die Inferenz initialisierst du die OpenVINO-Laufzeitumgebung, lädst das Modell, kompilierst es für ein Zielgerät, bereitest die Eingabedaten vor und führst anschließend die Inferenz aus.

Abb. 5: Beispiel für eine typische Inferenz-Pipeline mit OpenVINO (Quelle)

So kannst du steuern, wie das Modell ausgeführt wird und wie es sich in deine gesamte Bereitstellung einfügt. Weitere Informationen zur Einrichtung und Ausführung von Inferenz mit der OpenVINO-Laufzeitumgebung findest du in der offiziellen Ultralytics-Dokumentation.

Ultralytics YOLO26 auf Intel-Hardware: Anwendungen aus der Praxis#

Der tatsächliche Nutzen der Integration von Ultralytics und OpenVINO zeigt sich in der Produktion, wo zuverlässige Inferenz mit niedriger Latenz einen greifbaren Unterschied machen kann. Hier sind einige wichtige Branchen, in denen diese Integration konkrete Ergebnisse ermöglicht:

• Fertigung: Durch den Export von Ultralytics YOLO26 nach OpenVINO können Produktionsliniensysteme auf Intel-Hardware visuelle Mängel wie fehlende Bauteile, Fehlausrichtungen oder Oberflächenschäden automatisch erkennen. Das trägt dazu bei, die Produktqualität zu verbessern und kostspielige Fehler zu reduzieren.
• Gesundheitswesen: Systeme für medizinische Bildgebung und Patientenüberwachung können exportierte Ultralytics YOLO26-Modelle lokal auf Intel-Hardware ausführen. So erfüllen sie strenge Anforderungen an den Datenschutz und gewährleisten zugleich eine zuverlässige Inferenzleistung.
• Intelligente Städte: Verkehrsüberwachung und Menschenmengenanalyse lassen sich mit exportierten Ultralytics YOLO26-Modellen auf Edge-Kameras mit Intel-Hardware umsetzen. Das ermöglicht Echtzeit-Auswertungen wie das Zählen von Fahrzeugen, die Verfolgung von Fußgängern und die Erkennung von Vorfällen.
• Automobilindustrie: Bei der Fahrerüberwachung und der Erfassung des Innenraums sind geringe Latenz und Energieeffizienz entscheidend. Daher eignet sich Intel-Hardware in Verbindung mit exportierten Ultralytics YOLO26-Modellen besonders gut für eingebettete Systeme in Fahrzeugen.

Wenn du mehr über diese Integration erfahren möchtest, nimm an der Intel-OpenVINO DevCon-Workshopreihe teil: „Von der Annotation bis zur Bereitstellung: Aufbau einer Pipeline zur Objekterkennung mit Geti, Ultralytics YOLO26 und OpenVINO™“. Dort zeigt unser Manager für Partnerschaften und Ökosystem, Francesco Mattioli, gemeinsam mit Intels KI-Software-Evangelist Adrian Boguszewski in einer Live-Demo und Schritt-für-Schritt-Anleitung, wie sich produktionsreife Computer-Vision-Pipelines für industrielle Anwendungen in der Praxis aufbauen lassen. Der Workshop behandelt einen vollständigen Workflow zur Objekterkennung – von der Erstellung des Datensatzes und dem Modelltraining bis hin zur Optimierung und Bereitstellung auf Edge-Geräten.

Vorteile des OpenVINO-Exportformats#

Hier sind einige der wichtigsten Vorteile des OpenVINO-Exportformats:

• Einfach zugänglich und integrierbar: Mit einer einheitlichen API und mehr als 80 Tutorial-Notebooks erleichtert OpenVINO den Übergang vom Experiment zur Bereitstellung, ohne die Komplexität wesentlich zu erhöhen.
• Dasselbe Modell auf verschiedener Hardware ausführen: Mit OpenVINO kannst du ein einziges exportiertes Modell auf unterstützter Intel-Hardware verwenden und es auf CPUs, GPUs oder NPUs bereitstellen, ohne es für jedes Gerät neu schreiben oder anpassen zu müssen.
• Integrierte Optimierung beim Export: Beim Export nach OpenVINO werden Modelle aus gängigen Frameworks wie PyTorch und TensorFlow in ein optimiertes, für die Inferenz bereites Format umgewandelt. Separate Konvertierungsschritte sind damit nicht erforderlich.
• Hardware-Ressourcen besser nutzen: OpenVINO unterstützt asynchrone Inferenz und Lastverteilung auf Intel-Hardware und trägt so zu einer höheren Effizienz in realen Anwendungen bei.

Ultralytics YOLO26 mit ExecuTorch und dem OpenVINO-Backend ausführen#

Wenn du Ultralytics YOLO26 in anspruchsvolleren Produktionsumgebungen einsetzt, gibt es eine weitere Möglichkeit, die Effizienz auf dem Gerät mit fortschrittlicher Modellkomprimierung verbindet.

ExecuTorch, das Inferenz-Framework von PyTorch für die Ausführung auf dem Gerät, unterstützt ein OpenVINO-Backend. Damit kannst du Ultralytics YOLO26 über einen anderen Export- und Laufzeitpfad auf Intel-Hardware bereitstellen.

ExecuTorch übernimmt den Modelleexport und die Ausführung zur Laufzeit, während OpenVINO als darunterliegende Hardwarebeschleunigungsschicht die eigentlichen Berechnungen auf Intel-CPUs, -GPUs oder -NPUs ausführt. Zusammen verbinden die beiden die Portabilität und Effizienz auf dem Gerät von ExecuTorch mit den hardwarespezifischen Optimierungen von OpenVINO.

Weitere Informationen zur Funktionsweise und zum Einstieg mit Ultralytics YOLO26 in ExecuTorch und dem OpenVINO-Backend findest du im Intel-Blog mit den neuesten Updates zu ExecuTorch und OpenVINO.

Die wichtigsten Erkenntnisse#

Der Export von YOLO26-Modellen über die Integration von Ultralytics und OpenVINO steigert die Leistung auf Intel-Hardware, ohne deinen Workflow komplizierter zu machen. Du kannst vom Training zur Bereitstellung übergehen, ohne deine Pipeline neu aufsetzen zu müssen. Insgesamt bietet das eine unkomplizierte Möglichkeit, Modelle in realen Anwendungen effizient auf Intel-CPUs, -GPUs und -NPUs auszuführen.

Werde Teil unserer Community und entdecke unser GitHub-Repository, um mehr über Vision AI zu erfahren. Wirf einen Blick auf unsere Lizenzoptionen, um deine Computer-Vision-Projekte zu starten. Interessierst du dich für Innovationen wie KI in der Fertigung oder Computer Vision in der Automobilindustrie? Auf unseren Lösungsseiten erfährst du mehr.