Ultralytics YOLO-Modelle mit OpenVINO auf Intels AI PC ausführen

YOLO Vision 2024 (YV24), die jährliche hybride Veranstaltung von Ultralytics, brachte KI-Begeisterte, Entwickler und Fachleute aus aller Welt zusammen, um die neuesten Innovationen im Bereich Computer Vision zu erkunden. Bei YV24 präsentierten führende Akteure der KI-Branche ihre neuesten Innovationen. Dazu gehörte Intel, das eine Keynote zu seinem neuen KI-PC und zur Integration von Intel OpenVINO in Ultralytics-YOLO-Modelle wie Ultralytics YOLO11 hielt.

Der Vortrag wurde von Adrian Boguszewski, einem Software-Evangelisten, der als Mitautor am LandCover.ai-Datensatz mitgewirkt hat und Entwickler über Intels OpenVINO-Toolkit informiert, sowie von Dmitriy Pastushenkov gehalten, einem KI-PC-Evangelisten mit mehr als 20 Jahren Erfahrung in der industriellen Automatisierung und KI. Während der Veranstaltung sagte Adrian: „Das ist heute eine großartige Veranstaltung – nicht nur, weil Ultralytics eine neue YOLO-Version veröffentlicht hat, sondern auch, weil wir dieses neue Modell auf unserer neuen Hardware und zugleich eine neue OpenVINO-Version präsentieren können.“

In diesem Artikel sehen wir uns die wichtigsten Höhepunkte aus Intels Vortrag auf der YV24 an. Dabei geht es um Intels KI-PC, die Intel Core Ultra 200V Series und ihre Integration mit Ultralytics-YOLO-Modellen mithilfe des OpenVINO-Toolkits.

KI-Technologien im Jahr 2024#

Dmitriy eröffnete die Keynote mit einer Erläuterung der wichtigsten Unterschiede zwischen herkömmlicher KI und generativer KI. Im Mittelpunkt stand die Frage, wie sich diese Technologien und ihre Anwendungsfälle 2024 weiterentwickeln. Herkömmliche KI-Techniken wie Computer Vision und die Verarbeitung natürlicher Sprache sind für Aufgaben wie Posenschätzung, Objekterkennung und Spracherkennung unverzichtbar. Generative KI steht dagegen für eine neuere Welle der KI-Technologie mit Anwendungen wie Chatbots, Text-zu-Bild-Generierung, Codeerstellung und sogar Text-zu-Video.

Abb. 1: Adrian und Dmitriy von Intel sprechen auf der Bühne der YV24 über KI-Anwendungsfälle.

Dmitriy wies auf den Größenunterschied zwischen den beiden hin. Er erklärte, dass herkömmliche KI-Modelle aus Millionen von Parametern bestehen, während generative KI-Modelle in einem viel größeren Maßstab arbeiten. Generative KI-Modelle umfassen häufig Milliarden oder sogar Billionen von Parametern und benötigen dadurch deutlich mehr Rechenleistung.

Der Intel AI PC: Eine neue Grenze der KI-Hardware#

Dmitriy stellte den Intel AI PC als neue Hardwarelösung vor, die den wachsenden Herausforderungen beim effizienten Betrieb herkömmlicher und generativer KI-Modelle begegnen soll. Der Intel AI PC ist ein leistungsstarkes und energieeffizientes Gerät. Es kann eine Vielzahl von KI-Modellen lokal ausführen, ohne dass eine cloudbasierte Verarbeitung erforderlich ist.

Die lokale Verarbeitung trägt dazu bei, vertrauliche Daten zu schützen. Wenn KI-Modelle ohne Internetverbindung arbeiten können, lassen sich damit ethische Bedenken hinsichtlich Datenschutz und Sicherheit in der Branche angehen.

Der Intel Core Ultra 200V Series-Prozessor ist die treibende Kraft hinter dem Intel KI-PC. Er vereint drei zentrale Komponenten: die Zentraleinheit (CPU), die Grafikeinheit (GPU) und die neuronale Verarbeitungseinheit (NPU). Jede Komponente übernimmt eine bestimmte Rolle bei der Verarbeitung unterschiedlicher KI-Arbeitslasten. Die CPU eignet sich ideal für kleinere Aufgaben mit geringer Latenz, die schnelle Reaktionen erfordern, während die GPU für Vorgänge mit hohem Durchsatz optimiert ist, etwa für die Ausführung von KI-Modellen. Die NPU wurde auf Energieeffizienz ausgelegt und eignet sich gut für lang laufende Aufgaben wie die Objekterkennung in Echtzeit mit Modellen wie YOLO11.

Es wurde darauf hingewiesen, dass die CPU bis zu 5 TOPS (Billionen Operationen pro Sekunde) und die GPU bis zu 67 TOPS erreichen kann. Die NPU ermöglicht es, KI-Aufgaben kontinuierlich und energieeffizient auszuführen, ohne die Systemressourcen aufzubrauchen.

KI-Fortschritte von Intel: Intel Core Ultra 200V-Serie#

Der Intel Core Ultra 200V Series-Prozessor integriert alle drei KI-Recheneinheiten – NPU, CPU und GPU – in einem einzigen kleinen Chip. Sein Design eignet sich gut für kompakte Geräte wie Notebooks.

Der Prozessor verfügt außerdem über integrierten RAM, sodass separate Grafikkarten nicht benötigt werden. Das trägt dazu bei, den Stromverbrauch zu senken und das Gerät kompakt zu halten. Dmitriy betonte auch die Flexibilität des Prozessors. Nutzer können je nach Aufgabe entscheiden, ob sie KI-Modelle auf der CPU, GPU oder NPU ausführen möchten. Beispielsweise kann die Objekterkennung mit YOLO11-Modellen auf jeder dieser Engines laufen, während komplexere Aufgaben wie die Text-zu-Bild-Generierung für eine bessere Leistung GPU und NPU gleichzeitig nutzen können.

Während der Präsentation holte Dmitriy den Chip aus seiner Tasche und vermittelte allen einen klaren Eindruck davon, wie klein er tatsächlich ist – trotz seiner Fähigkeit, so fortschrittliche KI-Aufgaben zu bewältigen. So zeigte er auf unterhaltsame und einprägsame Weise, wie Intel leistungsstarke KI-Funktionen auf mehr mobile und praktische Geräte bringt.

Abb. 2. Der Intel Core Ultra 200V-Prozessor passt in eine Hosentasche.

KI-Modelle mit Intel OpenVINO optimieren#

Nachdem Dmitriy Intels neueste Hardware vorgestellt hatte, wechselte er zu Intels Software-Stack für KI. Er stellte OpenVINO vor, ein von Intel entwickeltes Open-Source-Framework, mit dem sich KI-Modelle effizient optimieren und bereitstellen lassen. OpenVINO ist nicht auf visuelle Aufgaben beschränkt, sondern unterstützt auch KI-Modelle für die Verarbeitung natürlicher Sprache und von Audiodaten, Transformer und mehr.

OpenVINO ist mit gängigen Frameworks wie PyTorch, TensorFlow und ONNX kompatibel und lässt sich problemlos in Entwickler-Workflows integrieren. Ein wichtiges Merkmal, auf das Dmitriy hinwies, war die Quantisierung. Durch Quantisierung werden Modellgewichte komprimiert, um ihre Größe zu verringern. So können große Modelle reibungslos auf lokalen Geräten ausgeführt werden, ohne auf die Cloud angewiesen zu sein. OpenVINO funktioniert mit verschiedenen Frameworks und läuft auf CPU, GPU, NPU, FPGA oder sogar ARM-Geräten. Außerdem unterstützt es Windows, Linux und macOS. Dmitriy zeigte dem Publikum auch, wie einfach der Einstieg in OpenVINO ist.

Abb. 3. Dmitriy erklärt, wie man mit OpenVINO loslegt.

Ultralytics mit Intel OpenVINO integrieren#

Im zweiten Teil des Vortrags übernahm Adrian das Wort und erklärte, wie Ultralytics-YOLO-Modelle mit Intels OpenVINO-Toolkit integriert werden können, um die Bereitstellung von YOLO-Modellen zu vereinfachen. Schritt für Schritt zeigte er, wie schnell und einfach sich ein YOLO-Modell mit dem Ultralytics-Python-Paket in das OpenVINO-Format exportieren lässt. Dank dieser Integration können Entwickler ihre Modelle viel leichter für Intel-Hardware optimieren und das Beste aus beiden Plattformen herausholen.

Abb. 4. Adrian erklärt, wie einfach sich mit Ultralytics ein Modell in das OpenVINO-Format exportieren lässt.

Adrian zeigte, dass Nutzer ein trainiertes Ultralytics-YOLO-Modell mit wenigen einfachen Kommandozeilenoptionen exportieren können. Zum Beispiel lässt sich festlegen, ob das Modell für maximale Präzision als Gleitkommaversion oder für höhere Geschwindigkeit und Effizienz als quantisierte Version exportiert werden soll. Außerdem hob er hervor, dass Entwickler diesen Vorgang direkt im Code steuern können, etwa mit INT8-Quantisierung, um die Leistung zu verbessern, ohne allzu viel Genauigkeit einzubüßen.

Echtzeit-KI-Demos auf dem Intel AI PC#

Um die Theorie in die Praxis umzusetzen, präsentierte das Intel-Team eine Echtzeit-Demo zur Objekterkennung mit YOLO11 auf dem Intel KI-PC. Adrian zeigte, wie das System das Modell auf verschiedenen Prozessoren ausführte: mit einer Gleitkommaversion mit 36 Bildern pro Sekunde (FPS) auf der CPU, mit mehr als 100 FPS auf der integrierten GPU und mit 70 FPS mit der quantisierten INT8-Version. Die Demo veranschaulichte, wie effizient der Intel KI-PC komplexe KI-Aufgaben bewältigen kann.

Er wies außerdem darauf hin, dass das System Modelle parallel ausführen und CPU, GPU und NPU gemeinsam nutzen kann, wenn alle Daten oder Videoframes von Anfang an verfügbar sind. Das ist bei der Verarbeitung großer Datenmengen wie Videos nützlich. Das System kann die Arbeitslast auf verschiedene Prozessoren verteilen und dadurch schneller und effizienter arbeiten.

Zum Abschluss erwähnte Adrian, dass Nutzer zu Hause Demos ausprobieren können, darunter Lösungen wie Personenzählung und intelligente Warteschlangenverwaltung. Anschließend zeigte er eine Bonus-Demo, in der Nutzer Eingabeaufforderungen eingeben konnten, um in Echtzeit traumartige Bilder auf der GPU zu erzeugen. Die Demo zeigte, wie vielseitig der Intel KI-PC sowohl für herkömmliche KI-Aufgaben als auch für kreative Projekte mit generativer KI ist.

Echtzeit-Objekterkennung mit Intel OpenVINO#

Auf der Veranstaltung hatte Intel einen Stand, an dem das Unternehmen eine Demo zur Echtzeit-Objekterkennung mit Ultralytics YOLO11 zeigte, das auf dem Intel AI PC lief. Die Besucher konnten das mit OpenVINO optimierte und auf dem Intel Core Ultra 200V-Prozessor bereitgestellte Modell in Aktion erleben.

Abb. 5. Die Besucher konnten eine Echtzeitdemo am Intel-OpenVINO-Stand erleben.

Am Intel-Stand sagte Dmitriy: „Ich bin zum ersten Mal bei YOLO Vision und freue mich, in Madrid zu sein. Wir präsentieren das YOLO11-Modell von Ultralytics, das auf dem Intel Core Ultra 200V-Prozessor läuft. Es bietet eine hervorragende Leistung, und wir verwenden OpenVINO, um das Modell zu optimieren und bereitzustellen. Die Zusammenarbeit mit Ultralytics und die Ausführung des Modells auf der neuesten Intel-Hardware unter Nutzung von CPU, GPU und NPU waren sehr einfach.“ Am Stand gab es außerdem unterhaltsame Werbegeschenke wie T-Shirts und Notizbücher zum Mitnehmen.

Die wichtigsten Erkenntnisse#

Der Tech-Vortrag von Intel bei YV24, in dem die Prozessoren der Intel Core Ultra 200V-Serie vorgestellt wurden, zeigte, wie das OpenVINO-Toolkit KI-Modelle wie Ultralytics YOLO11 optimiert. Dank dieser Integration können Nutzer YOLO-Modelle direkt auf ihren Geräten ausführen und so eine hohe Leistung bei Aufgaben der Bildverarbeitung wie der Objekterkennung erzielen. Der entscheidende Vorteil: Nutzer müssen sich nicht auf Cloud-Dienste verlassen.

Entwickler und KI-Begeisterte können YOLO-Modelle ausführen und feinabstimmen und dabei Hardware wie CPUs, GPUs und NPUs für Echtzeitanwendungen voll nutzen. Das Intel-OpenVINO-Toolkit eröffnet in Kombination mit Ultralytics-YOLO-Modellen neue Möglichkeiten, fortschrittliche KI-Funktionen direkt auf persönliche Geräte zu bringen. Damit ist es eine überzeugende Option für Entwickler, die KI-Anwendungen für verschiedene Branchen erstellen.

Besuche unser GitHub-Repository, um unsere Beiträge zu erkunden und dich mit unserer Community auszutauschen. Erfahre, wie wir mithilfe von KI in Branchen wie der Fertigung und dem Gesundheitswesen etwas bewegen.