Ultralytics-YOLO-Modelle mit OpenVINO auf Intels KI-PC ausführen

YOLO Vision 2024 (YV24), die jährlich stattfindende hybride Veranstaltung von Ultralytics, brachte KI-Begeisterte, Entwickler und Experten aus aller Welt zusammen, um die neuesten Innovationen im Bereich Computer Vision zu erkunden. YV24 bot eine hervorragende Gelegenheit und Plattform, um neue Durchbrüche zu diskutieren. Auf der Veranstaltung stellten wichtige Akteure der KI-Branche ihre neuesten Innovationen vor. Dazu gehörte Intel, das an der Veranstaltung teilnahm und eine Keynote über seinen neuen bahnbrechenden AI-PC sowie die Integration von Intel OpenVINO in Ultralytics YOLO-Modelle wie Ultralytics YOLO11 präsentierte.

Der Vortrag wurde von Adrian Boguszewski, einem Software-Evangelisten, der als Mitautor am LandCover.ai-Datensatz beteiligt war und Entwickler über das OpenVINO-Toolkit von Intel informiert, sowie von Dmitriy Pastushenkov, einem AI-PC-Evangelisten mit mehr als 20 Jahren Erfahrung in der industriellen Automatisierung und KI, gehalten. Während der Veranstaltung zeigte Adrian seine Begeisterung und sagte: „Dies ist heute eine großartige Veranstaltung, nicht nur weil Ultralytics eine neue YOLO-Version veröffentlicht hat, sondern auch weil wir dieses neue Modell auf unserer neuen Hardware sowie eine neue Version von OpenVINO präsentieren können.“

In diesem Artikel sehen wir uns die wichtigsten Höhepunkte aus Intels Vortrag auf der YV24 an. Dabei gehen wir näher auf den AI-PC, die Intel Core Ultra 200V Series und ihre Integration in Ultralytics YOLO-Modelle mithilfe des OpenVINO-Toolkits ein. Legen wir los!

Modernste KI-Technologien im Jahr 2024#

Dmitriy eröffnete die Keynote mit einem Blick auf die wichtigsten Unterschiede zwischen herkömmlicher KI und generativer KI. Im Mittelpunkt stand die Frage, wie sich diese Technologien und ihre Anwendungsfälle im Jahr 2024 weiterentwickeln. Herkömmliche KI-Techniken wie Computer Vision und Verarbeitung natürlicher Sprache sind für Aufgaben wie Posenschätzung, Objekterkennung und Spracherkennung unverzichtbar. Generative KI stellt hingegen eine neuere Welle der KI-Technologie dar und umfasst Anwendungen wie Chatbots, Text-zu-Bild-Generierung, Codegenerierung und sogar Text-zu-Video.

Abb. 1. Adrian und Dmitriy von Intel auf der Bühne bei YV24 im Gespräch über KI-Anwendungsfälle.

Dmitriy wies auf den Größenunterschied zwischen den beiden Ansätzen hin. Er erklärte, dass herkömmliche KI-Modelle zwar aus Millionen von Parametern bestehen, generative KI-Modelle jedoch in einem wesentlich größeren Maßstab arbeiten. Generative KI-Modelle umfassen häufig Milliarden oder sogar Billionen von Parametern und sind dadurch deutlich rechenintensiver.

Der Intel AI-PC: Eine neue Grenze für KI-Hardware#

Dmitriy stellte den Intel AI-PC als eine neue Hardwarelösung vor, die darauf ausgelegt ist, die zunehmenden Herausforderungen beim effizienten Ausführen herkömmlicher und generativer KI-Modelle zu bewältigen. Der Intel AI-PC ist ein leistungsstarkes und energieeffizientes Gerät. Er kann eine große Bandbreite an KI-Modellen lokal ausführen, ohne dass eine Verarbeitung in der Cloud erforderlich ist.

Die lokale Verarbeitung trägt dazu bei, sensible Daten privat zu halten. Wenn KI-Modelle unabhängig von Internetverbindungen arbeiten können, werden die ethischen Bedenken der Branchen hinsichtlich Datenschutz und Sicherheit berücksichtigt.

Die treibende Kraft hinter dem Intel AI-PC ist der Prozessor Intel Core Ultra 200V Series. Dieser Prozessor vereint drei zentrale Komponenten: die Zentraleinheit (CPU), die Grafikprozessoreinheit (GPU) und die neuronale Verarbeitungseinheit (NPU). Jede dieser Komponenten übernimmt eine bestimmte Rolle bei der Verarbeitung verschiedener KI-Workloads. Die CPU eignet sich ideal für kleinere Aufgaben mit geringer Latenz, die schnelle Reaktionen erfordern, während die GPU für Vorgänge mit hohem Durchsatz wie das Ausführen von KI-Modellen optimiert ist. Die NPU wurde auf Energieeffizienz ausgelegt und eignet sich besonders für lang laufende Aufgaben wie die Objekterkennung in Echtzeit mit Modellen wie YOLO11.

Es wurde hervorgehoben, dass die CPU bis zu 5 TOPS (Billionen Operationen pro Sekunde) und die GPU bis zu 67 TOPS leisten kann, während die NPU eine energieeffiziente Möglichkeit bietet, KI-Aufgaben kontinuierlich auszuführen, ohne die Systemressourcen zu erschöpfen.

Intels Fortschritte im Bereich KI: Intel Core Ultra 200V Series#

Der Prozessor Intel Core Ultra 200V Series integriert alle drei KI-Engines – NPU, CPU und GPU – in einem einzigen kleinen Chip. Sein Design eignet sich ideal für kompakte Geräte wie Notebooks, ohne dass die Leistung darunter leidet.

Der Prozessor verfügt außerdem über integrierten RAM, wodurch der Bedarf an separaten Grafikkarten sinkt. Das trägt dazu bei, den Stromverbrauch zu reduzieren und das Gerät kompakt zu halten. Dmitriy betonte auch die Flexibilität des Prozessors. Je nach Aufgabe können Nutzer entscheiden, ob sie KI-Modelle auf der CPU, GPU oder NPU ausführen. Beispielsweise kann die Objekterkennung mit YOLO11-Modellen auf jeder dieser Engines ausgeführt werden, während komplexere Aufgaben wie die Text-zu-Bild-Generierung gleichzeitig GPU und NPU nutzen können, um eine bessere Leistung zu erzielen.

Während der Präsentation holte Dmitriy den Chip aus seiner Tasche und vermittelte allen einen deutlichen Eindruck davon, wie klein er tatsächlich ist – trotz seiner Fähigkeit, derart anspruchsvolle KI-Aufgaben zu bewältigen. Es war eine unterhaltsame und einprägsame Art zu zeigen, wie Intel leistungsstarke KI-Funktionen auf immer tragbarere und praktischere Geräte bringt.

Abb. 2. Der Intel Core Ultra 200V Processor passt in eine Tasche.

KI-Modelle mit Intel OpenVINO optimieren#

Nachdem Dmitriy Intels neueste Hardwarefortschritte vorgestellt hatte, wechselte er zu Intels Software-Stack für KI. Er stellte OpenVINO vor, ein von Intel entwickeltes Open-Source-Framework, mit dem sich KI-Modelle effizient auf verschiedenen Geräten optimieren und bereitstellen lassen. OpenVINO geht über visuelle Aufgaben hinaus und unterstützt auch KI-Modelle für die Verarbeitung natürlicher Sprache, die Audioverarbeitung, Transformer usw.

OpenVINO ist mit beliebten Plattformen wie PyTorch, TensorFlow und ONNX kompatibel und lässt sich problemlos in die Arbeitsabläufe von Entwicklern integrieren. Ein wichtiges Merkmal, auf das er aufmerksam machte, war die Quantisierung. Durch die Quantisierung werden Modellgewichte komprimiert, um ihre Größe zu reduzieren, sodass große Modelle reibungslos auf lokalen Geräten ausgeführt werden können, ohne dass die Cloud erforderlich ist. OpenVINO funktioniert mit mehreren Frameworks, läuft auf CPU, GPU, NPU, FPGA oder sogar ARM-Geräten und unterstützt Windows, Linux und macOS. Dmitriy zeigte dem Publikum außerdem, wie einfach der Einstieg in OpenVINO ist.

Abb. 3. Dmitriy erklärt, wie man mit OpenVINO beginnt.

Ultralytics in Intel OpenVINO integrieren#

Im zweiten Teil des Vortrags übergab Adrian das Mikrofon. Er erklärte die nahtlose Integration zwischen Ultralytics YOLO-Modellen und Intels OpenVINO-Toolkit, die die Bereitstellung von YOLO-Modellen vereinfacht. Schritt für Schritt zeigte er, wie schnell und unkompliziert sich ein YOLO-Modell exportieren lässt, indem man das Ultralytics Python-Paket verwendet und in das OpenVINO-Format exportiert. Diese Integration erleichtert es Entwicklern erheblich, ihre Modelle für Intel-Hardware zu optimieren und das Beste aus beiden Plattformen herauszuholen.

Abb. 4. Adrian erklärt, wie Ultralytics den Export deines Modells in das OpenVINO-Format erleichtert.

Adrian zeigte, dass Nutzer ein trainiertes Ultralytics YOLO-Modell mit einigen einfachen Befehlszeilenoptionen exportieren können. Sie können beispielsweise festlegen, ob das Modell als Gleitkommaversion für maximale Genauigkeit oder als quantisierte Version für höhere Geschwindigkeit und Effizienz exportiert werden soll. Er hob außerdem hervor, dass Entwickler diesen Prozess direkt über Code steuern können, beispielsweise mit Optionen wie der INT8-Quantisierung, um die Leistung zu steigern, ohne zu viel Genauigkeit einzubüßen.

KI-Demonstrationen in Echtzeit auf dem Intel AI-PC#

Um die gesamte Theorie in die Praxis umzusetzen, präsentierte das Intel-Team eine Echtzeitdemonstration der Objekterkennung, indem es YOLO11 auf dem Intel AI-PC ausführte. Adrian zeigte, wie das System das Modell auf verschiedenen Prozessoren verarbeitete und dabei mit einem Gleitkommamodell 36 Bilder pro Sekunde (FPS) auf der CPU, über 100 FPS auf der integrierten GPU und 70 FPS mit der quantisierten INT8-Version erreichte. So konnten sie eindrucksvoll zeigen, wie effizient der Intel AI-PC komplexe KI-Aufgaben bewältigen kann.

Er wies außerdem darauf hin, dass das System Modelle parallel ausführen kann, indem es CPU, GPU und NPU gemeinsam für Aufgaben nutzt, bei denen alle Daten oder Videobilder im Voraus verfügbar sind. Das ist bei der Verarbeitung großer Datenmengen wie Videos nützlich. Das System kann die Arbeitslast auf verschiedene Prozessoren verteilen und dadurch schneller und effizienter arbeiten.

Zum Abschluss erwähnte Adrian, dass Nutzer Demonstrationen ausprobieren können, darunter Lösungen wie Personenzählung und intelligentes Warteschlangenmanagement. Anschließend zeigte er eine Bonus-Demonstration, bei der Nutzer Eingabeaufforderungen eingeben konnten, um in Echtzeit traumähnliche Bilder auf der GPU zu erzeugen. Dies demonstrierte die Vielseitigkeit des Intel AI-PCs sowohl für herkömmliche KI-Aufgaben als auch für kreative Projekte mit generativer KI.

Objekterkennung in Echtzeit mit Intel OpenVINO#

Auf der Veranstaltung hatte Intel einen Stand, an dem eine Echtzeitdemonstration der Objekterkennung mit Ultralytics YOLO11 gezeigt wurde, das auf dem Intel AI-PC ausgeführt wurde. Die Besucher konnten das mit OpenVINO optimierte und auf dem Prozessor Intel Core Ultra 200V bereitgestellte Modell in Aktion sehen.

Abb. 5. Die Besucher konnten am Intel-OpenVINO-Stand eine Echtzeitdemonstration erleben.

Am Intel-Stand sagte Dmitriy: „Dies ist mein erstes Mal bei YOLO Vision, und ich freue mich, in Madrid zu sein. Wir präsentieren das YOLO11-Modell von Ultralytics, das auf dem Prozessor Intel Core Ultra 200V ausgeführt wird. Es zeigt eine hervorragende Leistung, und wir verwenden OpenVINO, um das Modell zu optimieren und bereitzustellen. Die Zusammenarbeit mit Ultralytics und die Ausführung des Modells auf der neuesten Intel-Hardware unter Nutzung von CPU, GPU und NPU waren sehr einfach.“ Am Stand gab es außerdem einige unterhaltsame Giveaways wie T-Shirts und Notizbücher, die die Besucher mit nach Hause nehmen konnten.

Wichtige Erkenntnisse#

Intels Tech-Talk auf der YV24, bei dem die Prozessoren der Intel Core Ultra 200V Series vorgestellt wurden, zeigte, wie das OpenVINO-Toolkit KI-Modelle wie Ultralytics YOLO11 optimiert. Diese Integration ermöglicht es Nutzern, YOLO-Modelle direkt auf ihren Geräten auszuführen und dadurch eine hohe Leistung bei Computer-Vision-Aufgaben wie der Objekterkennung zu erzielen. Der entscheidende Vorteil besteht darin, dass Nutzer nicht auf Cloud-Dienste angewiesen sind.

Entwickler und KI-Begeisterte können YOLO-Modelle mühelos ausführen und feinabstimmen und dabei Hardware wie CPUs, GPUs und NPUs vollständig für Echtzeitanwendungen nutzen. Das Intel-OpenVINO-Toolkit eröffnet in Kombination mit Ultralytics YOLO-Modellen neue Möglichkeiten, fortschrittliche KI-Funktionen direkt auf persönliche Geräte zu bringen. Dadurch ist es eine ideale Option für Entwickler, die KI-Innovationen in verschiedenen Branchen vorantreiben möchten.

Lass uns zusammenarbeiten und Innovationen vorantreiben! Besuche unser GitHub-Repository, um unsere Beiträge zu erkunden und dich mit unserer Community auszutauschen. Erfahre, wie wir KI einsetzen, um in Branchen wie der Fertigung und dem Gesundheitswesen Wirkung zu erzielen.