Ausführen von Ultralytics YOLO-Modellen auf Intels AI PC mit OpenVINO

YOLO Vision 2024 (YV24), das jährliche Hybrid-Event von Ultralytics, brachte KI-Enthusiasten, Entwickler und Experten aus der ganzen Welt zusammen, um die neuesten Innovationen im Bereich Computer Vision zu erkunden. YV24 war eine großartige Gelegenheit und Plattform, um neue Durchbrüche zu diskutieren. Die Veranstaltung bot wichtigen Akteuren der KI-Branche die Möglichkeit, ihre neuesten Innovationen vorzustellen. Unter ihnen war Intel, die an der Veranstaltung teilnahmen und eine Keynote zu ihrem neuen, bahnbrechenden AI PC und der Integration von Intel OpenVINO mit Ultralytics YOLO-Modellen, wie z. B. Ultralytics YOLO11, präsentierten.

Der Vortrag wurde von Adrian Boguszewski, einem Software Evangelist, der den LandCover.ai-Datensatz mitentwickelt hat und Entwickler über das OpenVINO-Toolkit von Intel aufklärt, sowie von Dmitriy Pastushenkov, einem AI PC Evangelist mit über 20 Jahren Erfahrung in der industriellen Automatisierung und KI, geleitet. Während der Veranstaltung teilte Adrian seine Begeisterung mit den Worten: „Dies ist heute eine großartige Veranstaltung, nicht nur, weil Ultralytics eine neue YOLO-Version geliefert hat, sondern auch, weil wir in der Lage sind, dieses neue Modell auf unserer neuen Hardware sowie eine neue Version von OpenVINO zu präsentieren.“

In diesem Artikel werfen wir einen Blick auf die wichtigsten Highlights von Intels Vortrag auf der YV24, tauchen ein in die Details ihres AI PC, der Intel Core Ultra 200V Series, und wie sie sich mit Ultralytics YOLO-Modellen mithilfe des OpenVINO-Toolkits integrieren. Fangen wir an!

Link to this sectionBahnbrechende KI-Technologien im Jahr 2024#

Dmitriy begann die Keynote mit einem tiefen Einblick in die Hauptunterschiede zwischen traditioneller KI und generativer KI. Der Fokus lag darauf, wie sich diese Technologien und ihre Anwendungsfälle im Jahr 2024 entwickeln. Traditionelle KI-Techniken wie Computer Vision und Natural Language Processing waren essenziell für Aufgaben wie Pose Estimation, Objekterkennung und Spracherkennung. Generative KI hingegen repräsentiert eine neuere Welle der KI-Technologie, die Anwendungen wie Chatbots, Text-zu-Bild-Generierung, Programmcode-Erstellung und sogar Text-zu-Video umfasst.

Abb. 1: Adrian und Dmitriy von Intel auf der Bühne der YV24 bei der Diskussion von KI-Anwendungsfällen.

Dmitriy wies auf den Unterschied im Umfang zwischen beiden hin. Er erklärte, dass traditionelle KI-Modelle zwar aus Millionen von Parametern bestehen, generative KI-Modelle jedoch in einem viel größeren Maßstab operieren. Generative KI-Modelle umfassen oft Milliarden oder sogar Billionen von Parametern, was sie wesentlich rechenintensiver macht.

Link to this sectionDer Intel AI PC: Eine neue KI-Hardware-Grenze#

Dmitriy stellte den Intel AI PC als neue Hardwarelösung vor, die darauf ausgelegt ist, die wachsenden Herausforderungen bei der effizienten Ausführung sowohl traditioneller als auch generativer KI-Modelle zu bewältigen. Der Intel AI PC ist eine leistungsstarke und energieeffiziente Maschine. Er ist in der Lage, eine breite Palette von KI-Modellen lokal auszuführen, ohne dass eine cloudbasierte Verarbeitung erforderlich ist.

Lokale Verarbeitung hilft dabei, sensible Daten privat zu halten. Wenn KI-Modelle unabhängig von Internetverbindungen arbeiten können, werden die ethischen Bedenken der Industrie hinsichtlich Datenschutz und Sicherheit ausgeräumt.

Die treibende Kraft hinter dem Intel AI PC ist der Prozessor der Intel Core Ultra 200V Series. Dieser Prozessor integriert drei Schlüsselkomponenten: die Central Processing Unit (CPU), die Graphics Processing Unit (GPU) und die Neural Processing Unit (NPU). Jede spielt eine spezifische Rolle bei der Bewältigung unterschiedlicher Arten von KI-Workloads. Die CPU ist ideal für kleinere Aufgaben mit geringer Latenz, die schnelle Reaktionen erfordern, während die GPU für Operationen mit hohem Durchsatz, wie die Ausführung von KI-Modellen, optimiert ist. Die NPU, die auf Energieeffizienz ausgelegt ist, eignet sich gut für lang laufende Aufgaben wie Echtzeit-Objekterkennung mit Modellen wie YOLO11.

Es wurde hervorgehoben, dass die CPU bis zu 5 TOPS (Billionen Operationen pro Sekunde) liefern kann, die GPU bis zu 67 TOPS, und die NPU einen energieeffizienten Weg bietet, KI-Aufgaben kontinuierlich auszuführen, ohne die Systemressourcen zu erschöpfen.

Link to this sectionIntels KI-Fortschritte: Intel Core Ultra 200V Serie#

Der Prozessor der Intel Core Ultra 200V Series integriert alle drei KI-Engines – NPU, CPU und GPU – in einen einzigen kleinen Chip. Sein Design ist perfekt für kompakte Geräte wie Notebooks geeignet, ohne dass die Leistung beeinträchtigt wird.

Der Prozessor enthält zudem eingebauten Arbeitsspeicher, was die Notwendigkeit separater Grafikkarten reduziert. Dies hilft, den Stromverbrauch zu senken und das Gerät kompakt zu halten. Dmitriy betonte auch die Flexibilität des Prozessors. Benutzer können je nach Aufgabe entscheiden, ob sie KI-Modelle auf der CPU, GPU oder NPU ausführen möchten. Zum Beispiel kann die Objekterkennung mit YOLO11-Modellen auf jeder dieser Engines ausgeführt werden, während komplexere Aufgaben, wie die Text-zu-Bild-Generierung, sowohl die GPU als auch die NPU gleichzeitig für eine bessere Leistung nutzen können.

Während der Präsentation holte Dmitriy den Chip aus der Tasche und gab jedem ein klares Gefühl dafür, wie klein er wirklich ist – trotz seiner Fähigkeit, solch fortschrittliche KI-Aufgaben zu bewältigen. Es war eine unterhaltsame und einprägsame Art zu zeigen, wie Intel leistungsstarke KI-Funktionen auf tragbarere und praktischere Geräte bringt.

Abb. 2: Der Intel Core Ultra 200V Prozessor passt in eine Tasche.

Link to this sectionOptimierung von KI-Modellen mit Intel OpenVINO#

Nachdem er Intels neueste Hardware-Fortschritte vorgestellt hatte, wechselte Dmitriy zum Software-Stack von Intel, der KI unterstützt. Er stellte OpenVINO vor, Intels Open-Source-Framework, das darauf ausgelegt ist, KI-Modelle effizient zu optimieren und bereitzustellen über verschiedene Geräte hinweg. OpenVINO geht über visuelle Aufgaben hinaus und erweitert seine Unterstützung auf KI-Modelle für Natural Language Processing, Audioverarbeitung, Transformer usw.

OpenVINO ist kompatibel mit gängigen Plattformen wie PyTorch, TensorFlow und ONNX, und Entwickler können es problemlos in ihre Arbeitsabläufe integrieren. Ein wichtiges Merkmal, auf das er aufmerksam machte, war die Quantisierung. Quantisierung komprimiert Modellgewichte, um deren Größe zu reduzieren, sodass große Modelle reibungslos auf lokalen Geräten ausgeführt werden können, ohne die Cloud zu benötigen. OpenVINO arbeitet frameworkübergreifend, läuft auf CPU, GPU, NPU, FPGA oder sogar ARM-Geräten und unterstützt Windows, Linux sowie macOS. Dmitriy führte das Publikum zudem durch die einfache Inbetriebnahme von OpenVINO.

Abb. 3: Dmitriy erklärt, wie man mit OpenVINO startet.

Link to this sectionIntegration von Ultralytics mit Intel OpenVINO#

Im zweiten Teil des Vortrags wurde das Mikrofon an Adrian übergeben, der die nahtlose Integration zwischen Ultralytics YOLO-Modellen und dem Intel OpenVINO-Toolkit erklärte, was den Prozess der YOLO-Modellbereitstellung vereinfacht. Er lieferte eine schrittweise Erklärung, wie das Exportieren eines YOLO-Modells mithilfe des Ultralytics Python-Pakets in das OpenVINO-Format schnell und unkompliziert erfolgt. Diese Integration erleichtert Entwicklern die Optimierung ihrer Modelle für Intel-Hardware erheblich und ermöglicht es, das volle Potenzial beider Plattformen auszuschöpfen.

Abb. 4: Adrian erklärt, wie einfach Ultralytics den Export deines Modells in das OpenVINO-Format macht.

Adrian demonstrierte, dass Benutzer nach dem Training eines Ultralytics YOLO-Modells dieses mit wenigen einfachen Befehlszeilen-Flags exportieren können. Beispielsweise können Benutzer angeben, ob sie das Modell als Fließkomma-Version für maximale Präzision oder als quantisierte Version für bessere Geschwindigkeit und Effizienz exportieren möchten. Er betonte außerdem, wie Entwickler diesen Prozess direkt über den Code verwalten können, indem sie Optionen wie die INT8-Quantisierung nutzen, um die Leistung zu steigern, ohne zu viel Genauigkeit zu opfern.

Link to this sectionEchtzeit-KI-Demos auf dem Intel AI PC#

Um all diese Theorie in die Praxis umzusetzen, präsentierte das Intel-Team eine Echtzeit-Demo der Objekterkennung durch Ausführung von YOLO11 auf dem Intel AI PC. Adrian zeigte, wie das System das Modell auf verschiedenen Prozessoren verarbeitete und erreichte dabei 36 Bilder pro Sekunde (FPS) auf der CPU mit einem Fließkomma-Modell, über 100 FPS auf der integrierten GPU und 70 FPS mit der INT8-quantisierten Version. Sie konnten eindrucksvoll demonstrieren, wie effizient der Intel AI PC komplexe KI-Aufgaben bewältigen kann.

Er wies auch darauf hin, dass das System Modelle parallel ausführen kann, wobei CPU, GPU und NPU gemeinsam für Aufgaben genutzt werden, bei denen alle Daten oder Videobilder vorab verfügbar sind. Dies ist nützlich bei der Verarbeitung hoher Lasten wie Videos. Das System kann die Arbeitslast auf verschiedene Prozessoren verteilen, was es schneller und effizienter macht.

Zum Abschluss erwähnte Adrian, dass Benutzer Demos zu Hause ausprobieren können, darunter Lösungen wie Personenzählung und intelligentes Warteschlangenmanagement. Danach zeigte er eine Bonus-Demo, bei der Benutzer Eingabeaufforderungen eingeben konnten, um in Echtzeit auf der GPU traumartige Bilder zu generieren. Dies demonstrierte die Vielseitigkeit des Intel AI PC sowohl für traditionelle KI-Aufgaben als auch für kreative, generative KI-Projekte.

Link to this sectionEchtzeit-Objekterkennung mit Intel OpenVINO#

Auf der Veranstaltung hatte Intel einen Stand, an dem sie eine Echtzeit-Objekterkennungs-Demo mit YOLO11 zeigten, die auf ihrem Intel AI PC lief. Die Teilnehmer konnten das Modell in Aktion sehen, optimiert mit OpenVINO und bereitgestellt auf dem Intel Core Ultra 200V Prozessor.

Abb. 5: Die Teilnehmer hatten die Möglichkeit, eine Echtzeit-Demo am Intel OpenVINO-Stand zu sehen.

Am Intel-Stand teilte Dmitriy mit: „Das ist mein erstes Mal auf der YOLO Vision und ich freue mich, in Madrid zu sein. Wir präsentieren das YOLO11-Modell von Ultralytics, das auf dem Intel Core Ultra 200V Prozessor läuft. Es zeigt eine exzellente Leistung, und wir nutzen OpenVINO, um das Modell zu optimieren und bereitzustellen. Es war sehr einfach, mit Ultralytics zusammenzuarbeiten und das Modell auf der neuesten Intel-Hardware unter Nutzung von CPU, GPU und NPU auszuführen.“ Am Stand gab es außerdem einige unterhaltsame Giveaways, wie T-Shirts und Notizbücher, die die Teilnehmer mit nach Hause nehmen konnten.

Link to this sectionWichtige Erkenntnisse#

Intels Tech-Talk auf der YV24, der die Intel Core Ultra 200V Series Prozessoren vorstellte, zeigte, wie das OpenVINO-Toolkit KI-Modelle wie Ultralytics YOLO11 optimiert. Diese Integration ermöglicht es Benutzern, YOLO-Modelle direkt auf ihren Geräten auszuführen und bietet eine großartige Leistung für Computer-Vision-Aufgaben wie die Objekterkennung. Der entscheidende Vorteil ist, dass Benutzer nicht auf Cloud-Dienste angewiesen sind.

Entwickler und KI-Enthusiasten können YOLO-Modelle mühelos ausführen und feinabstimmen, indem sie Hardware wie CPUs, GPUs und NPUs für Echtzeitanwendungen voll ausnutzen. Das Intel OpenVINO-Toolkit in Kombination mit Ultralytics YOLO-Modellen eröffnet neue Möglichkeiten, fortschrittliche KI-Funktionen direkt auf persönliche Geräte zu bringen, was es zu einer idealen Option für Entwickler macht, die KI-Innovationen in verschiedenen Branchen vorantreiben möchten.

Lass uns zusammenarbeiten und innovativ sein! Besuche unser GitHub-Repository, um unsere Beiträge zu erkunden und mit unserer Community in Kontakt zu treten. Erfahre, wie wir KI nutzen, um in Branchen wie Fertigung und Gesundheitswesen einen Einfluss zu haben.