Ausführen von Ultralytics YOLO-Modellen auf Intels AI PC mit OpenVINO

YOLO Vision 2024 (YV24), das jährliche Hybrid-Event von Ultralytics, brachte KI-Enthusiasten, Entwickler und Experten aus der ganzen Welt zusammen, um die neuesten Innovationen im Bereich computer vision zu erkunden. YV24 war eine großartige Gelegenheit und Plattform, um neue Durchbrüche zu diskutieren. Auf der Veranstaltung stellten führende Akteure der KI-Branche ihre neuesten Innovationen vor. Unter ihnen war Intel, die an der Veranstaltung teilnahmen und eine Keynote über ihren neuen bahnbrechenden AI PC und die Integration von Intel OpenVINO’s mit Ultralytics YOLO models wie Ultralytics YOLO11 präsentierten.

Der Vortrag wurde von Adrian Boguszewski, einem Software Evangelist, der den LandCover.ai-dataset mitverfasst hat und Entwickler über das OpenVINO Toolkit von Intel aufklärt, und Dmitriy Pastushenkov, einem AI PC Evangelist mit über 20 Jahren Erfahrung in der industrial automation und KI, geleitet. Während der Veranstaltung teilte Adrian seine Begeisterung und sagte: „Das ist heute eine großartige Veranstaltung, nicht nur, weil Ultralytics a new YOLO version geliefert hat, sondern auch, weil wir in der Lage sind, dieses neue Modell auf unserer neuen Hardware sowie eine neue Version von OpenVINO zu präsentieren.“

In diesem Artikel werfen wir einen Blick auf die wichtigsten Höhepunkte von Intel’s talk at YV24 und gehen näher auf die Details ihres AI PC, der Intel Core Ultra 200V Series, und deren Integration mit Ultralytics YOLO models über das OpenVINO Toolkit ein. Fangen wir an!

Bahnbrechende KI-Technologien im Jahr 2024#

Dmitriy begann die Keynote, indem er sich mit den wesentlichen Unterschieden zwischen herkömmlicher KI und generative AI befasste. Der Schwerpunkt lag darauf, wie sich diese Technologien und ihre Anwendungsfälle im Jahr 2024 entwickeln. Herkömmliche KI-Techniken wie computer vision und natural language processing waren für tasks wie pose estimation, object detection und voice recognition von entscheidender Bedeutung. Generative AI hingegen stellt eine neuere Welle der KI-Technologie dar, die Anwendungen wie chatbots, text-to-image generation, code writing und sogar text-to-video umfasst.

Abb. 1: Adrian und Dmitriy von Intel auf der Bühne der YV24 bei der Diskussion von KI-Anwendungsfällen.

Dmitriy wies auf den Größenunterschied zwischen den beiden hin. Er erklärte, dass traditional AI models zwar aus Millionen von Parametern bestehen, generative AI-Modelle jedoch in einem viel größeren Maßstab arbeiten. Generative AI models beinhalten oft Milliarden oder sogar Billionen von Parametern, wodurch sie weitaus computationally demanding sind.

Der Intel AI PC: Eine neue KI-Hardware-Grenze#

Dmitriy stellte den Intel AI PC als neue Hardwarelösung vor, die darauf ausgelegt ist, die wachsenden Herausforderungen bei der effizienten Ausführung sowohl traditioneller als auch generativer KI-Modelle zu bewältigen. Der Intel AI PC ist eine leistungsstarke und energieeffiziente Maschine. Er ist in der Lage, eine breite Palette von KI-Modellen lokal auszuführen, ohne dass eine cloudbasierte Verarbeitung erforderlich ist.

Die lokale Verarbeitung trägt dazu bei, sensible data private zu halten. Wenn KI-Modelle unabhängig von Internetverbindungen arbeiten können, werden die ethical concerns der Branchen in Bezug auf Datenschutz und Sicherheit beantwortet.

Die treibende Kraft hinter dem Intel AI PC ist der Intel Core Ultra 200V Series Prozessor. Dieser Prozessor enthält drei Hauptkomponenten: die Central Processing Unit (CPU), die Graphics Processing Unit (GPU) und die Neural Processing Unit (NPU). Jede von ihnen spielt eine spezifische Rolle bei der Bewältigung verschiedener Arten von KI-Arbeitslasten. Die CPU ist ideal für kleinere Aufgaben mit geringer Latenz, die schnelle Reaktionen erfordern, während die GPU für Operationen mit hohem Durchsatz wie das Ausführen von KI-Modellen optimiert ist. Die NPU, die auf Energieeffizienz ausgelegt ist, eignet sich gut für lang andauernde Aufgaben wie real-time object detection mit Modellen wie YOLO11.

Es wurde hervorgehoben, dass die CPU bis zu 5 TOPS (Billionen Operationen pro Sekunde) liefern kann, die GPU bis zu 67 TOPS, und die NPU einen energieeffizienten Weg bietet, KI-Aufgaben kontinuierlich auszuführen, ohne die Systemressourcen zu erschöpfen.

Intels KI-Fortschritte: Intel Core Ultra 200V Serie#

Der Prozessor der Intel Core Ultra 200V Series integriert alle drei KI-Engines – NPU, CPU und GPU – in einen einzigen kleinen Chip. Sein Design ist perfekt für kompakte Geräte wie Notebooks geeignet, ohne dass die Leistung beeinträchtigt wird.

Der Prozessor verfügt zudem über integrierten Arbeitsspeicher, wodurch separate Grafikkarten überflüssig werden. Dies trägt dazu bei, den Stromverbrauch zu senken und das Gerät kompakt zu halten. Dmitriy betonte auch die Flexibilität des Prozessors. Benutzer können je nach Aufgabe entscheiden, ob sie KI-Modelle auf der CPU, GPU oder NPU ausführen möchten. Beispielsweise kann object detection with YOLO11 models auf jeder dieser Engines ausgeführt werden, während komplexere Aufgaben wie die Erstellung von Text-zu-Bild-Inhalten sowohl die GPU als auch die NPU gleichzeitig nutzen können, um eine bessere Leistung zu erzielen.

Während der Präsentation holte Dmitriy den Chip aus der Tasche und gab jedem ein klares Gefühl dafür, wie klein er wirklich ist – trotz seiner Fähigkeit, solch fortschrittliche KI-Aufgaben zu bewältigen. Es war eine unterhaltsame und einprägsame Art zu zeigen, wie Intel leistungsstarke KI-Funktionen auf tragbarere und praktischere Geräte bringt.

Abb. 2: Der Intel Core Ultra 200V Prozessor passt in eine Tasche.

Optimierung von KI-Modellen mit Intel OpenVINO#

Nachdem er die neuesten hardware advancements von Intel vorgestellt hatte, wandte sich Dmitriy der Software-Plattform von Intel zu, die KI unterstützt. Er stellte OpenVINO vor, das open-source-Framework von Intel, das entwickelt wurde, um optimize and deploy AI models effizient über verschiedene Geräte hinweg zu ermöglichen. OpenVINO geht über visuelle Aufgaben hinaus und dehnt seine Unterstützung auf KI-Modelle aus, die für die Verarbeitung natürlicher Sprache, audio processing, transformers und dergleichen verwendet werden.

OpenVINO ist mit gängigen Plattformen wie PyTorch, TensorFlow, und ONNX kompatibel, und Entwickler können es problemlos in ihre Arbeitsabläufe integrieren. Ein wichtiges Feature, auf das er aufmerksam machte, war die Quantisierung. Quantization komprimiert Modellgewichte, um ihre Größe zu reduzieren, sodass große Modelle reibungslos auf lokalen Geräten ausgeführt werden können, ohne dass die Cloud erforderlich ist. OpenVINO funktioniert über mehrere Frameworks hinweg, läuft auf CPU, GPU, NPU, FPGA oder sogar ARM-Geräten und unterstützt Windows, Linux und macOS. Dmitriy führte das Publikum auch durch die einfache Handhabung des Einstiegs in OpenVINO.

Abb. 3: Dmitriy erklärt, wie man mit OpenVINO startet.

Integration von Ultralytics mit Intel OpenVINO#

Im zweiten Teil des Vortrags wurde das Mikrofon an Adrian übergeben, der die nahtlose Integration zwischen Ultralytics YOLO models und dem OpenVINO Toolkit von Intel erklärte, was den Prozess des YOLO model deployment vereinfacht. Er bot eine Schritt-für-Schritt-Erklärung, wie exporting a YOLO model mithilfe des Ultralytics Python package in das OpenVINO-Format schnell und unkompliziert vonstattengeht. Diese Integration macht es für Entwickler viel einfacher, ihre Modelle für Intel-Hardware zu optimieren und das Beste aus beiden Plattformen herauszuholen.

Abb. 4: Adrian erklärt, wie einfach Ultralytics den Export deines Modells in das OpenVINO-Format macht.

Adrian demonstrierte, dass Benutzer ein trainiertes Ultralytics YOLO model nach dem trained mit ein paar einfachen Befehlszeilen-Flags exportieren können. Beispielsweise können Benutzer angeben, ob sie das Modell als Gleitkommaversion für maximale precision oder als quantisierte Version für bessere Geschwindigkeit und Effizienz exportieren möchten. Er hob auch hervor, wie Entwickler diesen Prozess directly through code verwalten können, indem sie Optionen wie die INT8-Quantisierung verwenden, um die performance zu verbessern, ohne zu viel Genauigkeit einzubüßen.

Echtzeit-KI-Demos auf dem Intel AI PC#

Um all diese Theorie in die Praxis umzusetzen, präsentierte das Intel-Team eine Echtzeit-Demo der Objekterkennung durch Ausführen von YOLO11 auf dem Intel AI PC. Adrian zeigte, wie das System das Modell über verschiedene Prozessoren hinweg handhabte und 36 Bilder pro Sekunde (FPS) auf der CPU mit einem Gleitkommamodell, über 100 FPS auf der integrierten GPU und 70 FPS mit der INT8-quantisierten Version erreichte. Sie konnten zeigen, wie effizient der Intel AI PC komplexe KI-Aufgaben bewältigen kann.

Er wies auch darauf hin, dass das System Modelle parallel ausführen kann, wobei CPU, GPU und NPU gemeinsam für Aufgaben genutzt werden, bei denen alle Daten oder Videobilder vorab verfügbar sind. Dies ist nützlich bei der Verarbeitung hoher Lasten wie Videos. Das System kann die Arbeitslast auf verschiedene Prozessoren verteilen, was es schneller und effizienter macht.

Zum Abschluss erwähnte Adrian, dass Benutzer try out demos zu Hause ausprobieren können, einschließlich solutions wie people counting und intelligent queue management. Anschließend zeigte er eine bonus demo, bei der Benutzer Prompts eingeben konnten, um in Echtzeit auf der GPU traumhafte Bilder zu generieren. Dies demonstrierte die Vielseitigkeit des Intel AI PC sowohl für traditionelle KI-Aufgaben als auch für kreative, generative KI-Projekte.

Echtzeit-Objekterkennung mit Intel OpenVINO#

Auf der Veranstaltung hatte Intel einen Stand, an dem eine real-time object detection-Demo mit Ultralytics YOLO11 gezeigt wurde, die auf ihrem Intel AI PC lief. Die Teilnehmer konnten das Modell in Aktion sehen, optimiert mit OpenVINO und bereitgestellt auf dem Intel Core Ultra 200V Prozessor.

Abb. 5: Die Teilnehmer hatten die Möglichkeit, eine Echtzeit-Demo am Intel OpenVINO-Stand zu sehen.

Am Intel-Stand teilte Dmitriy mit: „Das ist mein erstes Mal auf der YOLO Vision und ich freue mich, in Madrid zu sein. Wir präsentieren das YOLO11-Modell von Ultralytics, das auf dem Intel Core Ultra 200V Prozessor läuft. Es zeigt eine exzellente Leistung, und wir nutzen OpenVINO, um das Modell zu optimieren und bereitzustellen. Es war sehr einfach, mit Ultralytics zusammenzuarbeiten und das Modell auf der neuesten Intel-Hardware unter Nutzung von CPU, GPU und NPU auszuführen.“ Am Stand gab es außerdem einige unterhaltsame Giveaways, wie T-Shirts und Notizbücher, die die Teilnehmer mit nach Hause nehmen konnten.

Wichtige Erkenntnisse#

Intels Tech-Talk auf der YV24, der die Intel Core Ultra 200V Series Prozessoren vorstellte, zeigte, wie das OpenVINO-Toolkit KI-Modelle wie Ultralytics YOLO11 optimiert. Diese Integration ermöglicht es Benutzern, YOLO-Modelle direkt auf ihren Geräten auszuführen und bietet eine großartige Leistung für Computer-Vision-Aufgaben wie die Objekterkennung. Der entscheidende Vorteil ist, dass Benutzer nicht auf Cloud-Dienste angewiesen sind.

Entwickler und KI-Enthusiasten können YOLO-Modelle mühelos ausführen und feinabstimmen, indem sie Hardware wie CPUs, GPUs und NPUs für Echtzeitanwendungen voll ausnutzen. Das Intel OpenVINO-Toolkit in Kombination mit Ultralytics YOLO-Modellen eröffnet neue Möglichkeiten, fortschrittliche KI-Funktionen direkt auf persönliche Geräte zu bringen, was es zu einer idealen Option für Entwickler macht, die KI-Innovationen in verschiedenen Branchen vorantreiben möchten.

Lass uns zusammenarbeiten und Innovationen vorantreiben! Besuche unser GitHub repository, um unsere Beiträge zu erkunden und dich mit our community auszutauschen. Sieh dir an, wie wir KI einsetzen, um in Branchen wie manufacturing und healthcare etwas zu bewirken.