Ausführung von Ultralytics YOLO-Modellen auf Intels AI PC mit OpenVino

Abirami Vina

4 Minuten lesen

9. Oktober 2024

Besuchen Sie Dmitriy Pastushenkovs und Adrian Boguszewskis YOLO Vision 2024-Vortrag über die Optimierung von YOLO-Modellen mit Intel OpenVino und die Durchführung von Echtzeit-Inferenzen auf Intels AI PC.

YOLO Vision 2024 (YV24), die jährliche Hybrid-Veranstaltung von Ultralytics, brachte KI-Enthusiasten, Entwickler und Experten aus der ganzen Welt zusammen, um die neuesten Innovationen im Bereich Computer Vision zu erkunden. YV24 war eine großartige Gelegenheit und Plattform, um neue Durchbrüche zu diskutieren. Auf der Veranstaltung stellten wichtige Akteure der KI-Branche ihre neuesten Innovationen vor. Dazu gehörte auch Intel, das an der Veranstaltung teilnahm und eine Keynote über seinen neuen bahnbrechenden KI-PC und die Integration von Intel OpenVino in Ultralytics YOLO-Modelle wie Ultralytics YOLO11 präsentierte.

Der Vortrag wurde von Adrian Boguszewski, einem Software-Evangelisten, der den LandCover. ai-Datensatz mitverfasst hat und Entwickler über Intels OpenVINO-Toolkit aufklärt, und Dmitriy Pastushenkov, einem KI-PC-Evangelisten mit über 20 Jahren Erfahrung in der industriellen Automatisierung und KI, gehalten. Während der Veranstaltung teilte Adrian seine Begeisterung und sagte: "Dies ist heute eine großartige Veranstaltung, nicht nur, weil Ultralytics eine neue YOLO-Version geliefert hat, sondern auch, weil wir in der Lage sind, dieses neue Modell zu präsentieren, das auf unserer neuen Hardware läuft, sowie eine neue Version von OpenVINO."

In diesem Artikel werfen wir einen Blick auf die wichtigsten Höhepunkte von Intels Vortrag auf der YV24 und gehen dabei auf die Besonderheiten ihres KI-PCs, der Intel Core Ultra 200V Serie, ein sowie darauf, wie sie mit Hilfe des OpenVINO-Toolkits in Ultralytics YOLO-Modelle integriert werden. Fangen wir an!

Modernste KI-Technologien im Jahr 2024

Zu Beginn seiner Keynote ging Dmitriy auf die wichtigsten Unterschiede zwischen traditioneller und generativer KI ein. Der Schwerpunkt lag darauf, wie sich diese Technologien und ihre Anwendungsfälle im Jahr 2024 entwickeln. Traditionelle KI-Techniken wie Computer Vision und natürliche Sprachverarbeitung sind für Aufgaben wie Posenschätzung, Objekterkennung und Spracherkennung unerlässlich. Generative KI hingegen stellt eine neuere Welle der KI-Technologie dar, die Anwendungen wie Chatbots, Text-zu-Bild-Generierung, das Schreiben von Code und sogar Text-zu-Video umfasst. 

__wf_reserved_inherit
Abb. 1. Adrian und Dmitriy von Intel diskutieren auf der Bühne des YV24 über KI-Anwendungsfälle.

Dmitriy wies auf den Unterschied in der Größenordnung zwischen den beiden Modellen hin. Er erklärte, dass traditionelle KI-Modelle aus Millionen von Parametern bestehen, während generative KI-Modelle in einem viel größeren Maßstab arbeiten. Generative KI-Modelle umfassen oft Milliarden oder sogar Billionen von Parametern, was sie sehr viel rechenintensiver macht.

Der Intel AI PC: Eine neue KI-Hardware-Grenze

Dmitriy stellte den Intel AI PC als eine neue Hardwarelösung vor, die entwickelt wurde, um die wachsenden Herausforderungen bei der effizienten Ausführung sowohl traditioneller als auch generativer KI-Modelle zu bewältigen. Der Intel AI PC ist eine leistungsstarke und energieeffiziente Maschine. Er ist in der Lage, eine breite Palette von KI-Modellen lokal auszuführen, ohne dass eine Cloud-basierte Verarbeitung erforderlich ist. 

Die lokale Verarbeitung hilft, sensible Daten geheim zu halten. Wenn KI-Modelle unabhängig von Internetverbindungen arbeiten können, werden die ethischen Bedenken der Industrie hinsichtlich Datenschutz und Sicherheit ausgeräumt.

Die treibende Kraft hinter dem Intel AI PC ist der Prozessor der Intel Core Ultra 200V Serie. Dieser Prozessor umfasst drei Schlüsselkomponenten: die Central Processing Unit (CPU), die Graphics Processing Unit (GPU) und die Neural Processing Unit (NPU). Jede dieser Komponenten spielt eine spezifische Rolle bei der Bewältigung verschiedener Arten von KI-Arbeitslasten. Die CPU ist ideal für kleinere Aufgaben mit geringer Latenz, die schnelle Reaktionen erfordern, während die GPU für Operationen mit hohem Durchsatz wie die Ausführung von KI-Modellen optimiert ist. Die NPU, die auf Energieeffizienz ausgelegt ist, eignet sich gut für langwierige Aufgaben wie die Echtzeit-Objekterkennung mit Modellen wie YOLO11

Es wurde hervorgehoben, dass die CPU bis zu 5 TOPS (Trillionen von Operationen pro Sekunde) und die GPU bis zu 67 TOPS liefern kann und die NPU eine energieeffiziente Möglichkeit bietet, KI-Aufgaben kontinuierlich auszuführen, ohne die Systemressourcen zu belasten.

Intels AI-Fortschritte: Intel Core Ultra 200V-Serie

Der Prozessor der Intel Core Ultra 200V Serie integriert alle drei KI-Engines - NPU, CPU und GPU - in einem einzigen kleinen Chip. Sein Design ist perfekt für kompakte Geräte wie Notebooks geeignet, ohne dass die Leistung darunter leidet.

Der Prozessor verfügt außerdem über integrierten Arbeitsspeicher, so dass keine separate Grafikkarte erforderlich ist. Dies hilft, den Stromverbrauch zu senken und das Gerät kompakt zu halten. Dmitriy betonte auch die Flexibilität des Prozessors. Die Benutzer können je nach Aufgabe entscheiden, ob die KI-Modelle auf der CPU, der GPU oder der NPU laufen sollen. So kann beispielsweise die Objekterkennung mit YOLO11-Modellen auf einem dieser beiden Prozessoren laufen, während komplexere Aufgaben wie die Text-zu-Bild-Erzeugung sowohl die GPU als auch die NPU gleichzeitig nutzen können, um eine bessere Leistung zu erzielen.

Während der Präsentation zog Dmitriy den Chip aus seiner Tasche und vermittelte allen einen Eindruck davon, wie klein er wirklich ist - trotz seiner Fähigkeit, so fortschrittliche KI-Aufgaben zu bewältigen. Es war eine lustige und einprägsame Art zu zeigen, wie Intel leistungsstarke KI-Funktionen in tragbare und praktische Geräte bringt.

__wf_reserved_inherit
Abbildung 2. Der Intel Core Ultra 2000V-Prozessor passt in eine Tasche.

Optimierung von KI-Modellen mit Intel OpenVino

Nach der Vorstellung der neuesten Hardware-Entwicklungen von Intel wechselte Dmitriy zu Intels Software-Stack, der KI unterstützt. Er stellte OpenVINO vor, Intels Open-Source-Framework zur Optimierung und effizienten Bereitstellung von KI-Modellen auf verschiedenen Geräten. OpenVINO geht über visuelle Aufgaben hinaus und erweitert seine Unterstützung auf KI-Modelle, die für die Verarbeitung natürlicher Sprache, Audioverarbeitung, Transformatoren usw. verwendet werden.

OpenVINO ist mit gängigen Plattformen wie PyTorch, TensorFlow und ONNX kompatibel und kann von Entwicklern leicht in ihre Arbeitsabläufe integriert werden. Eine wichtige Funktion, auf die er aufmerksam machte, war die Quantisierung. Die Quantisierung komprimiert die Modellgewichte, um ihre Größe zu reduzieren, so dass große Modelle problemlos auf lokalen Geräten ausgeführt werden können, ohne dass die Cloud benötigt wird. OpenVINO arbeitet über mehrere Frameworks hinweg, läuft auf CPU, GPU, NPU, FPGA oder sogar ARM-Geräten und unterstützt Windows, Linux und macOS. Dmitriy erläuterte den Zuhörern auch, wie einfach der Einstieg in OpenVINO ist. 

__wf_reserved_inherit
Abbildung 3. Dmitriy erklärt, wie man mit OpenVino anfängt.

Integration von Ultralytics mit Intel OpenVino

Im zweiten Teil des Vortrags übergab er das Mikrofon an Adrian, der die nahtlose Integration zwischen den YOLO-Modellen von Ultralytics und dem OpenVINO-Toolkit von Intel erläuterte, wodurch der Prozess der Bereitstellung von YOLO-Modellen vereinfacht wird. Er erläuterte Schritt für Schritt, wie der Export eines YOLO-Modells mit dem Ultralytics Python-Paket in das OpenVINO-Format schnell und unkompliziert vonstatten geht. Diese Integration erleichtert es den Entwicklern, ihre Modelle für Intel-Hardware zu optimieren und das Beste aus beiden Plattformen herauszuholen.

__wf_reserved_inherit
Abbildung 4. Adrian erklärt, wie Ultralytics den Export Ihres Modells in das OpenVino-Format erleichtert.

Adrian demonstrierte, dass ein Ultralytics YOLO-Modell, sobald es trainiert ist, mit ein paar einfachen Befehlszeilen-Flags exportiert werden kann. So können die Benutzer beispielsweise angeben, ob sie das Modell als Fließkommaversion für maximale Präzision oder als quantisierte Version für bessere Geschwindigkeit und Effizienz exportieren möchten. Er wies auch darauf hin, wie Entwickler diesen Prozess direkt über den Code steuern können, indem sie Optionen wie die INT8-Quantisierung verwenden, um die Leistung zu verbessern, ohne zu viele Genauigkeitseinbußen hinnehmen zu müssen. 

KI-Demos in Echtzeit auf dem Intel AI PC

Um all diese Theorie in die Praxis umzusetzen, präsentierte das Intel-Team eine Echtzeit-Demo der Objekterkennung, bei der YOLO11 auf dem Intel AI PC lief. Adrian zeigte, wie das System das Modell über verschiedene Prozessoren hinweg handhabte und erreichte 36 Bilder pro Sekunde (FPS) auf der CPU mit einem Fließkommamodell, über 100 FPS auf dem integrierten Grafikprozessor und 70 FPS mit der quantisierten INT8-Version. Sie konnten so zeigen, wie effizient der Intel AI PC komplexe KI-Aufgaben bewältigen kann.

Er wies auch darauf hin, dass das System Modelle parallel ausführen kann, indem es die CPU, die GPU und die NPU gemeinsam für Aufgaben nutzt, bei denen alle Daten oder Videobilder im Voraus verfügbar sind. Dies ist nützlich, wenn schwere Lasten wie Videos verarbeitet werden. Das System kann die Arbeitslast auf verschiedene Prozessoren aufteilen, wodurch es schneller und effizienter wird.

Abschließend erwähnte Adrian, dass die Nutzer Demos zu Hause ausprobieren können, darunter Lösungen wie Personenzählung und intelligente Warteschlangenverwaltung. Dann zeigte er eine Bonus-Demo, bei der die Benutzer Eingabeaufforderungen eingeben konnten, um traumähnliche Bilder in Echtzeit auf der GPU zu erzeugen. Dies demonstrierte die Vielseitigkeit des Intel AI PC sowohl für traditionelle KI-Aufgaben als auch für kreative, generative KI-Projekte.

Objekterkennung in Echtzeit mit Intel OpenVINO

Auf der Veranstaltung war Intel mit einem Stand vertreten, an dem sie eine Echtzeit-Demo zur Objekterkennung mit YOLO11 auf ihrem Intel AI PC zeigten. Die Teilnehmer konnten das mit OpenVINO optimierte und auf dem Intel Core Ultra 200V Prozessor eingesetzte Modell in Aktion sehen. 

__wf_reserved_inherit
Abb. 5. Am Stand von Intel OpenVino hatten die Teilnehmer die Möglichkeit, eine Echtzeit-Demo zu sehen.

Am Stand von Intel sagte Dmitry: "Ich bin zum ersten Mal auf der YOLO Vision und freue mich, in Madrid zu sein. Wir stellen das YOLO11-Modell von Ultralytics vor, das auf dem Intel Core Ultra 200V Prozessor läuft. Es zeigt eine hervorragende Leistung, und wir verwenden OpenVINO zur Optimierung und Bereitstellung des Modells. Es war sehr einfach, mit Ultralytics zusammenzuarbeiten und das Modell auf der neuesten Intel-Hardware unter Verwendung der CPU, GPU und NPU laufen zu lassen." Am Stand gab es auch einige tolle Werbegeschenke, wie T-Shirts und Notebooks, die die Teilnehmer mit nach Hause nehmen konnten.

Die wichtigsten Erkenntnisse

Intels technischer Vortrag auf der YV24, bei dem die Intel Core Ultra 200V Prozessoren vorgestellt wurden, zeigte, wie das OpenVINO-Toolkit KI-Modelle wie Ultralytics YOLO11 optimiert. Diese Integration ermöglicht es den Anwendern, YOLO-Modelle direkt auf ihren Geräten auszuführen und so eine hervorragende Leistung für Computer-Vision-Aufgaben wie die Objekterkennung zu erzielen. Der entscheidende Vorteil ist, dass die Nutzer nicht auf Cloud-Dienste angewiesen sind.

Entwickler und KI-Enthusiasten können YOLO-Modelle mühelos ausführen und fein abstimmen und dabei Hardware wie CPUs, GPUs und NPUs für Echtzeitanwendungen voll ausnutzen. Das Intel OpenVINO-Toolkit eröffnet in Kombination mit den YOLO-Modellen von Ultralytics neue Möglichkeiten, fortschrittliche KI-Funktionen direkt auf persönliche Geräte zu bringen, und ist damit eine ideale Option für Entwickler, die KI-Innovationen in verschiedenen Branchen vorantreiben wollen.

Lassen Sie uns zusammenarbeiten und innovativ sein! Besuchen Sie unser GitHub-Repository, um unsere Beiträge zu erkunden und sich mit unserer Community auszutauschen. Sehen Sie, wie wir KI einsetzen, um in Branchen wie der Fertigung und dem Gesundheitswesen etwas zu bewirken.

Lassen Sie uns gemeinsam die Zukunft
der KI gestalten!

Beginnen Sie Ihre Reise in die Zukunft des maschinellen Lernens

Kostenloser Start
Link in die Zwischenablage kopiert