9. Oktober 2024
Sehen Sie sich den Vortrag von Dmitriy Pastushenkov und Adrian Boguszewski auf der YOLO Vision 2024 über die Optimierung von YOLO-Modellen mit Intel OpenVino und die Durchführung von Echtzeit-Inferenz auf Intels AI PC erneut an.
YOLO Vision 2024 (YV24), die jährliche Hybridveranstaltung von Ultralytics, brachte KI-Enthusiasten, Entwickler und Experten aus der ganzen Welt zusammen, um die neuesten Innovationen im Bereich Computer Vision zu erkunden. YV24 war eine großartige Gelegenheit und Plattform, um neue Durchbrüche zu diskutieren. Auf der Veranstaltung stellten wichtige Akteure der KI-Branche ihre neuesten Innovationen vor. Unter ihnen war Intel, das an der Veranstaltung teilnahm und eine Keynote über seinen neuen bahnbrechenden KI-PC und die Integration von Intel OpenVino mit Ultralytics YOLO-Modellen wie Ultralytics YOLO11 präsentierte.
Der Vortrag wurde von Adrian Boguszewski gehalten, einem Software Evangelist, der Mitautor des Datensatzes LandCover.ai ist und Entwickler über das OpenVINO-Toolkit von Intel aufklärt, sowie von Dmitriy Pastushenkov, einem AI PC Evangelist mit über 20 Jahren Erfahrung in Industrieautomation und KI. Während der Veranstaltung teilte Adrian seine Begeisterung mit und sagte: "Dies ist heute eine großartige Veranstaltung, nicht nur, weil Ultralytics eine neue YOLO-Version geliefert hat, sondern auch, weil wir dieses neue Modell auf unserer neuen Hardware sowie eine neue Version von OpenVINO präsentieren können."
In diesem Artikel werden wir uns die wichtigsten Highlights von Intels Vortrag auf der YV24 ansehen und uns mit den Feinheiten ihres KI-PCs, der Intel Core Ultra 200V Serie, befassen und wie diese mit Ultralytics YOLO-Modellen mithilfe des OpenVINO-Toolkits integriert werden. Los geht's!
Dmitriy begann die Keynote mit einem Einblick in die wichtigsten Unterschiede zwischen traditioneller KI und generativer KI. Der Fokus lag darauf, wie sich diese Technologien und ihre Anwendungsfälle im Jahr 2024 entwickeln. Traditionelle KI-Techniken wie Computer Vision und Natural Language Processing sind für Aufgaben wie Pose Estimation, Objekterkennung und Spracherkennung unerlässlich. Generative KI stellt jedoch eine neuere Welle der KI-Technologie dar, die Anwendungen wie Chatbots, Text-to-Image-Generierung, Code-Erstellung und sogar Text-to-Video umfasst.
Dmitriy wies auf den Größenunterschied zwischen den beiden hin. Er erklärte, dass traditionelle KI-Modelle aus Millionen von Parametern bestehen, während generative KI-Modelle in einem viel größeren Maßstab arbeiten. Generative KI-Modelle umfassen oft Milliarden oder sogar Billionen von Parametern, was sie weitaus rechenintensiver macht.
Dmitriy stellte den Intel AI PC als eine neue Hardwarelösung vor, die entwickelt wurde, um die wachsenden Herausforderungen beim effizienten Betrieb von traditionellen und generativen KI-Modellen zu bewältigen. Der Intel AI PC ist eine leistungsstarke und energieeffiziente Maschine. Er ist in der Lage, eine breite Palette von KI-Modellen lokal auszuführen, ohne dass eine Cloud-basierte Verarbeitung erforderlich ist.
Die lokale Verarbeitung trägt dazu bei, sensible Daten privat zu halten. Wenn KI-Modelle unabhängig von Internetverbindungen arbeiten können, werden die ethischen Bedenken der Industrie in Bezug auf Datenschutz und Sicherheit beantwortet.
Die treibende Kraft hinter dem Intel AI PC ist der Intel Core Ultra 200V Series Prozessor. Dieser Prozessor enthält drei Schlüsselkomponenten: die Central Processing Unit (CPU), die Graphics Processing Unit (GPU) und die Neural Processing Unit (NPU). Jede spielt eine spezifische Rolle bei der Verarbeitung verschiedener Arten von KI-Workloads. Die CPU ist ideal für kleinere Aufgaben mit geringer Latenz, die schnelle Reaktionen erfordern, während die GPU für Operationen mit hohem Durchsatz wie das Ausführen von KI-Modellen optimiert ist. Die NPU, die auf Energieeffizienz ausgelegt ist, eignet sich gut für langlaufende Aufgaben wie die Echtzeit-Objekterkennung mit Modellen wie YOLO11.
Es wurde hervorgehoben, dass die CPU bis zu 5 TOPS (Billionen Operationen pro Sekunde) liefern kann, die GPU bis zu 67 TOPS und die NPU eine energieeffiziente Möglichkeit bietet, KI-Aufgaben kontinuierlich auszuführen, ohne die Systemressourcen zu belasten.
Der Intel Core Ultra 200V-Prozessor integriert alle drei KI-Engines - NPU, CPU und GPU - in einen einzigen kleinen Chip. Sein Design ist perfekt für kompakte Geräte wie Notebooks geeignet, ohne die Leistung zu beeinträchtigen.
Der Prozessor verfügt außerdem über einen integrierten RAM, wodurch der Bedarf an separaten Grafikkarten reduziert wird. Dies trägt dazu bei, den Stromverbrauch zu senken und das Gerät kompakt zu halten. Dmitriy betonte auch die Flexibilität des Prozessors. Benutzer können entscheiden, ob sie KI-Modelle auf der CPU, GPU oder NPU ausführen möchten, je nach Aufgabe. Beispielsweise kann die Objekterkennung mit YOLO11-Modellen auf jeder dieser Engines ausgeführt werden, während komplexere Aufgaben wie die Text-zu-Bild-Generierung sowohl die GPU als auch die NPU gleichzeitig verwenden können, um eine bessere Leistung zu erzielen.
Während der Präsentation zog Dmitriy den Chip aus seiner Tasche und vermittelte jedem ein klares Gefühl dafür, wie klein er wirklich ist - trotz seiner Fähigkeit, so fortschrittliche KI-Aufgaben zu bewältigen. Es war eine unterhaltsame und einprägsame Art zu zeigen, wie Intel leistungsstarke KI-Funktionen in tragbarere und praktischere Geräte bringt.
Nachdem Dmitriy die neuesten Hardware-Fortschritte von Intel vorgestellt hatte, wechselte er zu Intels Software-Stack, der KI unterstützt. Er stellte OpenVINO vor, Intels Open-Source-Framework, das entwickelt wurde, um KI-Modelle zu optimieren und effizient auf verschiedenen Geräten bereitzustellen. OpenVINO geht über visuelle Aufgaben hinaus und erweitert seine Unterstützung auf KI-Modelle, die für die Verarbeitung natürlicher Sprache, Audioverarbeitung, Transformer usw. verwendet werden.
OpenVINO ist mit gängigen Plattformen wie PyTorch, TensorFlow und ONNX kompatibel, und Entwickler können es einfach in ihre Workflows integrieren. Ein wichtiges Merkmal, auf das er aufmerksam machte, war die Quantisierung. Die Quantisierung komprimiert Modellgewichte, um ihre Größe zu reduzieren, sodass große Modelle reibungslos auf lokalen Geräten laufen können, ohne dass die Cloud benötigt wird. OpenVINO läuft auf verschiedenen Frameworks, auf CPU, GPU, NPU, FPGA oder sogar ARM-Geräten, und unterstützt Windows, Linux und macOS. Dmitriy führte das Publikum auch durch die einfachen Schritte für den Einstieg in OpenVINO.
Im zweiten Teil des Vortrags wurde das Mikrofon an Adrian weitergegeben, der die nahtlose Integration zwischen Ultralytics YOLO-Modellen und dem OpenVINO-Toolkit von Intel erläuterte, wodurch der Prozess der YOLO-Modellbereitstellung vereinfacht wird. Er gab eine schrittweise Erklärung, wie der Export eines YOLO-Modells mit dem Ultralytics Python-Paket in das OpenVINO-Format schnell und unkompliziert ist. Diese Integration erleichtert es Entwicklern erheblich, ihre Modelle für Intel-Hardware zu optimieren und das Beste aus beiden Plattformen herauszuholen.
Adrian demonstrierte, dass Benutzer ein Ultralytics YOLO-Modell nach dem Training mit wenigen einfachen Befehlszeilenbefehlen exportieren können. Zum Beispiel können Benutzer angeben, ob sie das Modell als Fließkommaversion für maximale Präzision oder als quantisierte Version für bessere Geschwindigkeit und Effizienz exportieren möchten. Er hob auch hervor, wie Entwickler diesen Prozess direkt über Code verwalten können, indem sie Optionen wie die INT8-Quantisierung verwenden, um die Performance zu verbessern, ohne zu viel Genauigkeit einzubüßen.
Um die ganze Theorie in die Praxis umzusetzen, präsentierte das Intel-Team eine Echtzeit-Demo der Objekterkennung, indem es YOLO11 auf dem Intel AI PC laufen ließ. Adrian demonstrierte, wie das System das Modell über verschiedene Prozessoren hinweg verarbeitete und dabei 36 Bilder pro Sekunde (FPS) auf der CPU mit einem Floating-Point-Modell, über 100 FPS auf der integrierten GPU und 70 FPS mit der INT8-quantisierten Version erreichte. Sie konnten zeigen, wie effizient der Intel AI PC komplexe KI-Aufgaben bewältigen kann.
Er wies auch darauf hin, dass das System Modelle parallel ausführen kann und CPU, GPU und NPU zusammen für Aufgaben verwendet, bei denen alle Daten oder Videobilder im Voraus verfügbar sind. Dies ist nützlich bei der Verarbeitung hoher Lasten wie Videos. Das System kann die Arbeitslast auf verschiedene Prozessoren verteilen, wodurch es schneller und effizienter wird.
Zusammenfassend erwähnte Adrian, dass Benutzer Demos zu Hause ausprobieren könnten, darunter Lösungen wie Personenzählung und intelligentes Warteschlangenmanagement. Anschließend zeigte er eine Bonus-Demo, bei der Benutzer Prompts eingeben konnten, um in Echtzeit traumartige Bilder auf der GPU zu generieren. Es demonstrierte die Vielseitigkeit des Intel AI PC sowohl für traditionelle KI-Aufgaben als auch für kreative, generative KI-Projekte.
Auf der Veranstaltung hatte Intel einen Stand, an dem sie eine Echtzeit-Objekterkennungs-Demo mit YOLO11 zeigten, die auf ihrem Intel AI PC lief. Die Teilnehmer konnten das mit OpenVINO optimierte und auf dem Intel Core Ultra 200V Prozessor bereitgestellte Modell in Aktion sehen.
Am Intel-Stand erzählte Dmitry: "Ich bin zum ersten Mal bei YOLO Vision dabei und freue mich, in Madrid zu sein. Wir präsentieren das YOLO11-Modell von Ultralytics, das auf dem Intel Core Ultra 200V Prozessor läuft. Es zeigt eine ausgezeichnete Leistung, und wir verwenden OpenVINO, um das Modell zu optimieren und bereitzustellen. Es war sehr einfach, mit Ultralytics zusammenzuarbeiten und das Modell auf der neuesten Intel-Hardware unter Nutzung von CPU, GPU und NPU auszuführen." Am Stand gab es auch einige lustige Werbegeschenke, wie z. B. T-Shirts und Notizbücher, die die Teilnehmer mit nach Hause nehmen konnten.
Intels Tech-Talk auf der YV24, bei dem die Intel Core Ultra 200V-Serie vorgestellt wurde, demonstrierte, wie das OpenVINO-Toolkit KI-Modelle wie Ultralytics YOLO11 optimiert. Diese Integration ermöglicht es Nutzern, YOLO-Modelle direkt auf ihren Geräten auszuführen und eine hervorragende Leistung für Computer-Vision-Aufgaben wie Objekterkennung zu erzielen. Der Hauptvorteil besteht darin, dass sich die Nutzer nicht auf Cloud-Dienste verlassen müssen.
Entwickler und KI-Enthusiasten können YOLO-Modelle mühelos ausführen und feinabstimmen und dabei Hardware wie CPUs, GPUs und NPUs für Echtzeitanwendungen voll ausschöpfen. Das Intel OpenVINO-Toolkit eröffnet in Kombination mit Ultralytics YOLO-Modellen neue Möglichkeiten, fortschrittliche KI-Funktionen direkt auf persönliche Geräte zu bringen, was es zu einer idealen Option für Entwickler macht, die KI-Innovationen in verschiedenen Branchen vorantreiben wollen.
Lassen Sie uns zusammenarbeiten und Innovationen entwickeln! Besuchen Sie unser GitHub-Repository, um unsere Beiträge zu erkunden und sich mit unserer Community auszutauschen. Sehen Sie, wie wir KI einsetzen, um in Branchen wie Fertigung und Gesundheitswesen etwas zu bewirken.
