9. Oktober 2024
Besuchen Sie Dmitriy Pastushenkovs und Adrian Boguszewskis YOLO Vision 2024-Vortrag über die Optimierung von YOLO mit Intel OpenVino und die Durchführung von Echtzeit-Inferenzen auf Intel AI PC.
YOLO Vision 2024 (YV24), die jährliche Hybrid-Veranstaltung von Ultralytics, brachte KI-Enthusiasten, Entwickler und Experten aus der ganzen Welt zusammen, um die neuesten Innovationen im Bereich Computer Vision zu erkunden. YV24 war eine großartige Gelegenheit und Plattform, um neue Durchbrüche zu diskutieren. Auf der Veranstaltung stellten wichtige Akteure der KI-Branche ihre neuesten Innovationen vor. Darunter war auch Intel, das an der Veranstaltung teilnahm und eine Keynote über seinen neuen bahnbrechenden KI-PC und die Integration vonIntel OpenVino in Ultralytics YOLO wie Ultralytics YOLO11.
Der Vortrag wurde von Adrian Boguszewski, einem Software-Evangelisten, der den LandCover. ai-Datensatz mitverfasst hat und Entwickler über Intel OpenVINO aufklärt, und Dmitriy Pastushenkov, einem KI-PC-Evangelisten mit über 20 Jahren Erfahrung in der industriellen Automatisierung und KI, gehalten. Während der Veranstaltung teilte Adrian seine Begeisterung und sagte: "Dies ist heute eine großartige Veranstaltung, nicht nur, weil Ultralytics eine neue YOLO geliefert hat, sondern auch, weil wir in der Lage sind, dieses neue Modell zu präsentieren, das auf unserer neuen Hardware läuft, sowie eine neue Version von OpenVINO."
In diesem Artikel werfen wir einen Blick auf die wichtigsten Höhepunkte von IntelVortrag auf der YV24 und gehen dabei auf die Besonderheiten ihres KI-PCs, der Intel Core Ultra 200V Serie, ein sowie darauf, wie sie mit Hilfe des OpenVINO in Ultralytics YOLO integriert werden. Fangen wir an!
Dmitriy begann die Keynote mit einem Einblick in die wichtigsten Unterschiede zwischen traditioneller KI und generativer KI. Der Fokus lag darauf, wie sich diese Technologien und ihre Anwendungsfälle im Jahr 2024 entwickeln. Traditionelle KI-Techniken wie Computer Vision und Natural Language Processing sind für Aufgaben wie Pose Estimation, Objekterkennung und Spracherkennung unerlässlich. Generative KI stellt jedoch eine neuere Welle der KI-Technologie dar, die Anwendungen wie Chatbots, Text-to-Image-Generierung, Code-Erstellung und sogar Text-to-Video umfasst.
Dmitriy wies auf den Größenunterschied zwischen den beiden hin. Er erklärte, dass traditionelle KI-Modelle aus Millionen von Parametern bestehen, während generative KI-Modelle in einem viel größeren Maßstab arbeiten. Generative KI-Modelle umfassen oft Milliarden oder sogar Billionen von Parametern, was sie weitaus rechenintensiver macht.
Dmitriy stellte den Intel AI PC als eine neue Hardwarelösung vor, die entwickelt wurde, um die wachsenden Herausforderungen bei der effizienten Ausführung sowohl traditioneller als auch generativer KI-Modelle zu bewältigen. Der Intel AI PC ist eine leistungsstarke und energieeffiziente Maschine. Er ist in der Lage, eine breite Palette von KI-Modellen lokal auszuführen, ohne dass eine Cloud-basierte Verarbeitung erforderlich ist.
Die lokale Verarbeitung trägt dazu bei, sensible Daten privat zu halten. Wenn KI-Modelle unabhängig von Internetverbindungen arbeiten können, werden die ethischen Bedenken der Industrie in Bezug auf Datenschutz und Sicherheit beantwortet.
Die treibende Kraft hinter dem Intel AI PC ist der Prozessor der Intel Core Ultra 200V Serie. Dieser Prozessor enthält drei Schlüsselkomponenten: die Central Processing UnitCPU), die Graphics Processing UnitGPU) und die Neural Processing Unit (NPU). Jede dieser Komponenten spielt eine spezifische Rolle bei der Bewältigung verschiedener Arten von KI-Arbeitslasten. Die CPU ist ideal für kleinere Aufgaben mit geringer Latenz, die schnelle Reaktionen erfordern, während die GPU für Operationen mit hohem Durchsatz wie die Ausführung von KI-Modellen optimiert ist. Die NPU, die auf Energieeffizienz ausgelegt ist, eignet sich gut für langwierige Aufgaben wie die Objekterkennung in Echtzeit mit Modellen wie YOLO11.
Es wurde hervorgehoben, dass die CPU bis zu 5 TOPS (Trillionen von Operationen pro Sekunde) und die GPU bis zu 67 TOPS liefern kann und die NPU eine energieeffiziente Möglichkeit bietet, KI-Aufgaben kontinuierlich auszuführen, ohne die Systemressourcen zu belasten.
Der Prozessor Intel Core Ultra 200V Serie integriert alle drei KI-Engines - NPU, CPU und GPU - in einem einzigen kleinen Chip. Sein Design ist perfekt für kompakte Geräte wie Notebooks geeignet, ohne dass die Leistung darunter leidet.
Der Prozessor verfügt außerdem über integrierten Arbeitsspeicher, so dass keine separate Grafikkarte erforderlich ist. Dies hilft, den Stromverbrauch zu senken und das Gerät kompakt zu halten. Dmitriy betonte auch die Flexibilität des Prozessors. Die Benutzer können je nach Aufgabe entscheiden, ob die KI-Modelle auf der CPU, der GPU oder der NPU laufen sollen. So kann beispielsweise die Objekterkennung mit YOLO11 auf einem dieser beiden Prozessoren laufen, während komplexere Aufgaben wie die Text-zu-Bild-Erzeugung sowohl die GPU als auch die NPU gleichzeitig nutzen können, um eine bessere Leistung zu erzielen.
Während der Präsentation zog Dmitriy den Chip aus seiner Tasche und vermittelte allen einen Eindruck davon, wie klein er wirklich ist - trotz seiner Fähigkeit, so fortschrittliche KI-Aufgaben zu bewältigen. Es war eine lustige und einprägsame Art zu zeigen, wie Intel leistungsstarke KI-Funktionen in tragbare und praktische Geräte bringt.
Nach der Vorstellung der neuesten Hardware-Entwicklungen von Intel wechselte Dmitriy zu Intel Software-Stack, der KI unterstützt. Er stellte OpenVINO vor, Intel Open-Source-Framework zur Optimierung und effizienten Bereitstellung von KI-Modellen auf verschiedenen Geräten. OpenVINO geht über visuelle Aufgaben hinaus und erweitert seine Unterstützung auf KI-Modelle, die für die Verarbeitung natürlicher Sprache, Audioverarbeitung, Transformatoren usw. verwendet werden.
OpenVINO ist kompatibel mit gängigen Plattformen wie PyTorch, TensorFlow, und ONNXund Entwickler können es leicht in ihre Arbeitsabläufe einbinden. Eine wichtige Funktion, auf die er aufmerksam machte, war die Quantisierung. Die Quantisierung komprimiert Modellgewichte, um deren Größe zu reduzieren, so dass große Modelle problemlos auf lokalen Geräten ausgeführt werden können, ohne dass die Cloud benötigt wird. OpenVINO arbeitet mit mehreren Frameworks, läuft auf CPU, GPU, NPU, FPGA oder sogar ARM-Geräten und unterstützt Windows, Linux und macOS. Dmitriy erläuterte den Zuhörern auch, wie einfach der Einstieg in OpenVINO ist.
Im zweiten Teil des Vortrags übergab er das Mikrofon an Adrian, der die nahtlose Integration zwischen denYOLO Ultralytics und dem OpenVINO von Intelerläuterte, wodurch der Prozess der Bereitstellung vonYOLO vereinfacht wird. Er erläuterte Schritt für Schritt, wie der Export eines YOLO mit dem Ultralytics Python in das OpenVINO schnell und unkompliziert vonstatten geht. Diese Integration erleichtert es den Entwicklern, ihre Modelle für Intel zu optimieren und das Beste aus beiden Plattformen herauszuholen.
Adrian demonstrierte, dass ein Ultralytics YOLO , sobald es trainiert ist, mit ein paar einfachen Befehlszeilen-Flags exportiert werden kann. So können die Benutzer beispielsweise angeben, ob sie das Modell als Fließkommaversion für maximale Präzision oder als quantisierte Version für bessere Geschwindigkeit und Effizienz exportieren möchten. Er wies auch darauf hin, wie Entwickler diesen Prozess direkt über den Code steuern können, indem sie Optionen wie die INT8-Quantisierung verwenden, um die Leistung zu verbessern, ohne zu viele Genauigkeitseinbußen hinnehmen zu müssen.
Um all diese Theorie in die Praxis umzusetzen, präsentierte das Intel eine Echtzeit-Demo der Objekterkennung durch YOLO11 auf dem Intel AI PC. Adrian zeigte, wie das System das Modell über verschiedene Prozessoren hinweg handhabte und erreichte 36 Bilder pro Sekunde (FPS) auf der CPU mit einem Fließkommamodell, über 100 FPS auf dem integrierten GPU und 70 FPS mit der quantisierten INT8-Version. Sie konnten so zeigen, wie effizient der Intel AI PC komplexe KI-Aufgaben bewältigen kann.
Er wies auch darauf hin, dass das System Modelle parallel ausführen kann, indem es die CPU, die GPU und die NPU gemeinsam für Aufgaben nutzt, bei denen alle Daten oder Videobilder im Voraus verfügbar sind. Dies ist nützlich, wenn schwere Lasten wie Videos verarbeitet werden. Das System kann die Arbeitslast auf verschiedene Prozessoren aufteilen, wodurch es schneller und effizienter wird.
Abschließend erwähnte Adrian, dass die Benutzer Demos zu Hause ausprobieren können, darunter Lösungen wie Personenzählung und intelligente Warteschlangenverwaltung. Dann zeigte er eine Bonus-Demo, bei der die Benutzer Eingabeaufforderungen eingeben konnten, um traumähnliche Bilder in Echtzeit auf der GPU zu erzeugen. Dies demonstrierte die Vielseitigkeit des Intel AI PC sowohl für traditionelle KI-Aufgaben als auch für kreative, generative KI-Projekte.
Auf der Veranstaltung war Intel mit einem Stand vertreten, an dem sie eine Echtzeit-Demo zur Objekterkennung mit YOLO11 auf ihrem Intel AI PC zeigten. Die Teilnehmer konnten das mit OpenVINO optimierte und auf dem Intel Core Ultra 200V Prozessor eingesetzte Modell in Aktion sehen.
Am Stand von Intel sagte Dmitry: "Ich bin zum ersten Mal auf der YOLO Vision und freue mich, in Madrid zu sein. Wir stellen das YOLO11 von Ultralytics vor, das auf dem Intel Core Ultra 200V Prozessor läuft. Es zeigt eine hervorragende Leistung, und wir verwenden OpenVINO zur Optimierung und Bereitstellung des Modells. Es war sehr einfach, mit Ultralytics zusammenzuarbeiten und das Modell auf der neuesten Intel unter Verwendung der CPU, GPU und NPU laufen zu lassen." Am Stand gab es auch einige interessante Werbegeschenke, wie T-Shirts und Notebooks, die die Teilnehmer mit nach Hause nehmen konnten.
Intel technischer Vortrag auf der YV24, bei dem die Intel Core Ultra 200V Prozessoren vorgestellt wurden, zeigte, wie das OpenVINO KI-Modelle wie Ultralytics YOLO11 optimiert. Diese Integration ermöglicht es den Anwendern, YOLO direkt auf ihren Geräten auszuführen und so eine hervorragende Leistung für Computer-Vision-Aufgaben wie die Objekterkennung zu erzielen. Der entscheidende Vorteil ist, dass die Nutzer nicht auf Cloud-Dienste angewiesen sind.
Entwickler und KI-Enthusiasten können YOLO mühelos ausführen und fein abstimmen und dabei Hardware wie CPUs, GPUs und NPUs für Echtzeitanwendungen voll ausnutzen. Das Intel OpenVINO eröffnet in Kombination mit denYOLO Ultralytics neue Möglichkeiten, fortschrittliche KI-Funktionen direkt auf persönliche Geräte zu bringen, und ist damit eine ideale Option für Entwickler, die KI-Innovationen in verschiedenen Branchen vorantreiben wollen.
Lassen Sie uns zusammenarbeiten und Innovationen entwickeln! Besuchen Sie unser GitHub-Repository, um unsere Beiträge zu erkunden und sich mit unserer Community auszutauschen. Sehen Sie, wie wir KI einsetzen, um in Branchen wie Fertigung und Gesundheitswesen etwas zu bewirken.
