27. März 2024
Entdecken Sie die Bereitstellung von quantisierten YOLOv8 mit DeGirum. Lernen Sie Herausforderungen, Lösungen und Bereitstellungstechniken für Edge-Geräte kennen. Gestalten Sie die Zukunft mit uns!
Willkommen zur Zusammenfassung eines weiteren aufschlussreichen Vortrags von unserer Veranstaltung YOLO VISION 2023 (YV23), die auf dem lebhaften Google for Startups Campus in Madrid stattfand. Dieser Vortrag wurde von Shashi Chilappagar, Chief Architect und Mitbegründer von DeGirum, gehalten. Er tauchte in die faszinierende Welt der Quantisierung und des Einsatzes von quantisierten Modellen ein und erforschte die wichtigsten Herausforderungen, Lösungen und zukünftigen Möglichkeiten.
Shashi gab einen umfassenden Überblick über die Quantisierung und hob ihre Bedeutung für die Optimierung von Ultralytics YOLO für den Einsatz auf Edge-Geräten. Von der Erörterung der Grundlagen bis zur Untersuchung von Ansätzen zur Verbesserung der Quantisierung erhielten die Teilnehmer wertvolle Einblicke in die Feinheiten der Modellportierung und -bereitstellung.
Die Quantisierung stellt oft eine Herausforderung dar, insbesondere bei YOLO in TFLite. Unsere Zuhörer erfuhren, dass die Genauigkeit erheblich abnimmt, wenn alle Ausgaben mit demselben Skalen-/Nullpunkt quantisiert werden, und erhielten so einen Einblick in die Komplexität der Aufrechterhaltung der Modellgenauigkeit während des Quantisierungsprozesses.
Glücklicherweise gibt es Lösungen, um diese Herausforderungen zu bewältigen. Die Einführung des DigiRAM-Forks bietet einen quantisierungsfreundlichen Ansatz, indem Ausgaben getrennt und die Dekodierung von Bounding Boxes optimiert wird. Durch diese Verbesserungen erfährt die Genauigkeit quantisierter Modelle eine deutliche Verbesserung gegenüber den Ausgangswerten.
Die Erforschung neuer Modellarchitekturen ist der Schlüssel zur Minimierung des Quantisierungsverlusts. Die Teilnehmer entdeckten, wie der Austausch von CILU durch eine begrenzte Relu6-Aktivierung zu minimalen Quantisierungsverlusten führt und vielversprechende Ergebnisse für die Aufrechterhaltung der Genauigkeit in quantisierten Modellen bietet.
Die Bereitstellung von quantisierten Modellen war noch nie so einfach wie heute, da nur fünf Codezeilen erforderlich sind, um ein beliebiges Modell auf der Digitim-Cloud-Plattform auszuführen. Eine Live-Code-Demo demonstrierte die Einfachheit der Erkennung von Objekten mit einem quantisierten Ultralytics YOLOv5 Modells, was die nahtlose Integration von quantisierten Modellen in reale Anwendungen verdeutlicht.
Zu diesem Zweck bietet Ultralytics eine Vielzahl von Optionen für die Modellbereitstellung, die es den Endbenutzern ermöglichen, ihre Anwendungen effektiv auf eingebetteten und Edge-Geräten einzusetzen. Zu den verschiedenen Exportformaten gehören OpenVINO, TorchScript, TensorRT, CoreML, TFlite und TFlite EDGE TPU und bietet Vielseitigkeit und Kompatibilität.
Diese Integration mit Anwendungen von Drittanbietern für die Bereitstellung ermöglicht es Benutzern, die Leistung unserer Modelle in realen Szenarien zu bewerten.
Die Teilnehmer erhielten auch Einblicke in die Vielseitigkeit des Einsatzes verschiedener Modelle auf unterschiedlichen Hardwareplattformen, was zeigt, wie eine einzige Codebasis mehrere Modelle auf verschiedenen Beschleunigern unterstützen kann. Beispiele für die Ausführung verschiedener Erkennungsaufgaben auf unterschiedlichen Hardwareplattformen demonstrierten die Flexibilität und Skalierbarkeit unseres Ansatzes.
Um die Teilnehmer weiter zu unterstützen, haben wir einen umfassenden Ressourcenbereich eingeführt, der Zugriff auf unsere Cloud-Plattform, Beispiele, Dokumentation und mehr bietet. Unser Ziel ist es, sicherzustellen, dass jeder die Werkzeuge und die Unterstützung hat, die er benötigt, um quantisierte Modelle effektiv einzusetzen.
Da sich der Bereich der Quantisierung weiterentwickelt, ist es wichtig, informiert und engagiert zu bleiben. Wir sind bestrebt, Ihnen kontinuierliche Unterstützung und Ressourcen bereitzustellen, damit Sie diese aufregende Reise meistern können. Sehen Sie sich den vollständigen Vortrag hier an!
Begleite uns auf unserem Weg, die neuesten Trends und Innovationen im Bereich des maschinellen Lernens und der künstlichen Intelligenz zu erforschen. Gemeinsam gestalten wir die Zukunft der Technologie und treiben positive Veränderungen in der Welt voran.
