27. März 2024
Entdecken Sie die Bereitstellung quantisierter YOLOv8-Modelle mit DeGirum. Erfahren Sie mehr über Herausforderungen, Lösungen und Bereitstellungstechniken für Edge-Geräte. Gestalten Sie mit uns die Zukunft!
Willkommen zur Zusammenfassung eines weiteren aufschlussreichen Vortrags von unserem YOLO VISION 2023 (YV23) Event, das auf dem pulsierenden Google for Startups Campus in Madrid stattfand. Dieser Vortrag wurde von Shashi Chilappagar, Chief Architect und Mitbegründer von DeGirum, gehalten. Er befasste sich mit der faszinierenden Welt der Quantisierung und dem Einsatz von quantisierten Modellen und untersuchte wichtige Herausforderungen, Lösungen und zukünftige Möglichkeiten.
Shashi gab einen umfassenden Überblick über die Quantisierung und hob ihre Bedeutung bei der Optimierung von Ultralytics YOLO-Modellen für den Einsatz auf Edge-Geräten hervor. Von der Erörterung der Grundlagen bis hin zur Erforschung von Ansätzen zur Verbesserung der Quantisierung erhielten die Teilnehmer wertvolle Einblicke in die Feinheiten der Modellportierung und -bereitstellung.
Die Quantisierung birgt oft Herausforderungen, insbesondere bei YOLO-Modellen in TFLite. Unser Publikum erfuhr mehr über den deutlichen Rückgang der Genauigkeit, der beobachtet wurde, wenn alle Ausgaben mit derselben Skala/Nullpunkt quantisiert werden, was die Komplexität der Aufrechterhaltung der Modellgenauigkeit während des Quantisierungsprozesses verdeutlicht.
Glücklicherweise gibt es Lösungen, um diese Herausforderungen zu bewältigen. Die Einführung des DigiRAM-Forks bietet einen quantisierungsfreundlichen Ansatz, indem Ausgaben getrennt und die Dekodierung von Bounding Boxes optimiert wird. Durch diese Verbesserungen erfährt die Genauigkeit quantisierter Modelle eine deutliche Verbesserung gegenüber den Ausgangswerten.
Die Erforschung neuer Modellarchitekturen ist der Schlüssel zur Minimierung des Quantisierungsverlusts. Die Teilnehmer entdeckten, wie der Austausch von CILU durch eine begrenzte Relu6-Aktivierung zu minimalen Quantisierungsverlusten führt und vielversprechende Ergebnisse für die Aufrechterhaltung der Genauigkeit in quantisierten Modellen bietet.
Das Bereitstellen von quantisierten Modellen war noch nie so einfach, da nur fünf Codezeilen erforderlich sind, um ein beliebiges Modell auf der Digitim-Cloud-Plattform auszuführen. Eine Live-Code-Demo zeigte die Einfachheit der Objekterkennung mit einem quantisierten Ultralytics YOLOv5-Modell und hob die nahtlose Integration von quantisierten Modellen in reale Anwendungen hervor.
In diesem Zusammenhang bietet Ultralytics eine Vielzahl von Optionen für die Modellbereitstellung, die es Endbenutzern ermöglichen, ihre Anwendungen effektiv auf eingebetteten Geräten und Edge-Geräten zu implementieren. Zu den verschiedenen Exportformaten gehören OpenVINO, TorchScript, TensorRT, CoreML, TFlite und TFlite EDGE TPU, die Vielseitigkeit und Kompatibilität bieten.
Diese Integration mit Anwendungen von Drittanbietern für die Bereitstellung ermöglicht es Benutzern, die Leistung unserer Modelle in realen Szenarien zu bewerten.
Die Teilnehmer erhielten auch Einblicke in die Vielseitigkeit des Einsatzes verschiedener Modelle auf unterschiedlichen Hardwareplattformen, was zeigt, wie eine einzige Codebasis mehrere Modelle auf verschiedenen Beschleunigern unterstützen kann. Beispiele für die Ausführung verschiedener Erkennungsaufgaben auf unterschiedlichen Hardwareplattformen demonstrierten die Flexibilität und Skalierbarkeit unseres Ansatzes.
Um die Teilnehmer weiter zu unterstützen, haben wir einen umfassenden Ressourcenbereich eingeführt, der Zugriff auf unsere Cloud-Plattform, Beispiele, Dokumentation und mehr bietet. Unser Ziel ist es, sicherzustellen, dass jeder die Werkzeuge und die Unterstützung hat, die er benötigt, um quantisierte Modelle effektiv einzusetzen.
Da sich der Bereich der Quantisierung weiterentwickelt, ist es wichtig, informiert und engagiert zu bleiben. Wir sind bestrebt, Ihnen kontinuierliche Unterstützung und Ressourcen bereitzustellen, damit Sie diese aufregende Reise meistern können. Sehen Sie sich den vollständigen Vortrag hier an!
Begleite uns auf unserem Weg, die neuesten Trends und Innovationen im Bereich des maschinellen Lernens und der künstlichen Intelligenz zu erforschen. Gemeinsam gestalten wir die Zukunft der Technologie und treiben positive Veränderungen in der Welt voran.
