Quantisierte Ultralytics YOLOv8-Modelle mit DeGirum auf Edge-Geräten bereitstellen
Entdecke die Bereitstellung quantisierter YOLOv8-Modelle mit DeGirum. Erfahre mehr über Herausforderungen, Lösungen und Bereitstellungstechniken für Edge-Geräte. Gestalte mit uns die Zukunft!
Willkommen zur Zusammenfassung eines weiteren aufschlussreichen Vortrags von unserer Veranstaltung YOLO VISION 2023 (YV23), die auf dem lebhaften Google for Startups Campus in Madrid stattfand. Der Vortrag wurde von Shashi Chilappagar, Chief Architect und Mitgründer von DeGirum, gehalten. Er befasste sich eingehend mit der faszinierenden Welt der Quantisierung und der Bereitstellung quantisierter Modelle und beleuchtete zentrale Herausforderungen, Lösungen und zukünftige Möglichkeiten.
Einführung in die Quantisierung und die Bereitstellung quantisierter Modelle#
Shashi gab einen umfassenden Überblick über die Quantisierung und erläuterte ihre Bedeutung für die Optimierung von Ultralytics YOLO-Modellen zur Bereitstellung auf Edge-Geräten. Von den Grundlagen bis hin zu Ansätzen zur Verbesserung der Quantisierung erhielten die Teilnehmenden wertvolle Einblicke in die Feinheiten der Modellportierung und -bereitstellung.
Herausforderungen bei der Quantisierung von YOLO-Modellen#
Die Quantisierung stellt häufig eine Herausforderung dar, insbesondere bei YOLO-Modellen in TFLite. Unser Publikum erfuhr vom deutlichen Genauigkeitsverlust, der beobachtet wird, wenn alle Ausgaben mit derselben Skalierung bzw. demselben Nullpunkt quantisiert werden. Dadurch wurden die Schwierigkeiten bei der Beibehaltung der Modellgenauigkeit während des Quantisierungsprozesses deutlich.
Verbesserung der Quantisierung von YOLO-Modellen#
Glücklicherweise gibt es Lösungen für diese Herausforderungen. Der DeGirum-Fork bietet einen quantisierungsfreundlichen Ansatz, bei dem die Ausgaben getrennt und die Decodierung der Begrenzungsrahmen optimiert werden. Durch diese Verbesserungen steigt die Genauigkeit quantisierter Modelle gegenüber dem Ausgangsniveau deutlich.
Quantisierungsfreundlichere Modellarchitekturen#
Die Untersuchung neuer Modellarchitekturen ist entscheidend, um Quantisierungsverluste zu minimieren. Die Teilnehmenden erfuhren, dass der Ersatz von SiLU durch eine begrenzte ReLU6-Aktivierungsfunktion zu minimalen Quantisierungsverlusten führt und damit vielversprechende Ergebnisse für die Beibehaltung der Genauigkeit quantisierter Modelle bietet.
Bereitstellung quantisierter Modelle#
Die Bereitstellung quantisierter Modelle war noch nie so einfach: Es sind nur fünf Codezeilen erforderlich, um ein beliebiges Modell auf der DeGirum-Cloudplattform auszuführen. Eine Live-Code-Demonstration zeigte, wie einfach sich Objekte mit einem quantisierten Ultralytics YOLOv5-Modell erkennen lassen, und verdeutlichte die nahtlose Integration quantisierter Modelle in reale Anwendungen.
In diesem Zusammenhang bietet Ultralytics verschiedene Optionen für die Modellbereitstellung und ermöglicht es Endnutzern, ihre Anwendungen effektiv auf eingebetteten Systemen und Edge-Geräten bereitzustellen. Zu den verschiedenen Exportformaten gehören OpenVINO, TorchScript, TensorRT, CoreML, TFLite und TFLite Edge TPU, die vielseitige Einsatzmöglichkeiten und Kompatibilität bieten.
Diese Integration mit Drittanbieteranwendungen für die Bereitstellung ermöglicht es den Nutzern, die Leistung unserer Modelle unter realen Bedingungen zu bewerten.
Verschiedene Modelle auf unterschiedlicher Hardware einsetzen#
Die Teilnehmenden erhielten außerdem Einblicke in die vielseitigen Möglichkeiten, verschiedene Modelle auf unterschiedlichen Hardwareplattformen bereitzustellen. Dabei wurde gezeigt, wie eine einzige Codebasis mehrere Modelle auf verschiedenen Beschleunigern unterstützen kann. Beispiele für die Ausführung verschiedener Erkennungsaufgaben auf unterschiedlichen Hardwareplattformen demonstrierten die Flexibilität und Skalierbarkeit unseres Ansatzes.
Ressourcen und Dokumentation#
Um die Teilnehmenden noch besser zu unterstützen, stellten wir einen umfassenden Ressourcenbereich vor, der Zugriff auf unsere Cloudplattform, Beispiele, Dokumentation und vieles mehr bietet. Unser Ziel ist es, sicherzustellen, dass alle über die erforderlichen Werkzeuge und die nötige Unterstützung verfügen, um quantisierte Modelle erfolgreich einzusetzen.
Zum Abschluss#
Während sich das Gebiet der Quantisierung weiterentwickelt, ist es wichtig, informiert und engagiert zu bleiben. Wir setzen uns dafür ein, fortlaufende Unterstützung und Ressourcen bereitzustellen, damit du dich auf dieser spannenden Reise zurechtfindest. Sieh dir den vollständigen Vortrag an: Vollständigen Vortrag ansehen!
Begleite uns, während wir weiterhin die neuesten Trends und Innovationen im maschinellen Lernen und in der künstlichen Intelligenz erkunden. Gemeinsam gestalten wir die Zukunft der Technologie und treiben positive Veränderungen in der Welt voran.
