Bereitstellung quantisierter Ultralytics-YOLOv8-Modelle auf Edge-Geräten mit DeGirum

Willkommen zur Zusammenfassung eines weiteren aufschlussreichen Vortrags von unserer Veranstaltung YOLO VISION 2023 (YV23), die im Google for Startups Campus in Madrid stattfand. Der Vortrag wurde von Shashi Chilappagar, Chief Architect und Mitgründer von DeGirum, gehalten. Er behandelte die Quantisierung und die Bereitstellung quantisierter Modelle und beleuchtete wichtige Herausforderungen, Lösungen und künftige Möglichkeiten.

Einführung in die Quantisierung und Bereitstellung quantisierter Modelle#

Shashi gab einen umfassenden Überblick über die Quantisierung und hob deren Bedeutung für die Optimierung von Ultralytics-YOLO-Modellen zur Bereitstellung auf Edge-Geräten hervor. Von den Grundlagen bis hin zu Ansätzen zur Verbesserung der Quantisierung erhielten die Teilnehmer wertvolle Einblicke in die Besonderheiten der Modellportierung und -bereitstellung.

Herausforderungen bei der Quantisierung von YOLO-Modellen#

Die Quantisierung bringt oft Herausforderungen mit sich, insbesondere bei YOLO-Modellen in TFLite. Unser Publikum erfuhr von dem deutlichen Genauigkeitsverlust, der auftritt, wenn alle Ausgaben mit derselben Skala und demselben Nullpunkt quantisiert werden. Das verdeutlichte, wie schwierig es ist, die Modellgenauigkeit während der Quantisierung aufrechtzuerhalten.

Quantisierung von YOLO-Modellen verbessern#

Zum Glück gibt es Lösungen für diese Herausforderungen. Der DeGirum-Fork bietet einen quantisierungsfreundlichen Ansatz, indem er Ausgaben voneinander trennt und die Dekodierung von Begrenzungsrahmen optimiert. Dank dieser Verbesserungen steigt die Genauigkeit quantisierter Modelle im Vergleich zum Ausgangsniveau deutlich.

Modellarchitekturen, die sich besser quantisieren lassen#

Die Untersuchung neuer Modellarchitekturen ist entscheidend, um Quantisierungsverluste zu minimieren. Die Teilnehmenden erfuhren, wie der Ersatz von SiLU durch die begrenzte ReLU6-Aktivierungsfunktion zu minimalen Quantisierungsverlusten führt und vielversprechende Ergebnisse für den Erhalt der Genauigkeit quantisierter Modelle bietet.

Quantisierte Modelle bereitstellen#

Die Bereitstellung quantisierter Modelle ist unkompliziert: Mit nur fünf Codezeilen lässt sich jedes Modell auf der DeGirum-Cloudplattform ausführen. Eine Live-Code-Demo zeigte, wie einfach sich Objekte mit einem quantisierten Ultralytics YOLOv5-Modell erkennen lassen, und verdeutlichte, wie mühelos sich quantisierte Modelle in praktische Anwendungen integrieren lassen.

Ultralytics bietet dafür verschiedene Möglichkeiten zur Modellbereitstellung, mit denen Endnutzer ihre Anwendungen effektiv auf eingebetteten Systemen und Edge-Geräten einsetzen können. Zu den verschiedenen Exportformaten gehören OpenVINO, TorchScript, TensorRT, CoreML, TFLite und TFLite Edge TPU. Sie bieten Vielseitigkeit und Kompatibilität.

Durch die Integration mit Drittanbieteranwendungen zur Bereitstellung können Nutzer die Leistung unserer Modelle in realen Situationen bewerten.

Verschiedene Modelle auf unterschiedlicher Hardware einsetzen#

Die Teilnehmenden erhielten außerdem Einblicke in die Vielseitigkeit, verschiedene Modelle auf unterschiedlichen Hardwareplattformen bereitzustellen. Dabei wurde gezeigt, wie eine gemeinsame Codebasis mehrere Modelle auf verschiedenen Beschleunigern unterstützen kann. Beispiele für unterschiedliche Erkennungsaufgaben auf verschiedenen Hardwareplattformen veranschaulichten die Flexibilität und Skalierbarkeit unseres Ansatzes.

Ressourcen und Dokumentation#

Um die Teilnehmenden noch besser zu unterstützen, haben wir einen umfassenden Ressourcenbereich vorgestellt, der Zugriff auf unsere Cloud-Plattform, Beispiele, die Dokumentation und mehr bietet. Unser Ziel ist es, allen die Werkzeuge und Unterstützung bereitzustellen, die sie für die erfolgreiche Bereitstellung quantisierter Modelle benötigen.

Zum Abschluss#

Da sich die Quantisierung weiterentwickelt, ist es wichtig, informiert und engagiert zu bleiben. Wir setzen uns dafür ein, dir fortlaufend Unterstützung und Ressourcen bereitzustellen, damit du dich in diesem sich wandelnden Bereich zurechtfindest. Sieh dir den vollständigen Vortrag an – auf YouTube.

Begleite uns dabei, weiterhin die neuesten Trends und Innovationen im maschinellen Lernen und in der künstlichen Intelligenz zu erkunden.