Bereitstellung quantisierter Ultralytics YOLOv8-Modelle auf Edge-Geräten mit DeGirum

Willkommen zur Zusammenfassung eines weiteren aufschlussreichen Vortrags unseres YOLO VISION 2023 (YV23)-Events, das auf dem lebendigen Google for Startups Campus in Madrid stattfand. Dieser Vortrag wurde von Shashi Chilappagar, Chief Architect und Mitgründer von DeGirum, gehalten. Er beleuchtete die faszinierende Welt der Quantisierung und der Bereitstellung quantisierter Modelle und untersuchte zentrale Herausforderungen, Lösungen und zukünftige Möglichkeiten.

Link to this sectionEinführung in die Quantisierung und die Bereitstellung quantisierter Modelle#

Shashi gab einen umfassenden Überblick über die Quantisierung und hob deren Bedeutung bei der Optimierung von Ultralytics YOLO-Modellen für die Bereitstellung auf Edge-Geräten hervor. Von der Erörterung der Grundlagen bis hin zur Erkundung von Ansätzen zur Verbesserung der Quantisierung erhielten die Teilnehmer wertvolle Einblicke in die Feinheiten des Modell-Portings und der Bereitstellung.

Link to this sectionHerausforderungen bei der Quantisierung von YOLO-Modellen#

Quantisierung stellt oft eine Herausforderung dar, insbesondere bei YOLO-Modellen in TFLite. Unser Publikum erfuhr von dem signifikanten Genauigkeitsverlust, der beobachtet wird, wenn alle Ausgaben mit demselben Skalierungs- bzw. Nullpunkt quantisiert werden, was die Komplexität bei der Aufrechterhaltung der Modellgenauigkeit während des Quantisierungsprozesses verdeutlicht.

Link to this sectionVerbesserung der Quantisierung von YOLO-Modellen#

Glücklicherweise gibt es Lösungen für diese Herausforderungen. Die Einführung des DeGirum-Forks bietet einen quantisierungsfreundlichen Ansatz durch die Trennung von Ausgaben und die Optimierung der BBox-Dekodierung. Mit diesen Verbesserungen zeigt die Genauigkeit der quantisierten Modelle eine deutliche Steigerung gegenüber dem Basisniveau.

Link to this sectionQuantisierungsfreundlichere Modellarchitekturen#

Die Erforschung neuer Modellarchitekturen ist der Schlüssel zur Minimierung von Quantisierungsverlusten. Die Teilnehmer entdeckten, wie das Ersetzen von SiLU durch die begrenzte ReLU6-Aktivierung zu minimalen Quantisierungsverlusten führt und vielversprechende Ergebnisse für die Aufrechterhaltung der Genauigkeit in quantisierten Modellen bietet.

Link to this sectionBereitstellung quantisierter Modelle#

Die Bereitstellung quantisierter Modelle war noch nie so einfach: Nur fünf Zeilen Code werden benötigt, um jedes Modell auf der DeGirum-Cloud-Plattform auszuführen. Eine Live-Code-Demo demonstrierte die Einfachheit der Objekterkennung mit einem quantisierten Ultralytics YOLOv5-Modell und unterstrich die nahtlose Integration quantisierter Modelle in reale Anwendungen.

Zu diesem Zweck bietet Ultralytics eine Vielzahl von Modellbereitstellungsoptionen an, die es Endbenutzern ermöglichen, ihre Anwendungen effektiv auf eingebetteten und Edge-Geräten bereitzustellen. Zu den verschiedenen Exportformaten gehören OpenVINO, TorchScript, TensorRT, CoreML, TFLite und TFLite Edge TPU, die Vielseitigkeit und Kompatibilität bieten.

Diese Integration mit Drittanbieteranwendungen für die Bereitstellung ermöglicht es Benutzern, die Leistung unserer Modelle in realen Szenarien zu bewerten.

Link to this sectionVerwendung verschiedener Modelle auf unterschiedlicher Hardware#

Die Teilnehmer erhielten zudem Einblicke in die Vielseitigkeit der Bereitstellung verschiedener Modelle auf diversen Hardwareplattformen, was zeigt, wie eine einzelne Codebasis mehrere Modelle über verschiedene Beschleuniger hinweg unterstützen kann. Beispiele für die Ausführung verschiedener Erkennungsaufgaben auf diversen Hardwareplattformen demonstrierten die Flexibilität und Skalierbarkeit unseres Ansatzes.

Link to this sectionRessourcen und Dokumentation#

Um die Teilnehmer weiter zu unterstützen, haben wir einen umfassenden Ressourcenbereich eingeführt, der Zugriff auf unsere Cloud-Plattform, Beispiele, Dokumentation und mehr bietet. Unser Ziel ist es sicherzustellen, dass jeder über die Werkzeuge und Unterstützung verfügt, die er benötigt, um bei der effektiven Bereitstellung quantisierter Modelle erfolgreich zu sein.

Link to this sectionZusammenfassung#

Da sich der Bereich der Quantisierung ständig weiterentwickelt, ist es wichtig, informiert und am Ball zu bleiben. Wir engagieren uns dafür, dir kontinuierlich Unterstützung und Ressourcen bereitzustellen, damit du diese spannende Reise erfolgreich meistern kannst. Schau dir den gesamten Vortrag an: Watch the full talk!

Begleite uns, während wir weiterhin die neuesten Trends und Innovationen im Bereich Machine Learning und künstliche Intelligenz erforschen. Gemeinsam gestalten wir die Zukunft der Technologie und sorgen für positive Veränderungen in der Welt.