Bereitstellung quantisierter Ultralytics YOLOv8-Modelle auf Edge-Geräten mit DeGirum
Entdecke die Bereitstellung quantisierter YOLOv8-Modelle mit DeGirum. Lerne Herausforderungen, Lösungen und Bereitstellungstechniken für Edge-Geräte kennen. Gestalte die Zukunft mit uns!
Willkommen zur Zusammenfassung eines weiteren aufschlussreichen Vortrags von unserer YOLO VISION 2023 (YV23)-Veranstaltung im lebendigen Google for Startups Campus in Madrid. Dieser Vortrag wurde von Shashi Chilappagar, Chief Architect und Mitgründer von DeGirum, gehalten. Er befasste sich mit der faszinierenden Welt der Quantisierung und der Bereitstellung quantisierter Modelle und untersuchte zentrale Herausforderungen, Lösungen sowie zukünftige Möglichkeiten.
Einführung in die Quantisierung und die Bereitstellung quantisierter Modelle#
Shashi gab einen umfassenden Überblick über die Quantisierung und hob deren Bedeutung für die Optimierung von Ultralytics YOLO-Modellen für die Bereitstellung auf Edge-Geräten hervor. Von der Erörterung der Grundlagen bis hin zur Erkundung von Ansätzen zur Verbesserung der Quantisierung erhielten die Teilnehmer wertvolle Einblicke in die Feinheiten der Modellportierung und -bereitstellung.
Herausforderungen bei der Quantisierung von YOLO-Modellen#
Die Quantisierung birgt häufig Herausforderungen, insbesondere bei YOLO-Modellen in TFLite. Unser Publikum erfuhr mehr über den signifikanten Genauigkeitsabfall, der beobachtet wird, wenn alle Ausgaben mit demselben Skalierungs- und Nullpunkt quantisiert werden, was ein Licht auf die Komplexität wirft, die Modellgenauigkeit während des Quantisierungsprozesses aufrechtzuerhalten.
Verbesserung der Quantisierung von YOLO-Modellen#
Glücklicherweise gibt es Lösungen für diese Herausforderungen. Die Einführung des DeGirum-Forks bietet einen quantisierungsfreundlichen Ansatz durch die Trennung von Ausgaben und die Optimierung der BBox-Dekodierung. Mit diesen Verbesserungen zeigt die Genauigkeit der quantisierten Modelle eine deutliche Steigerung gegenüber dem Basisniveau.
Quantisierungsfreundlichere Modellarchitekturen#
Die Erforschung neuer Modellarchitekturen ist der Schlüssel zur Minimierung von Quantisierungsverlusten. Die Teilnehmer entdeckten, wie das Ersetzen von SiLU durch die begrenzte ReLU6-Aktivierung zu minimalen Quantisierungsverlusten führt und vielversprechende Ergebnisse für die Aufrechterhaltung der Genauigkeit in quantisierten Modellen bietet.
Bereitstellung quantisierter Modelle#
Die Bereitstellung quantifizierter Modelle war noch nie so einfach: Es sind nur fünf Zeilen Code erforderlich, um ein beliebiges Modell auf der DeGirum-Cloud-Plattform auszuführen. Eine Live-Code-Demo veranschaulichte die Einfachheit der Objekterkennung mit einem quantisierten Ultralytics YOLOv5-Modell und hob die nahtlose Integration quantisierter Modelle in reale Anwendungen hervor.
Zu diesem Zweck bietet Ultralytics eine Vielzahl von Modellbereitstellungsoptionen, die es Endbenutzern ermöglichen, ihre Anwendungen effektiv auf Embedded- und Edge-Geräten einzusetzen. Verschiedene Exportformate umfassen OpenVINO, TorchScript, TensorRT, CoreML, TFLite und TFLite Edge TPU, was Vielseitigkeit und Kompatibilität bietet.
Diese Integration mit Drittanbieteranwendungen für die Bereitstellung ermöglicht es Benutzern, die Leistung unserer Modelle in realen Szenarien zu bewerten.
Verwendung verschiedener Modelle auf unterschiedlicher Hardware#
Die Teilnehmer erhielten zudem Einblicke in die Vielseitigkeit der Bereitstellung verschiedener Modelle auf diversen Hardwareplattformen, was zeigt, wie eine einzelne Codebasis mehrere Modelle über verschiedene Beschleuniger hinweg unterstützen kann. Beispiele für die Ausführung verschiedener Erkennungsaufgaben auf diversen Hardwareplattformen demonstrierten die Flexibilität und Skalierbarkeit unseres Ansatzes.
Ressourcen und Dokumentation#
Um die Teilnehmer noch weiter zu unterstützen, haben wir einen umfassenden Ressourcenbereich eingeführt, der Zugriff auf unsere Cloud-Plattform, Beispiele, Dokumentation und mehr bietet. Unser Ziel ist es sicherzustellen, dass jeder über die Tools und die Unterstützung verfügt, die er benötigt, um bei der effektiven Bereitstellung quantifizierter Modelle erfolgreich zu sein.
Zusammenfassung#
Da sich das Gebiet der Quantisierung weiterentwickelt, ist es wichtig, informiert und engagiert zu bleiben. Wir sind bestrebt, kontinuierliche Unterstützung und Ressourcen bereitzustellen, um dir bei dieser spannenden Reise zu helfen. Schau dir den ganzen Vortrag an: Watch the full talk!
Begleite uns, während wir weiterhin die neuesten Trends und Innovationen im Bereich Machine Learning und künstliche Intelligenz erforschen. Gemeinsam gestalten wir die Zukunft der Technologie und sorgen für positive Veränderungen in der Welt.
