27. März 2024
Entdecken Sie die Bereitstellung von quantisierten YOLOv8-Modellen mit DeGirum. Lernen Sie Herausforderungen, Lösungen und Bereitstellungstechniken für Edge-Geräte kennen. Gestalten Sie die Zukunft mit uns!
Willkommen zur Zusammenfassung eines weiteren aufschlussreichen Vortrags von unserer Veranstaltung YOLO VISION 2023 (YV23), die auf dem lebhaften Google for Startups Campus in Madrid stattfand. Dieser Vortrag wurde von Shashi Chilappagar, Chief Architect und Mitbegründer von DeGirum, gehalten. Er tauchte in die faszinierende Welt der Quantisierung und des Einsatzes von quantisierten Modellen ein und erforschte die wichtigsten Herausforderungen, Lösungen und zukünftigen Möglichkeiten.
Shashi gab einen umfassenden Überblick über die Quantisierung und hob deren Bedeutung bei der Optimierung von Ultralytics YOLO-Modellen für den Einsatz auf Edge-Geräten hervor. Von der Erörterung der Grundlagen bis zur Untersuchung von Ansätzen zur Verbesserung der Quantisierung erhielten die Teilnehmer wertvolle Einblicke in die Feinheiten der Modellportierung und -bereitstellung.
Die Quantisierung stellt oft eine Herausforderung dar, insbesondere bei YOLO-Modellen in TFLite. Unsere Zuhörer erfuhren, dass die Genauigkeit deutlich abnimmt, wenn alle Ausgaben mit demselben Skalen-/Nullpunkt quantisiert werden, und erhielten so einen Einblick in die Komplexität der Aufrechterhaltung der Modellgenauigkeit während des Quantisierungsprozesses.
Glücklicherweise gibt es Lösungen, um diese Herausforderungen zu bewältigen. Die Einführung der DigiRAM-Gabel bietet einen quantisierungsfreundlichen Ansatz durch die Trennung der Ausgänge und die Optimierung der Bounding-Box-Dekodierung. Mit diesen Verbesserungen wird die Genauigkeit des quantisierten Modells gegenüber dem Ausgangsniveau deutlich verbessert.
Die Erforschung neuer Modellarchitekturen ist der Schlüssel zur Minimierung von Quantisierungsverlusten. Die Teilnehmer erfuhren, wie das Ersetzen von CILU durch eine begrenzte Relu6-Aktivierung zu einem minimalen Quantisierungsverlust führt und vielversprechende Ergebnisse für die Aufrechterhaltung der Genauigkeit in quantisierten Modellen liefert.
Der Einsatz von quantisierten Modellen war noch nie so einfach, da nur fünf Codezeilen erforderlich sind, um ein beliebiges Modell auf der Digitim-Cloud-Plattform auszuführen. Eine Live-Code-Demo zeigte die Einfachheit der Erkennung von Objekten mit einem quantisierten Ultralytics YOLOv5-Modell und unterstrich die nahtlose Integration von quantisierten Modellen in reale Anwendungen.
Zu diesem Zweck bietet Ultralytics eine Vielzahl von Optionen für die Modellbereitstellung, die es den Endbenutzern ermöglichen, ihre Anwendungen effektiv auf eingebetteten und Edge-Geräten einzusetzen. Zu den verschiedenen Exportformaten gehören OpenVINO, TorchScript, TensorRT, CoreML, TFlite und TFlite EDGE TPU, die Vielseitigkeit und Kompatibilität bieten.
Diese Integration mit Anwendungen von Drittanbietern ermöglicht es den Benutzern, die Leistung unserer Modelle in realen Szenarien zu bewerten.
Die Teilnehmer erhielten auch Einblicke in die Vielseitigkeit des Einsatzes verschiedener Modelle auf unterschiedlichen Hardware-Plattformen und erfuhren, wie eine einzige Codebasis mehrere Modelle auf unterschiedlichen Beschleunigern unterstützen kann. Beispiele für die Ausführung verschiedener Erkennungsaufgaben auf unterschiedlichen Hardware-Plattformen zeigten die Flexibilität und Skalierbarkeit unseres Ansatzes.
Um die Teilnehmer weiter zu unterstützen, haben wir einen umfassenden Ressourcenbereich eingeführt, der Zugang zu unserer Cloud-Plattform, Beispielen, Dokumentationen und vielem mehr bietet. Unser Ziel ist es, sicherzustellen, dass jeder die Werkzeuge und die Unterstützung erhält, die er benötigt, um quantisierte Modelle erfolgreich einzusetzen.
Da sich der Bereich der Quantisierung weiterentwickelt, ist es wichtig, dass Sie informiert und engagiert bleiben. Wir bieten Ihnen kontinuierliche Unterstützung und Ressourcen, um Sie auf dieser spannenden Reise zu begleiten. Sehen Sie sich den vollständigen Vortrag hier an!
Seien Sie dabei, wenn wir die neuesten Trends und Innovationen im Bereich des maschinellen Lernens und der künstlichen Intelligenz erforschen. Gemeinsam gestalten wir die Zukunft der Technologie und treiben den positiven Wandel in der Welt voran.
DE
EN
ZH
KO
JA
RU
FR
ES
PT
IT
TR
VI
AR
