Ultralytics YOLOv5 kompilieren & quantisieren für bessere Leistung mit Deci
Optimiere und deploye Ultralytics YOLOv5-Modelle mit der Plattform von Deci, um die Leistung um bis zu 10x zu steigern. Lege kostenlos los und nutze die automatische Modelloptimierung.
Bei Ultralytics arbeiten wir kommerziell mit anderen Startups zusammen, um die Forschung und Entwicklung unserer großartigen Open-Source-Tools, wie YOLOv5, zu finanzieren und sie für alle kostenlos zu halten. Dieser Artikel kann Affiliate-Links zu diesen Partnern enthalten.
Die Deci-Plattform enthält kostenlose Tools zur einfachen Verwaltung, Optimierung und Bereitstellung deiner YOLOv5-Modelle in jeder Produktionsumgebung. Deci unterstützt alle gängigen DL-Frameworks wie TensorFlow, PyTorch, Keras und ONNX. Alles, was du benötigst, ist unsere webbasierte Plattform oder unser Python-Client, um sie direkt aus deinem Code auszuführen.
Link to this sectionWarum Deci?#
Du kannst Deci nicht nur zum Exportieren, sondern auch zum Pruning und zur Quantisierung des Modells verwenden!
Deci bietet eine benutzerfreundliche Oberfläche für den Export in jedes Format sowie für den Leistungsvergleich zwischen ursprünglichen und konvertierten Modellen. Nutzer entscheiden sich dafür, ihre Modelle durch Quantisierung weiter zu optimieren.
Link to this sectionMit Deci kannst du:#
Link to this sectionDie Inferenzleistung um bis zu das Zehnfache verbessern#
Deine Modelle automatisch kompilieren und quantisieren sowie verschiedene Produktionseinstellungen evaluieren, um eine bessere Latenz, einen höheren Durchsatz sowie eine Reduzierung der Modellgröße und des Speicherbedarfs auf deiner Hardware zu erzielen.
Link to this sectionDie beste Inferenz-Hardware für deine Anwendung finden#
Benche die Leistung deines Modells auf verschiedenen Hardwaregeräten (einschließlich Edge-Geräten) mit nur einem Klick. Eliminiere die Notwendigkeit, mehrere Hardware- und Produktionseinstellungen manuell einzurichten und zu testen.
Link to this sectionMit wenigen Zeilen Code bereitstellen#
Nutze die Python-basierte Inferenz-Engine von Deci. Kompatibel mit verschiedenen Frameworks und Hardwaretypen.
Für weitere Informationen über die Deci-Plattform besuche bitte die Website von Deci.
Link to this sectionErsteinrichtung#
Link to this sectionSchritt 1#
Eröffne dein kostenloses Konto.
Link to this sectionSchritt 2#
Um mit der Optimierung deines vortrainierten YOLOv5-Modells zu beginnen, musst du es in das ONNX-Format konvertieren. Siehe das YOLOv5 Export-Tutorial für Anweisungen zur Konvertierung deines Modells in das ONNX-Format.
Link to this sectionSchritt 3#
Gehe zum "Lab"-Tab und klicke auf die Schaltfläche "New Model" oben rechts auf dem Bildschirm, um dein YOLOv5 ONNX-Modell hochzuladen.
Befolge die Schritte des Modell-Upload-Assistenten, um deine Ziel-Hardware sowie die gewünschte Batch-Größe und den Quantisierungsgrad für die Modellkompilierung auszuwählen.
Nachdem du die entsprechenden Informationen eingegeben hast, klicke auf "Start". Die Deci-Plattform führt automatisch eine Laufzeitoptimierung deines YOLOv5-Modells für die von dir ausgewählte Hardware durch und bencht dein Modell auf verschiedenen Hardwaretypen. Dieser Prozess dauert etwa 10 Minuten.
Sobald der Vorgang abgeschlossen ist, erscheint eine neue Zeile auf deinem Bildschirm unterhalb des Baseline-Modells, das du zuvor hochgeladen hast. Hier kannst du die optimierte Version deines vortrainierten YOLOv5-Modells sehen.
Link to this sectionWas kommt als Nächstes?#
Du kannst dein optimiertes Modell dann herunterladen, indem du auf die Schaltfläche "Deploy" klickst.
Du wirst dann aufgefordert, dein Modell herunterzuladen und erhältst Anweisungen zur Installation und Verwendung von Infery – der Inferenz-Laufzeit-Engine von Deci.
Die Verwendung von Infery ist optional. Du kannst die rohen Python-Dateien erhalten und sie mit jeder anderen Inferenz-Engine deiner Wahl verwenden.
Erkunde die Optimierungs- und Benchmark-Ergebnisse auf dem "Insights"-Tab.
Link to this sectionBereit für den Start?#
Bevor wir abschließen, lass uns einige der Vorteile besprechen, die Deci bietet:
- Optimiere den Inferenzdurchsatz und die Latenz deines Modells, ohne die Genauigkeit zu beeinträchtigen
- Ermöglicht dir die Optimierung von Modellen aus allen gängigen Frameworks
- Unterstützt Modelle für jede Deep-Learning-Aufgabe
- Unterstützt die Bereitstellung auf gängigen CPU- und GPU-Maschinen
- Benchmarke die Eignung deines Modells auf verschiedenen Hardware-Hosts und Cloud-Anbietern
- Macht hochgeladene Modelle bereit für Serving, Inferenz und Bereitstellung
Wie du gerade gesehen hast, kannst du die Leistung eines YOLOv5-Modells in insgesamt 15 Minuten verdoppeln. Die Deci-Plattform ist super einfach und intuitiv zu bedienen.
Hast du Fragen? Tritt unserer Community bei und stelle noch heute deine Frage!
