Ultralytics YOLOv5 kompilieren & quantisieren für bessere Leistung mit Deci
Optimiere und deploye Ultralytics YOLOv5-Modelle mit der Plattform von Deci, um die Leistung um bis zu 10x zu steigern. Lege kostenlos los und nutze die automatische Modelloptimierung.
Bei Ultralytics arbeiten wir kommerziell mit anderen Startups zusammen, um die Forschung und Entwicklung unserer großartigen Open-Source-Tools, wie YOLOv5, zu finanzieren und sie für alle kostenlos zu halten. Dieser Artikel kann Affiliate-Links zu diesen Partnern enthalten.
Die Deci Plattform enthält kostenlose Tools zur einfachen Verwaltung, Optimierung und Bereitstellung deiner YOLOv5 Modelle in jeder Produktionsumgebung. Deci unterstützt alle gängigen DL-Frameworks wie TensorFlow, PyTorch, Keras und ONNX. Alles, was du brauchst, ist unsere webbasierte Plattform oder unser Python Client, um sie aus deinem Code heraus auszuführen.
Warum Deci?#
Du kannst Deci nicht nur zum Exportieren, sondern auch zum Pruning und zur Quantisierung des Modells verwenden!
Deci bietet eine benutzerfreundliche Oberfläche für den Export in jedes Format sowie für den Leistungsvergleich zwischen ursprünglichen und konvertierten Modellen. Nutzer entscheiden sich dafür, ihre Modelle durch Quantisierung weiter zu optimieren.
Mit Deci kannst du:#
Die Inferenzleistung um bis zu das Zehnfache verbessern#
Deine Modelle automatisch kompilieren und quantisieren sowie verschiedene Produktionseinstellungen evaluieren, um eine bessere Latenz, einen höheren Durchsatz sowie eine Reduzierung der Modellgröße und des Speicherbedarfs auf deiner Hardware zu erzielen.
Die beste Inferenz-Hardware für deine Anwendung finden#
Benche die Leistung deines Modells auf verschiedenen Hardwaregeräten (einschließlich Edge-Geräten) mit nur einem Klick. Eliminiere die Notwendigkeit, mehrere Hardware- und Produktionseinstellungen manuell einzurichten und zu testen.
Mit wenigen Zeilen Code bereitstellen#
Nutze die Python-basierte Inferenz-Engine von Deci. Kompatibel mit verschiedenen Frameworks und Hardwaretypen.
Weitere Informationen zur Deci Plattform findest du auf der Decis Website.
Ersteinrichtung#
Schritt 1#
Eröffne dein kostenloses Konto.
Schritt 2#
Um mit der Optimierung deines vortrainierten YOLOv5 Modells zu beginnen, musst du es in das ONNX Format konvertieren. Siehe YOLOv5 Export Tutorial für Anweisungen zur Konvertierung deines Modells in das ONNX Format.
Schritt 3#
Gehe zum Reiter "Lab" und klicke oben rechts auf den Button "New Model", um dein YOLOv5 ONNX Modell hochzuladen.
Befolge die Schritte des Modell-Upload-Assistenten, um deine Ziel-Hardware sowie die gewünschte Batch-Größe und den Quantisierungsgrad für die Modellkompilierung auszuwählen.
Nachdem du die relevanten Informationen ausgefüllt hast, klicke auf „Start“. Die Deci-Plattform führt automatisch eine Laufzeitoptimierung deines YOLOv5-Modells von Ultralytics für die von dir ausgewählte Hardware durch und misst die Leistung deines Modells auf verschiedenen Hardwaretypen. Dieser Vorgang dauert etwa 10 Minuten.
Sobald der Vorgang abgeschlossen ist, erscheint eine neue Zeile auf deinem Bildschirm unterhalb des zuvor hochgeladenen Baseline-Modells. Hier siehst du die optimierte Version deines vortrainierten YOLOv5-Modells von Ultralytics.
Was kommt als Nächstes?#
Du kannst dein optimiertes Modell dann herunterladen, indem du auf die Schaltfläche "Deploy" klickst.
Du wirst dann aufgefordert, dein Modell herunterzuladen und erhältst Anweisungen zur Installation und Verwendung von Infery – der Inferenz-Laufzeit-Engine von Deci.
Die Verwendung von Infery ist optional. Du kannst die rohen Python-Dateien erhalten und sie mit jeder anderen Inferenz-Engine deiner Wahl verwenden.
Erkunde die Optimierungs- und Benchmark-Ergebnisse auf dem "Insights"-Tab.
Bereit für den Start?#
Bevor wir abschließen, lass uns einige der Vorteile besprechen, die Deci bietet:
- Optimiere den Inferenzdurchsatz und die Latenz deines Modells, ohne die Genauigkeit zu beeinträchtigen
- Ermöglicht dir die Optimierung von Modellen aus allen gängigen Frameworks
- Unterstützt Modelle für jede Deep-Learning-Aufgabe
- Unterstützt die Bereitstellung auf gängigen CPU- und GPU-Maschinen
- Benchmarke die Eignung deines Modells auf verschiedenen Hardware-Hosts und Cloud-Anbietern
- Macht hochgeladene Modelle bereit für Serving, Inferenz und Bereitstellung
Wie du gerade gesehen hast, kannst du die Leistung eines YOLOv5-Modells von Ultralytics in insgesamt 15 Minuten verdoppeln. Die Deci-Plattform ist extrem einfach und intuitiv zu bedienen.
Noch Fragen? Trete unserer Community bei und stelle deine Frage noch heute!
