Ultralytics YOLOv5 mit Deci für bessere Leistung kompilieren und quantisieren
Optimiere und stelle Ultralytics-YOLOv5-Modelle mit der Plattform von Deci bereit und steigere die Leistung um bis zu das Zehnfache. Starte kostenlos und nutze die automatische Modelloptimierung.
Ultralytics arbeitet kommerziell mit anderen Start-ups zusammen, um die Forschung und Entwicklung unserer großartigen Open-Source-Tools wie YOLOv5 zu finanzieren und sie für alle kostenlos zu halten. Dieser Artikel kann Affiliate-Links zu diesen Partnern enthalten.
Die Deci-Plattform umfasst kostenlose Werkzeuge zur einfachen Verwaltung, Optimierung und Bereitstellung deiner YOLOv5-Modelle in jeder Produktionsumgebung. Deci unterstützt alle gängigen DL-Frameworks wie TensorFlow, PyTorch, Keras und ONNX. Du benötigst lediglich unsere webbasierte Plattform oder unseren Python-Client, um Deci aus deinem Code heraus auszuführen.
Warum Deci?#
Mit Deci kannst du dein Modell nicht nur exportieren, sondern auch beschneiden und quantisieren!
Deci bietet eine übersichtliche Oberfläche für den Export in jedes Format sowie für den Leistungsvergleich zwischen den ursprünglichen und konvertierten Modellen. Durch Quantisierung können Nutzer ihre Modelle zusätzlich optimieren.
Mit Deci kannst du:#
Die Inferenzleistung um bis zu das Zehnfache steigern#
Deine Modelle automatisch kompilieren und quantisieren sowie verschiedene Einstellungen für den Produktionseinsatz bewerten, um eine bessere Latenz und einen höheren Durchsatz zu erzielen und Modellgröße sowie Speicherbedarf auf deiner Hardware zu reduzieren.
Die beste Inferenzhardware für deine Anwendung finden#
Die Leistung deines Modells mit nur einem Klick auf verschiedenen Hardwaregeräten, einschließlich Edge-Geräten, benchmarken. So entfällt die manuelle Einrichtung und Prüfung mehrerer Hardware- und Produktionseinstellungen.
Mit wenigen Codezeilen bereitstellen#
Nutze Decis Python-basierte Inferenz-Engine. Sie ist mit mehreren Frameworks und Hardwaretypen kompatibel.
Weitere Informationen zur Deci-Plattform findest du auf der Website von Deci.
Ersteinrichtung#
Schritt 1#
Erstelle dein kostenloses Konto.
Schritt 2#
Um mit der Optimierung deines vortrainierten YOLOv5-Modells zu beginnen, musst du es in das ONNX-Format konvertieren. Eine Anleitung zum Konvertieren deines Modells in das ONNX-Format findest du im YOLOv5-Export-Tutorial.
Schritt 3#
Öffne den Tab „Lab“ und klicke oben rechts auf dem Bildschirm auf die Schaltfläche „New Model“, um dein YOLOv5-ONNX-Modell hochzuladen.
Befolge die Schritte des Assistenten zum Hochladen des Modells, um deine Zielhardware sowie die gewünschte Batchgröße und den Quantisierungsgrad für die Modellkompilierung auszuwählen.
Nachdem du die relevanten Informationen eingetragen hast, klicke auf „Start“. Die Deci-Plattform führt automatisch eine Laufzeitoptimierung deines Ultralytics YOLOv5-Modells für die von dir ausgewählte Hardware durch und benchmarkt dein Modell außerdem auf verschiedenen Hardwaretypen. Dieser Vorgang dauert ungefähr 10 Minuten.
Anschließend wird auf deinem Bildschirm unter dem zuvor hochgeladenen Basismodell eine neue Zeile angezeigt. Dort siehst du die optimierte Version deines vortrainierten Ultralytics YOLOv5-Modells.
Wie geht es weiter?#
Anschließend kannst du dein optimiertes Modell herunterladen, indem du auf die Schaltfläche „Deploy“ klickst.
Anschließend wirst du aufgefordert, dein Modell herunterzuladen, und erhältst Anweisungen zur Installation und Verwendung von Infery, der Laufzeit-Inferenz-Engine von Deci.
Die Verwendung von Infery ist optional. Du kannst die unveränderten Python-Dateien herunterladen und sie mit jeder anderen Inferenz-Engine deiner Wahl verwenden.
Erkunde die Ergebnisse der Optimierung und des Benchmarkings im Tab „Insights“.
Bereit loszulegen?#
Bevor wir zum Schluss kommen, sehen wir uns einige Vorteile von Deci an:
- Optimiere den Inferenzdurchsatz und die Latenz deines Modells, ohne die Genauigkeit zu beeinträchtigen
- Ermöglicht dir die Optimierung von Modellen aus allen gängigen Frameworks
- Unterstützt Modelle für Aufgaben aus allen Bereichen des Deep Learning
- Unterstützt die Bereitstellung auf gängigen CPU- und GPU-Systemen
- Benchmarkt die Eignung deines Modells auf verschiedenen Hardware-Hosts und bei verschiedenen Cloud-Anbietern
- Macht hochgeladene Modelle für Serving, Inferenz und Bereitstellung einsatzbereit
Wie du gerade gesehen hast, kannst du die Leistung eines Ultralytics YOLOv5-Modells in insgesamt 15 Minuten verdoppeln. Die Deci-Plattform ist besonders einfach und intuitiv zu bedienen.
Hast du Fragen? Tritt unserer Community bei und stelle deine Frage noch heute!
