Ultralytics YOLOv5 mit Deci für bessere Leistung kompilieren und quantisieren

Bei Ultralytics arbeiten wir kommerziell mit anderen Start-ups zusammen, um die Forschung und Entwicklung unserer quelloffenen Werkzeuge wie YOLOv5 zu finanzieren und sie für alle kostenlos zu halten. Dieser Artikel kann Affiliate-Links zu diesen Partnern enthalten.

Update: NVIDIA hat Deci 2024 übernommen, und deci.ai leitet jetzt zu NVIDIA weiter. Die folgenden Schritte zur Deci-Plattform sind als Referenz erhalten geblieben.

Die Deci-Plattform umfasst kostenlose Tools, mit denen du deine YOLOv5-Modelle ganz einfach in jeder Produktionsumgebung verwalten, optimieren und bereitstellen kannst. Deci unterstützt alle gängigen Deep-Learning-Frameworks wie TensorFlow, PyTorch, Keras und ONNX. Du brauchst lediglich unsere webbasierte Plattform oder unseren Python-Client, um die Modelle in deinem Code auszuführen.

Warum Deci?#

Du kannst Deci nicht nur zum Exportieren, sondern auch zum Pruning und zur Quantisierung des Modells verwenden.

Deci bietet eine praktische Oberfläche, mit der du in jedes Format exportieren und die Leistung der ursprünglichen und der konvertierten Modelle vergleichen kannst. Nutzer können ihre Modelle durch Quantisierung weiter optimieren.

Mit Deci kannst du:#

Die Inferenzleistung um bis zu das Zehnfache steigern#

Kompiliere und quantisiere deine Modelle automatisch und bewerte verschiedene Produktionskonfigurationen, um auf deiner Hardware kürzere Latenzzeiten, einen höheren Durchsatz sowie eine geringere Modellgröße und einen kleineren Speicherbedarf zu erzielen.

Die beste Inferenzhardware für deine Anwendung finden#

Vergleiche die Leistung deines Modells mit einem Klick auf verschiedenen Geräten, auch auf Edge-Geräten. So musst du nicht mehr mehrere Hardware- und Produktionskonfigurationen manuell einrichten und testen.

Mit wenigen Codezeilen bereitstellen#

Nutze die Python-basierte Inferenz-Engine von Deci. Sie ist mit mehreren Frameworks und Hardwaretypen kompatibel.

Erste Einrichtung#

Schritt 1#

Erstelle ein kostenloses Konto.

Schritt 2#

Um mit der Optimierung deines vortrainierten YOLOv5-Modells zu beginnen, musst du es in das ONNX-Format konvertieren. Eine Anleitung zur Konvertierung deines Modells in das ONNX-Format findest du im YOLOv5-Export-Tutorial.

Schritt 3#

Gehe zum Tab „Lab“ und klicke oben rechts auf dem Bildschirm auf die Schaltfläche „New Model“, um dein YOLOv5-ONNX-Modell hochzuladen.

Folge den Schritten des Assistenten zum Hochladen des Modells, um deine Zielhardware sowie die gewünschte Batchgröße und Quantisierungsstufe für die Modellkompilierung auszuwählen.

Nachdem du die relevanten Informationen eingegeben hast, klicke auf „Start“. Die Deci-Plattform optimiert automatisch die Laufzeit deines Ultralytics YOLOv5-Modells für die ausgewählte Hardware und führt außerdem Benchmarks deines Modells auf verschiedenen Hardwaretypen durch. Dieser Vorgang dauert etwa 10 Minuten.

Anschließend erscheint auf deinem Bildschirm unter dem zuvor hochgeladenen Basismodell eine neue Zeile. Hier siehst du die optimierte Version deines vortrainierten Ultralytics YOLOv5-Modells.

Wie geht es weiter?#

Du kannst dein optimiertes Modell anschließend herunterladen, indem du auf die Schaltfläche „Deploy“ klickst.

Du wirst dann aufgefordert, dein Modell herunterzuladen, und erhältst eine Anleitung zur Installation und Verwendung von Infery, Decis Inferenz-Engine für die Laufzeit.

Die Verwendung von Infery ist optional. Du kannst die unveränderten Python-Dateien herunterladen und mit einer beliebigen anderen Inferenz-Engine deiner Wahl verwenden.

Sieh dir die Optimierungs- und Benchmark-Ergebnisse im Tab „Insights“ an.

Bereit loszulegen?#

Bevor wir zum Schluss kommen, sehen wir uns einige der Vorteile von Deci an:

• Optimiere den Inferenzdurchsatz und die Latenz deines Modells, ohne die Genauigkeit zu beeinträchtigen
• Ermöglicht dir die Optimierung von Modellen aus allen gängigen Frameworks
• Unterstützt Modelle für beliebige Deep-Learning-Aufgaben
• Unterstützt die Bereitstellung auf gängigen CPU- und GPU-Systemen
• Misst die Eignung deines Modells auf verschiedenen Hardware-Hosts und bei verschiedenen Cloud-Anbietern
• Macht hochgeladene Modelle für den Dienstbetrieb, die Inferenz und die Bereitstellung einsatzbereit

Wie du gerade gesehen hast, kannst du die Leistung eines Ultralytics-YOLOv5-Modells in etwa 15 Minuten verdoppeln. Die Deci-Plattform ist einfach und intuitiv zu bedienen.

Fragen? Stell deine Frage noch heute in unserer Community!