Kompilieren und Quantisieren von Ultralytics YOLOv5 für bessere Leistung mit Deci

Ultralytics-Team

4 Minuten lesen

26. Oktober 2022

Optimieren Sie Ultralytics YOLOv5-Modelle mit der Deci-Plattform und steigern Sie die Leistung um das bis zu 10-fache. Starten Sie kostenlos und nutzen Sie die automatische Modelloptimierung.

Bei Ultralytics gehen wir kommerzielle Partnerschaften mit anderen Start-ups ein, um die Forschung und Entwicklung unserer großartigen Open-Source-Tools wie YOLOv5 zu finanzieren, damit sie für alle kostenlos bleiben. Dieser Artikel kann Affiliate-Links zu diesen Partnern enthalten.

Die Deci-Plattform umfasst kostenlose Tools zur einfachen Verwaltung, Optimierung und Bereitstellung Ihrer YOLOv5-Modelle in jeder Produktionsumgebung. Deci unterstützt alle gängigen DL-Frameworks, wie TensorFlow, PyTorch, Keras und ONNX. Alles, was Sie brauchen, ist unsere webbasierte Plattform oder unser Python-Client, um sie in Ihrem Code auszuführen.

Warum Deci?

Sie können Deci nicht nur für den Export, sondern auch für das Pruning und die Quantisierung des Modells verwenden!

Deci bietet eine ansprechende Schnittstelle für den Export in ein beliebiges Format und einen Leistungsvergleich zwischen dem ursprünglichen und dem konvertierten Modell. Die Benutzer können ihre Modelle durch Quantisierung weiter optimieren.

Mit Deci können Sie:

Verbessern Sie die Inferenzleistung um das bis zu 10-fache

‍AutomatischeKompilierung und Quantisierung Ihrer Modelle und Evaluierung verschiedener Produktionseinstellungen, um eine bessere Latenzzeit, Durchgängigkeit und Reduzierung der Modellgröße und des Speicherbedarfs auf Ihrer Hardware zu erreichen.

‍Finden Siedie beste Inferenz-Hardware für Ihre Anwendung

Benchmarkingder Leistung Ihres Modells auf verschiedenen Hardware-Geräten (einschließlich Edge-Geräten) auf Knopfdruck. Sie müssen nicht mehr mehrere Hardware- und Produktionseinstellungen manuell einrichten und testen.

‍Einsatzmit wenigen Codezeilen

NutzenSie Decis Python-basierte Inferenzmaschine. Kompatibel mit mehreren Frameworks und Hardwaretypen.

Für weitere Informationen über die Deci-Plattform besuchen Sie bitte die Deci-Website.

Erstmalige Einrichtung

Schritt 1

Eröffnen Sie Ihr kostenloses Konto.

Beginnen Sie mit Deci und Ultralytics YOLOv5

Schritt 2

Um mit der Optimierung Ihres vortrainierten YOLOv5-Modells zu beginnen, müssen Sie es in das ONNX-Format konvertieren. Siehe YOLOv5-Export-Tutorial für Anweisungen zur Konvertierung Ihres Modells in das ONNX-Format.

Schritt 3

Gehen Sie zur Registerkarte "Labor" und klicken Sie auf die Schaltfläche "Neues Modell" oben rechts auf dem Bildschirm, um Ihr YOLOv5 ONNX-Modell hochzuladen.

Konvertierung von Ultralytics YOLOv5-Modellen in ONNX für die künftige Verwendung mit Deci

Folgen Sie den Schritten des Modell-Upload-Assistenten, um Ihre Zielhardware sowie die gewünschte Losgröße und Quantisierungsstufe für die Modellkompilierung auszuwählen.

Ultralytics YOLOv5-Modellkompilierung für den Einsatz mit Deci

Nachdem Sie die relevanten Informationen eingegeben haben, klicken Sie auf "Start". Die Deci-Plattform wird automatisch eine Laufzeitoptimierung Ihres YOLOv5-Modells für die von Ihnen ausgewählte Hardware durchführen und Ihr Modell auf verschiedenen Hardwaretypen testen. Dieser Vorgang dauert etwa 10 Minuten.

Sobald dies geschehen ist, erscheint eine neue Zeile auf Ihrem Bildschirm unterhalb des zuvor hochgeladenen Basismodells. Hier sehen Sie die optimierte Version Ihres vortrainierten YOLOv5-Modells.

Ultralytics YOLOv5 optimiertes Modell für den Einsatz mit Deci

Was kommt als Nächstes?

Sie können dann Ihr optimiertes Modell herunterladen, indem Sie auf die Schaltfläche "Bereitstellen" klicken.

Ultralytics YOLOv5-Modell bereit für den Einsatz mit Deci

Sie werden dann aufgefordert, Ihr Modell herunterzuladen und erhalten Anweisungen zur Installation und Verwendung von Infery - Decis Runtime Inference Engine.

Die Verwendung von Infery ist optional. Sie können die Python-Rohdateien erhalten und sie mit jeder anderen Inferenzmaschine Ihrer Wahl verwenden.

Verwendung von Deci Infery zur Bereitstellung von Ultralytics YOLOv5

Erkunden Sie die Optimierungs- und Benchmark-Ergebnisse auf der Registerkarte "Einblicke".

Optimierung mit Deci von Ultralytics YOLOv5-Modell

Sind Sie bereit für den Einstieg?

Bevor ich zum Schluss komme, möchte ich einige der Vorteile von Deci erörtern:

  • Optimieren Sie den Inferenzdurchsatz und die Latenzzeit Ihres Modells ohne Beeinträchtigung der Genauigkeit
  • Ermöglicht Ihnen die Optimierung von Modellen aus allen gängigen Frameworks
  • Unterstützt Modelle für jede Deep-Learning-Aufgabe
  • Unterstützt den Einsatz auf gängigen CPU- und GPU-Maschinen
  • Benchmarking der Eignung Ihres Modells auf verschiedenen Hardware-Hosts und Cloud-Anbietern
  • Bereitet hochgeladene Modelle für die Bereitstellung, Inferenz und den Einsatz vor

Wie Sie gerade gesehen haben, können Sie die Leistung eines YOLOv5-Modells in insgesamt 15 Minuten verdoppeln. Die Deci-Plattform ist super einfach und intuitiv zu bedienen.

Haben Sie Fragen? Treten Sie unserer Gemeinschaft bei und stellen Sie Ihre Frage noch heute!

Lassen Sie uns gemeinsam die Zukunft
der KI gestalten!

Beginnen Sie Ihre Reise in die Zukunft des maschinellen Lernens

Kostenloser Start
Link in die Zwischenablage kopiert