Einsatz von Ultralytics YOLOv5 mit DeepSparse von Neural Magicfür Leistung GPU auf CPUs

Sie möchten die Schulung und den Einsatz Ihrer YOLOv5 Modelle beschleunigen? Wir haben das Richtige für Sie! Wir stellen Ihnen unseren neuesten Partner vor: Neural Magic. Da Neural Magic Software-Tools anbietet, die den Schwerpunkt auf höchste Modellleistung und einfache Arbeitsabläufe legen, ist es nur natürlich, dass wir uns zusammengetan haben, um eine Lösung anzubieten, die den YOLOv5 noch besser macht.

DeepSparse ist die CPU von Neural Magic, die die Vorteile der Sparsamkeit und der niedrigpräzisen Arithmetik in neuronalen Netzen nutzt, um eine außergewöhnliche Leistung auf Standardhardware zu bieten. Im Vergleich zur ONNX Runtime-Basisversion bietet DeepSparse beispielsweise eine 5,8-fache Beschleunigung für YOLOv5s, die auf demselben Rechner ausgeführt werden!

Zum ersten Mal können Ihre Deep-Learning-Workloads die Leistungsanforderungen der Produktion erfüllen, ohne die Komplexität und die Kosten von Hardwarebeschleunigern. Einfach ausgedrückt: DeepSparse bietet Ihnen die Leistung von GPUs und die Einfachheit von Software:

1. Flexible Bereitstellungen: Einheitliche Ausführung in Cloud-, Rechenzentrums- und Edge-Umgebungen mit jedem Hardwareanbieter
2. Unendliche Skalierbarkeit: Skalieren Sie mit Standard-Kubernetes, vertikal auf Hunderte von Kernen oder vollständig abstrahiert mit Serverless.
3. Einfache Integration: Verwenden Sie saubere APIs, um Ihr Modell in eine Anwendung zu integrieren und es in der Produktion zu überwachen.

Erzielen Sie GPU auf handelsüblichen CPUs

DeepSparse nutzt die Modellsparsität, um seine Leistungssteigerung zu erzielen.

Die Sparsifizierung durch Pruning und Quantisierung ermöglicht eine Verringerung der Größe und des Rechenaufwands für die Ausführung eines Netzes um Größenordnungen bei gleichbleibend hoher Genauigkeit. DeepSparse ist sparsamkeitsbewusst, überspringt die Multiplikation mit Null und reduziert den Rechenaufwand in einem Vorwärtsdurchlauf. Da Sparse-Berechnungen speichergebunden sind, führt DeepSparse das Netzwerk in der Tiefe aus und unterteilt das Problem in Tensor Columns, vertikale Berechnungsstreifen, die in den Cache passen.

Sparse-Netzwerke mit komprimierter Berechnung, die tiefenweise im Cache ausgeführt werden, ermöglichen DeepSparse eine Leistung GPU auf CPUs!

Erstellen einer spärlichen Version von YOLOv5 , die auf benutzerdefinierten Daten trainiert wurde

Das Open-Source-Modell-Repository von Neural Magic, SparseZoo, enthält vorgesparste Prüfpunkte für jedes YOLOv5 . Mit SparseML, das in Ultralytics integriert ist, können Sie einen Sparse-Checkpoint mit einem einzigen CLI auf Ihre Daten abstimmen.

Einsatz von YOLOv5 mit DeepSparse

DeepSparse installieren

Führen Sie den folgenden Befehl aus, um DeepSparse zu installieren. Wir empfehlen Ihnen, eine virtuelle Umgebung mit Python zu verwenden.

pip install deepsparse[serveryolo,onnxruntime]

Sammeln einer ONNX

DeepSparse akzeptiert ein Modell im ONNX , das entweder als:

• Ein lokaler Pfad zu einem ONNX
• Ein SparseZoo-Stub, der ein Modell in der SparseZoo identifiziert

Wir werden das standardmäßige dichte YOLOv5s mit dem gestutzten-quantisierten YOLOv5s vergleichen, das durch die folgenden SparseZoo-Stubs identifiziert wird:

zoo:ultralytics
zoo:ultralytics

Modell bereitstellen

DeepSparse bietet komfortable APIs für die Integration Ihres Modells in eine Anwendung.

Um die nachstehenden Einsatzbeispiele auszuprobieren, ziehen Sie ein Beispielbild für das Beispiel herunter und speichern es mit dem folgenden Befehl als basilica.jpg:

wget -O basilicabasilicajpg

Python

Pipelines umschließen die Vorverarbeitung und die Nachbearbeitung der Ausgabe um die Laufzeit herum und bieten eine saubere Schnittstelle für das Hinzufügen von DeepSparse zu einer Anwendung. Die Ultralytics umfasst eine sofort einsatzbereite Pipeline, die Rohbilder akzeptiert und die Bounding Boxes ausgibt.

Erstellen Sie eine Pipeline und führen Sie Inferenz aus:

from deepsparse import Pipeline

# Liste der Bilder im lokalen Dateisystem
images = [basilica.jpg"]

# Pipeline erstellen
model_stub = "zoo:ultralytics"
yolo_pipeline = Pipeline.create(
task=yolo",
model_path=model_stub,
)

# Inferenz auf Bilder ausführen, Bounding Boxen + Klassen erhalten
pipeline_outputs = yolo(images=images, iou_thres=0.6, conf_thres=0.001)
print(pipeline_outputs)

Wenn Sie in der Cloud arbeiten, erhalten Sie möglicherweise eine Fehlermeldung, dass Open-CV libGL.so.1 nicht finden kann. Die folgende Ausführung unter Ubuntu installiert es:

apt-get install libgl1-mesa-glx

HTTP-Server

DeepSparse Server läuft auf dem beliebten FastAPI Web-Framework und dem Uvicorn Webserver. Mit nur einem einzigen CLI können Sie ganz einfach einen Modellservice-Endpunkt mit DeepSparse einrichten. Der Server unterstützt jede Pipeline von DeepSparse, einschließlich der Objekterkennung mit YOLOv5, so dass Sie Rohbilder an den Endpunkt senden und die Bounding Boxen erhalten können.

Starten Sie den Server mit dem pruned-quantized YOLOv5s:

deepsparse.server \
--task yolo \
--model_path zoo:ultralytics

Eine Beispielanfrage, die das Python requests verwendet:

import requests, json

# Liste der Bilder für die Inferenz (lokale Dateien auf der Client-Seite)
path = [basilica.jpg']
files = [('request', open(img, 'rb')) for img in path]

# Anfrage über HTTP an den /predict/from_files-Endpunkt senden
url = 'http://0.0.0.0:5543/predict/from_files'
resp = requests.post(url=url, files=files)

# Antwort wird in JSON zurückgegeben
annotations = json.loads(resp.text) # Dictionary der Annotationsergebnisse
bounding_boxes = annotations["boxes"]
labels = annotations["labels"]

CLI annotieren

Sie können den Befehl annotate auch verwenden, damit die Engine ein annotiertes Foto auf der Festplatte speichert. Probieren Sie --source 0 aus, um Ihren Live-Webcam-Feed zu annotieren!

deepsparse.object_detection.annotate --model_filepath zoo:ultralytics--source basilica.jpg

Durch Ausführen des obigen Befehls wird ein Ordner mit Annotationsergebnissen erstellt und das annotierte Bild darin gespeichert.

Benchmark-Leistung

Mit Hilfe des DeepSparse-Benchmarking-Skripts werden wir den Durchsatz von DeepSparse mit dem Durchsatz von ONNX Runtime auf YOLOv5s vergleichen.

Die Benchmarks wurden auf einer AWS c6i.8xlarge-Instanz (16 Kerne) ausgeführt.

Performance-Vergleich Batch 32

ONNX

Bei Batch 32 erreicht ONNX Runtime 42 Bilder/Sek. mit den standardmäßigen dichten YOLOv5s:

deepsparse.benchmark zoo:ultralytics-s sync -b 32 -nstreams 1 -e onnxruntime

> Ursprünglicher Modellpfad: zoo:ultralytics
> Stapelgröße: 32
> Szenario: sync
> Durchsatz (Elemente/Sek): 41.9025

DeepSparse Dichte Leistung

Obwohl DeepSparse seine beste Leistung mit optimierten Sparse-Modellen bietet, funktioniert es auch gut mit dem Standard-Dense-YOLOv5s.

Bei Batch 32 erreicht DeepSparse 70 Bilder/Sek. mit dem Standard, dichten YOLOv5s – eine 1,7-fache Leistungssteigerung gegenüber ORT!

deepsparse.benchmark zoo:ultralytics-s sync -b 32 -nstreams 1

> Ursprünglicher Modellpfad: zoo:ultralytics
> Stapelgröße: 32
> Szenario: sync
> Durchsatz (Elemente/Sek): 69.5546

DeepSparse Sparse Leistung

Wenn Sparsity auf das Modell angewendet wird, sind die Leistungsgewinne von DeepSparse gegenüber ONNX Runtime noch größer.

Bei Batch 32 erreicht DeepSparse 241 Bilder/Sek. mit dem pruned-quantized YOLOv5s – eine 5,8-fache Leistungssteigerung gegenüber ORT!

deepsparse.benchmark zoo:ultralytics-s sync -b 32 -nstreams 1

> Ursprünglicher Modellpfad: zoo:ultralytics
> Stapelgröße: 32
> Szenario: sync
> Durchsatz (Elemente/Sek): 241.2452

Performance-Vergleich Batch 1

DeepSparse ist auch in der Lage, einen Geschwindigkeitszuwachs gegenüber ONNX Runtime für das latenzempfindliche Batch-1-Szenario zu erzielen.

ONNX

Bei Batch 1 erreicht ONNX Runtime 48 Bilder/Sek. mit den standardmäßigen, dichten YOLOv5s.

deepsparse.benchmark zoo:ultralytics-s sync -b 1 -nstreams 1 -e onnxruntime

> Ursprünglicher Modellpfad: zoo:ultralytics
> Stapelgröße: 1
> Szenario: sync
> Durchsatz (Elemente/Sek): 48.0921

DeepSparse Sparse Leistung

Wenn Sparsity auf das Modell angewendet wird, sind die Leistungsgewinne von DeepSparse gegenüber ONNX Runtime noch größer.

Bei Batch 1 erreicht DeepSparse 135 Bilder/Sek. mit dem quantisierten YOLOv5 - eine2,8-fache Leistungssteigerung gegenüber ONNX Runtime!

deepsparse.benchmark zoo:ultralytics-s sync -b 32 -nstreams 1

> Ursprünglicher Modellpfad: zoo:ultralytics
> Batch-Größe: 1
> Szenario: sync
> Durchsatz (Elemente/Sek.): 134.9468

Da c6i.8xlarge-Instanzen über VNNI-Anweisungen verfügen, kann der Durchsatz von DeepSparse weiter gesteigert werden, wenn Gewichte in 4er-Blöcken reduziert werden.

Bei Batch 1 erreicht DeepSparse 180 Items/Sek mit einem 4-Block pruned-quantized YOLOv5 - ein3,7-facher Leistungsgewinn gegenüber ONNX Runtime!

deepsparse.benchmark zoo:ultralytics-s sync -b 1 -nstreams 1

> Ursprünglicher Modellpfad: zoo:ultralytics
> Stapelgröße: 1
> Szenario: sync
> Durchsatz (Elemente/Sek): 179.7375

Und voila! Sie sind bereit, Ihren YOLOv5 mit DeepSparse zu optimieren.

Starten Sie mit YOLOv5 und DeepSparse

Um mit uns in Kontakt zu treten, treten Sie unserer Community bei und hinterlassen Sie uns Ihre Fragen und Kommentare. Sehen Sie sich das Ultralytics YOLOv5 und die vollständige Neural Magic für den Einsatz von YOLOv5 an.

‍

Bei Ultralytics gehen wir kommerzielle Partnerschaften mit anderen Start-ups ein, um die Forschung und Entwicklung unserer großartigen Open-Source-Tools wie YOLOv5 zu finanzieren, damit sie für alle kostenlos bleiben. Dieser Artikel kann Affiliate-Links zu diesen Partnern enthalten.