5 Ocak 2023
CPU'larda GPU sınıfı performans için Ultralytics YOLOv5 model eğitimini ve dağıtımını Neural Magic'in DeepSparse ile güçlendirin. Daha hızlı, ölçeklenebilir YOLOv5 dağıtımları elde edin.
YOLOv5 modellerinizin eğitimini ve dağıtımını hızlandırmak mı istiyorsunuz? Sizi teminat altına aldık! Karşınızda en yeni ortağımız Neural Magic. Neural Magic, en yüksek model performansını ve iş akışı basitliğini vurgulayan yazılım araçları sağladığından, YOLOv5 dağıtım sürecini daha da iyi hale getirecek bir çözüm sunmak için bir araya gelmemiz çok doğal.
DeepSparse, Neural Magic'in sinir ağlarındaki seyreklik ve düşük hassasiyetli aritmetikten yararlanarak emtia donanımında olağanüstü performans sunan CPU çıkarım çalışma zamanıdır. Örneğin, ONNX Runtime taban çizgisine kıyasla DeepSparse, aynı makinede çalışan YOLOv5'ler için 5,8 kat hız artışı sunar!
İlk kez, derin öğrenme iş yükleriniz, donanım hızlandırıcılarının karmaşıklığı ve maliyetleri olmadan üretimin performans taleplerini karşılayabilir. Basitçe söylemek gerekirse, DeepSparse size GPU'ların performansını ve yazılımın basitliğini sunar:
DeepSparse, performans hızını artırmak için model seyrekliğinden yararlanır.
Budama ve niceleme yoluyla seyrekleştirme, yüksek doğruluğu korurken bir ağı yürütmek için gereken boyut ve hesaplamada büyüklük sırasına göre azalma sağlar. DeepSparse seyrekliğin farkındadır, sıfırla çarpma eklemelerini atlar ve bir ileri geçişte hesaplama miktarını küçültür. Seyrek hesaplama belleğe bağlı olduğundan, DeepSparse ağı derinlemesine yürütür ve sorunu önbelleğe sığan dikey hesaplama şeritleri olan Tensör Sütunlarına böler.
Önbellekte derinlik bazında yürütülen sıkıştırılmış hesaplamaya sahip seyrek ağlar, DeepSparse'ın CPU'larda GPU sınıfı performans sunmasına olanak tanır!
Neural Magic'in açık kaynaklı model deposu SparseZoo, her YOLOv5 modelinin önceden ayrıştırılmış kontrol noktalarını içerir. Ultralytics ile entegre olan SparseML'yi kullanarak, tek bir CLI komutuyla verilerinize seyrek bir kontrol noktası ayarlayabilirsiniz.
DeepSparse'ı yüklemek için aşağıdakileri çalıştırın. Python ile sanal bir ortam kullanmanızı öneririz.
pip deepsparse[server,yolo,onnxruntime] yükleyin
DeepSparse, ONNX biçiminde bir modeli kabul eder, ya olarak geçirilir:
Standart yoğun YOLOv5'leri aşağıdaki SparseZoo taslaklarıyla tanımlanan budanmış-kuvantize YOLOv5'lerle karşılaştıracağız:
zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
DeepSparse, modelinizi bir uygulamaya entegre etmek için kullanışlı API'ler sunar.
Aşağıdaki dağıtım örneklerini denemek için, örnek için örnek bir görüntü çekin ve aşağıdaki komutla basilica.jpg olarak kaydedin:
wget -O basilica.jpg https://raw.githubusercontent.com/neuralmagic/deepsparse/main/src/deepsparse/yolo/sample_images/basilica.jpg
Boru hatları, ön işleme ve çıktı son işlemeyi çalışma zamanının etrafına sararak DeepSparse'ı bir uygulamaya eklemek için temiz bir arayüz sağlar. DeepSparse-Ultralytics entegrasyonu, ham görüntüleri kabul eden ve sınırlayıcı kutuları çıkaran kullanıma hazır bir Ardışık Düzen içerir.
Bir Boru Hattı oluşturun ve çıkarımı çalıştırın:
from deepsparse import Pipeline
# yerel dosya sistemindeki resimlerin listesi
images = ["basilica.jpg"]
# Pipeline oluşturun
model_stub = "zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none"
yolo_pipeline = Pipeline.create(
task="yolo",
model_path=model_stub,
)
# görüntüler üzerinde çıkarım çalıştırın, sınırlayıcı kutuları + sınıfları alın
pipeline_outputs = yolo_pipeline(images=images, iou_thres=0.6, conf_thres=0.001)
print(pipeline_outputs)
Eğer bulutta çalışıyorsanız, open-cv'nin libGL.so.1'i bulamadığına dair bir hata alabilirsiniz. Ubuntu'da aşağıdakileri çalıştırmak onu yükler:
apt-get install libgl1-mesa-glx
DeepSparse Server, popüler FastAPI web çerçevesi ve Uvicorn web sunucusu üzerinde çalışır. Sadece tek bir CLI komutuyla, DeepSparse ile kolayca bir model hizmet uç noktası kurabilirsiniz. Sunucu, YOLOv5 ile nesne algılama da dahil olmak üzere DeepSparse'tan herhangi bir Pipeline'ı destekler ve uç noktaya ham görüntüler göndermenizi ve sınırlayıcı kutuları almanızı sağlar.
Sunucuyu budanmış-kuvantize edilmiş YOLOv5'lerle çalıştırın:
deepsparse.server \
--task yolo \
--model_path zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
Python'un requests paketini kullanan örnek bir istek:
istekleri içe aktar, json
# çıkarım için resimlerin listesi (istemci tarafında yerel dosyalar)
path = ['basilica.jpg']
files = [('request', open(img, 'rb')) for img in path]
# HTTP üzerinden /predict/from_files uç noktasına istek gönderme
url = 'http://0.0.0.0:5543/predict/from_files'
resp = requests.post(url=url, files=files)
# yanıt JSON olarak döndürülür
annotations = json.loads(resp.text) # açıklama sonuçları sözlüğü
bounding_boxes = annotations["boxes"]
labels = annotations["labels"]
Motorun açıklamalı bir fotoğrafı diske kaydetmesini sağlamak için annotate komutunu da kullanabilirsiniz. Canlı web kamerası akışınıza açıklama eklemek için --source 0 komutunu deneyin!
deepsparse.object_detection.annotate --model_filepath zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none --source basilica.jpg
Yukarıdaki komutu çalıştırmak bir annotation-results klasörü oluşturacak ve açıklamalı görüntüyü içine kaydedecektir.
DeepSparse'ın kıyaslama betiğini kullanarak DeepSparse'ın verimini ONNX Runtime'ın YOLOv5'lerdeki verimiyle karşılaştıracağız.
Kıyaslamalar bir AWS c6i.8xlarge örneği (16 çekirdek) üzerinde çalıştırılmıştır.
Toplu iş 32'de ONNX Runtime, standart yoğun YOLOv5'lerle 42 görüntü/sn'ye ulaşır:
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 32 -nstreams 1 -e onnxruntime
> Orijinal Model Yolu: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> Toplu İş Boyutu: 32
> Senaryo: sync
> Verim (öğe/sn): 41.9025
DeepSparse en iyi performansını optimize edilmiş seyrek modellerle sunarken, standart yoğun YOLOv5'lerle de iyi performans gösterir.
Yığın 32'de DeepSparse, standart yoğun YOLOv5'lerle 70 görüntü/sn'ye ulaşıyor -ORT'ye göre 1,7 kat performans artışı!
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 32 -nstreams 1
> Orijinal Model Yolu: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> Toplu İş Boyutu: 32
> Senaryo: sync
> Verim (öğe/sn): 69.5546
Modele seyreklik uygulandığında, DeepSparse'ın ONNX Runtime'a göre performans kazanımları daha da güçlüdür.
Yığın 32'de DeepSparse, budanmış-kuvantize edilmiş YOLOv5'lerle 241 görüntü/sn'ye ulaşır; bu daORT'ye göre 5,8 kat performans artışı demektir!
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none -s sync -b 32 -nstreams 1
> Orijinal Model Yolu: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
> Toplu İş Boyutu: 32
> Senaryo: sync
> Verim (öğe/sn): 241.2452
DeepSparse ayrıca gecikmeye duyarlı, toplu iş 1 senaryosu için ONNX Çalışma Zamanı'na göre hız kazanabilmektedir.
Parti 1'de, ONNX Çalışma Zamanı standart, yoğun YOLOv5'lerle 48 görüntü/sn'ye ulaşır.
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 1 -nstreams 1 -e onnxruntime
> Orijinal Model Yolu: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> Toplu İş Boyutu: 1
> Senaryo: sync
> Verim (öğe/sn): 48.0921
Modele seyreklik uygulandığında, DeepSparse'ın ONNX Runtime'a göre performans kazanımları daha da güçlüdür.
Yığın 1'de DeepSparse, budanmış-kuvantize edilmiş YOLOv5'lerle 135 görüntü/sn'ye ulaşıyor; bu daONNX Çalışma Zamanına göre 2,8 kat performans artışı demek!
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none -s sync -b 32 -nstreams 1
> Orijinal Model Yolu: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
> Toplu İş Boyutu: 1
> Senaryo: sync
> Verim (öğe/sn): 134.9468
c6i.8xlarge örnekleri VNNI talimatlarına sahip olduğundan, ağırlıklar 4'lü bloklar halinde budanırsa DeepSparse'ın verimi daha da artırılabilir.
Yığın 1'de DeepSparse, 4 bloklu budanmış-kuvantize edilmiş YOLOv5'lerle 180 öğe/sn'ye ulaşarakONNX Runtime'a göre 3,7 kat performans artışı sağlar!
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned35_quant-none-vnni -s sync -b 1 -nstreams 1
> Orijinal Model Yolu: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned35_quant-none-vnni
> Toplu İş Boyutu: 1
> Senaryo: sync
> Verim (öğe/sn): 179.7375
Ve işte! DeepSparse ile YOLOv5 dağıtımınızı optimize etmeye hazırsınız.
Bizimle iletişime geçmek için topluluğumuza katılın ve sorularınızı ve yorumlarınızı bize bırakın. YOLOv5'i dağıtmak için Ultralytics YOLOv5 deposuna ve tam Neural Magic belgelerine göz atın.
Ultralytics'te, YOLOv5 gibi harika açık kaynaklı araçlarımızın araştırma ve geliştirmesini finanse etmemize yardımcı olmak ve bunları herkes için ücretsiz tutmak için ticari olarak diğer girişimlerle ortaklık yapıyoruz. Bu makale, bu ortaklara bağlı bağlantılar içerebilir.
.webp)
