CPU에서 GPU급 성능을 제공하는 Neural Magic의 DeepSparse를 통해 Ultralytics YOLOv5 모델 훈련 및 배포를 강화하세요. 더 빠르고 확장 가능한 YOLOv5 배포를 달성하세요.
CPU에서 GPU급 성능을 제공하는 Neural Magic의 DeepSparse를 통해 Ultralytics YOLOv5 모델 훈련 및 배포를 강화하세요. 더 빠르고 확장 가능한 YOLOv5 배포를 달성하세요.
YOLOv5 모델의 교육과 배포를 가속화하고 싶으신가요? 유니티가 도와드리겠습니다! 새로운 파트너인 Neural Magic을 소개합니다. Neural Magic은 최고의 모델 성능과 워크플로우 간소화를 강조하는 소프트웨어 도구를 제공하는 만큼, YOLOv5 배포 프로세스를 더욱 개선할 수 있는 솔루션을 제공하기 위해 함께 협력하게 된 것은 당연한 일입니다.
DeepSparse는 Neural Magic의 CPU 추론 런타임으로, 신경망 내의 희소성과 저정밀 연산을 활용하여 일반 하드웨어에서 탁월한 성능을 제공합니다. 예를 들어, 동일한 컴퓨터에서 실행되는 YOLOv5의 경우 ONNX 런타임 기준과 비교했을 때 DeepSparse는 5.8배의 속도 향상을 제공합니다!
처음으로 하드웨어 가속기의 복잡성과 비용 없이도 딥 러닝 워크로드가 프로덕션의 성능 요구 사항을 충족할 수 있게 되었습니다. 간단히 말해, DeepSparse는 GPU의 성능과 소프트웨어의 단순성을 제공합니다:
DeepSparse는 모델 희소성을 활용하여 성능 속도를 높입니다.
가지치기와 정량화를 통한 스파스화는 높은 정확도를 유지하면서 네트워크를 실행하는 데 필요한 크기와 연산량을 대폭 줄일 수 있습니다. DeepSparse는 희소성을 인식하여 곱하기 덧셈을 0으로 건너뛰고 포워드 패스에서 계산량을 줄입니다. 희소성 계산은 메모리에 제한을 받기 때문에 DeepSparse는 네트워크를 깊이 단위로 실행하여 문제를 캐시에 맞는 수직 줄무늬 계산인 텐서 컬럼으로 분할합니다.
캐시에서 깊이 단위로 실행되는 압축 연산이 포함된 스파스 네트워크를 통해 DeepSparse는 CPU에서 GPU급 성능을 제공할 수 있습니다!
Neural Magic의 오픈 소스 모델 저장소인 SparseZoo에는 각 YOLOv5 모델에 대해 미리 스파스화된 체크포인트가 포함되어 있습니다. Ultralytics와 통합된 SparseML을 사용하면 단일 CLI 명령으로 데이터에 대한 스파스 체크포인트를 미세 조정할 수 있습니다.
다음을 실행하여 DeepSparse를 설치합니다. Python이 설치된 가상 환경을 사용하는 것이 좋습니다.
pip install deepsparse[server,yolo,onnxruntime]
DeepSparse는 ONNX 형식의 모델을 받아들이며, 다음 중 하나로 전달됩니다:
표준 고밀도 YOLOv5를 다음 SparseZoo 스텁으로 식별되는 가지치기된 정량화된 YOLOv5와 비교하겠습니다:
동물원:CV/감지/yolov5-s/파이토치/울트라틱스/코코/베이스-없음
동물원:CV/감지/와이로브5-s/파이토치/울트라틱스/코코/프룬드65_퀀트-없음
DeepSparse는 모델을 애플리케이션에 통합하기 위한 편리한 API를 제공합니다.
아래 배포 예제를 사용해 보려면 예제의 샘플 이미지를 내려받고 다음 명령어를 사용하여 basilica.jpg로 저장합니다:
wget -O basilica.jpg https://raw.githubusercontent.com/neuralmagic/deepsparse/main/src/deepsparse/yolo/sample_images/basilica.jpg
파이프라인은 전처리와 출력 후처리를 런타임에 래핑하여 애플리케이션에 DeepSparse를 추가할 수 있는 깔끔한 인터페이스를 제공합니다. DeepSparse-Ultralytics 통합에는 원시 이미지를 받아들이고 경계 상자를 출력하는 기본 파이프라인이 포함되어 있습니다.
파이프라인을 만들고 추론을 실행합니다:
딥스파스 가져오기 파이프라인에서
# 로컬 파일 시스템의 이미지 목록
images = ["basilica.jpg"]
# 생성 파이프라인
model_stub = "zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none"
yolo_pipeline = Pipeline.create(
task="yolo",
model_path=model_stub,
)
# 이미지에서 추론을 실행하고, 바운딩 박스 + 클래스를 수신
pipeline_outputs = yolo_pipeline(images=images, iou_thres=0.6, conf_thres=0.001)
print(pipeline_outputs)
클라우드에서 실행하는 경우, open-cv가 libGL.so.1을 찾을 수 없다는 오류가 발생할 수 있습니다. 우분투에서 다음을 실행하면 설치됩니다:
apt-get 설치 libgl1-mesa-glx
DeepSparse Server는 널리 사용되는 FastAPI 웹 프레임워크와 Uvicorn 웹 서버 위에서 실행됩니다. 단 한 번의 CLI 명령으로 모델 서비스 엔드포인트를 쉽게 설정할 수 있습니다. 이 서버는 YOLOv5를 사용한 객체 감지를 포함해 DeepSparse의 모든 파이프라인을 지원하므로 원시 이미지를 엔드포인트로 전송하고 경계 상자를 수신할 수 있습니다.
정리된 정량화된 YOLOv5로 서버를 스핀업합니다:
deepsparse.server \
--task yolo \
--model_path zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
파이썬의 요청 패키지를 사용한 요청 예제입니다:
가져오기 요청, JSON
# 추론할 이미지 목록(클라이언트 측의 로컬 파일)
path = ['basilica.jpg']
files = [('request', open(img, 'rb')) for img in path]
# HTTP를 통해 /predict/from_files 엔드포인트로 요청 보내기
url = 'http://0.0.0.0:5543/predict/from_files'
resp = requests.post(url=url, files=파일)
# 응답은 JSON으로 반환됩니다
annotations = json.loads(resp.text) # 어노테이션 결과의 사전
bounding_boxes = annotations["boxes"]
labels = annotations["labels"]
주석 달기 명령을 사용하여 엔진이 주석이 달린 사진을 디스크에 저장하도록 할 수도 있습니다. 소스 0을 사용해 라이브 웹캠 피드에 주석을 달아 보세요!
deepsparse.object_detection.annotate --model_filepath zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none --source basilica.jpg
위 명령을 실행하면 주석 결과 폴더가 생성되고 주석이 달린 이미지가 그 안에 저장됩니다.
DeepSparse의 벤치마킹 스크립트를 사용하여 YOLOv5에서 DeepSparse의 처리량과 ONNX Runtime의 처리량을 비교해 보겠습니다.
벤치마크는 AWS c6i.8xlarge 인스턴스(16코어)에서 실행되었습니다.
배치 32에서 ONNX 런타임은 표준 고밀도 YOLOv5를 사용하여 초당 42개의 이미지를 처리합니다:
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 32 -nstreams 1 -e onnxruntime
> 원본 모델 경로: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> 배치 크기: 32
> 시나리오: 동기화
> 처리량(항목/초): 41.9025
딥스페이스는 최적화된 스파스 모델에서 최고의 성능을 제공하지만, 표준 고밀도 YOLOv5에서도 우수한 성능을 발휘합니다.
배치 32에서 딥스페이스는 표준 고밀도 YOLOv5s로 초당 70개의 이미지를 처리하며, 이는ORT보다 1.7배 향상된 성능입니다!
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 32 -nstreams 1
> 원본 모델 경로: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> 배치 크기: 32
> 시나리오: 동기화
> 처리량(항목/초): 69.5546
모델에 희소성을 적용할 경우, ONNX 런타임에 비해 DeepSparse의 성능 향상 효과는 더욱 강력해집니다.
배치 32에서 딥스페이스는 프루닝된 정량화된 YOLOv5s로 초당 241개의 이미지를 달성하며, 이는ORT보다 5.8배 향상된 성능입니다!
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none -s sync -b 32 -nstreams 1
> 원본 모델 경로: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
> 배치 크기: 32
> 시나리오: 동기화
> 처리량(항목/초): 241.2452
또한 딥스페이스는 지연 시간에 민감한 배치 1 시나리오의 경우 ONNX 런타임보다 속도를 향상시킬 수 있습니다.
배치 1에서 ONNX 런타임은 표준 고밀도 YOLOv5를 사용하여 초당 48개의 이미지를 구현합니다.
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 1 -nstreams 1 -e onnxruntime
> 원본 모델 경로: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> 배치 크기: 1
> 시나리오: 동기화
> 처리량(항목/초): 48.0921
모델에 희소성을 적용할 경우, ONNX 런타임에 비해 DeepSparse의 성능 향상 효과는 더욱 강력해집니다.
배치 1에서 딥스페이스는 프루닝된 정량화된 YOLOv5s로 초당 135개의 이미지를 달성하여ONNX 런타임보다 2.8배 향상된 성능을 제공합니다!
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none -s sync -b 32 -nstreams 1
> 원본 모델 경로: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
> 배치 크기: 1
> 시나리오: 동기화
> 처리량(항목/초): 134.9468
c6i.8xlarge 인스턴스에는 VNNI 명령어가 있으므로 가중치를 4블록으로 잘라내면 DeepSparse의 처리량을 더 늘릴 수 있습니다.
배치 1에서 딥스페이스는 4블록 프루닝된 정량화된 YOLOv5s로 초당 180개의 항목을 달성하여ONNX 런타임 대비 3.7배의 성능 향상을 달성했습니다!
deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned35_quant-none-vnni -s sync -b 1 -nstreams 1
> 원본 모델 경로: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned35_quant-none-vnni
> 배치 크기: 1
> 시나리오: 동기화
> 처리량(항목/초): 179.7375
그리고 짜잔! 이제 DeepSparse로 YOLOv5 배포를 최적화할 준비가 되었습니다.
저희와 소통하려면 커뮤니티에 가입하여 질문과 의견을 남겨 주세요. YOLOv5 배포를 위한 Ultralytics YOLOv5 리포지토리와 전체 Neural Magic 설명서를 확인하세요.
저희는 다른 스타트업과 상업적 파트너십을 맺고 YOLOv5와 같은 멋진 오픈 소스 도구의 연구 및 개발 자금을 지원하여 모든 사람이 무료로 사용할 수 있도록 하고 있습니다. 이 문서에는 해당 파트너의 제휴 링크가 포함되어 있을 수 있습니다.
.webp)
