Licencia YOLO
Integraciones

Despliega Ultralytics YOLOv5 con DeepSparse de Neural Magic para obtener en CPU un rendimiento propio de una GPU

Despliega Ultralytics YOLOv5 con DeepSparse de Neural Magic para obtener inferencia en CPU con un rendimiento propio de una GPU mediante modelos dispersos y cuantizados, con ejemplos de código y pruebas de rendimiento.

Nuvola LadiNuvola Ladi7 min de lectura
Despliegue de Ultralytics YOLOv5 con DeepSparse de Neural Magic en CPU

¿Quieres acelerar el entrenamiento y el despliegue de tus modelos YOLOv5? Te presentamos a nuestro nuevo socio, Neural Magic. Como Neural Magic ofrece herramientas de software que priorizan el máximo rendimiento de los modelos y la simplicidad de los flujos de trabajo, es natural que nos hayamos unido para mejorar aún más el proceso de despliegue de YOLOv5.

Actualización: Red Hat adquirió Neural Magic en enero de 2025 y desde entonces ha dejado de mantener las versiones comunitarias de DeepSparse, SparseML y SparseZoo. Los pasos que aparecen a continuación se conservan como referencia; consulta la guía de YOLOv5 DeepSparse enlazada más arriba para conocer el estado actual.

DeepSparse es el entorno de ejecución de inferencia de CPU de Neural Magic, que aprovecha la dispersión y la aritmética de baja precisión en las redes neuronales para ofrecer un rendimiento excepcional en hardware estándar. Por ejemplo, en comparación con la referencia de ONNX Runtime, DeepSparse ofrece una aceleración de 5,8 veces para YOLOv5s en el mismo equipo.

Comparación del rendimiento de Ultralytics YOLOv5 con DeepSparse

Por primera vez, tus cargas de trabajo de aprendizaje profundo pueden satisfacer las exigencias de rendimiento de los entornos de producción sin la complejidad ni los costes de los aceleradores de hardware. En pocas palabras, DeepSparse te ofrece el rendimiento de las GPU y la sencillez del software:

  1. Implementaciones flexibles: Ejecuta tus cargas de trabajo de forma uniforme en la nube, en centros de datos y en el edge, con cualquier proveedor de hardware.
  2. Escalabilidad ilimitada: Escala horizontalmente con Kubernetes estándar, verticalmente hasta cientos de núcleos o con una abstracción total mediante una arquitectura sin servidor.
  3. Integración sencilla: Utiliza API claras para integrar tu modelo en una aplicación y supervisarlo en producción.

Consigue un rendimiento de clase GPU en CPU estándar#

DeepSparse aprovecha la dispersión de los modelos para aumentar el rendimiento.

La reducción de la dispersión mediante poda y cuantización permite reducir en órdenes de magnitud el tamaño y la capacidad de cálculo necesarios para ejecutar una red, a la vez que se mantiene una gran precisión. DeepSparse tiene en cuenta la dispersión y omite las operaciones de multiplicación y suma con ceros, lo que reduce la cantidad de cálculo en una pasada hacia delante. Como el cálculo disperso está limitado por la memoria, DeepSparse ejecuta la red en profundidad y divide el problema en columnas de tensores, es decir, franjas verticales de cálculo que caben en la caché.

DeepSparse y la red Ultralytics YOLOv5

Las redes dispersas con cálculo comprimido, ejecutadas por capas en la caché, permiten que DeepSparse ofrezca un rendimiento de nivel GPU en CPU.

Crea una versión dispersa de Ultralytics YOLOv5 entrenada con datos personalizados#

El repositorio de modelos de código abierto SparseZoo, de Neural Magic, contiene puntos de control preprocesados para lograr dispersión de cada modelo YOLOv5. Con SparseML, integrado con Ultralytics, puedes ajustar un punto de control disperso a tus datos con un único comando CLI.

Implementa Ultralytics YOLOv5 con DeepSparse#

Instala DeepSparse#

Ejecuta lo siguiente para instalar DeepSparse. Te recomendamos usar un entorno virtual con Python.

pip install deepsparse[server,yolo,onnxruntime]

Consigue un archivo ONNX#

DeepSparse acepta un modelo en formato ONNX, que se puede proporcionar como:

  • Una ruta local a un modelo ONNX
  • Un identificador de SparseZoo que señala un modelo en SparseZoo

Compararemos el YOLOv5s denso estándar con el YOLOv5s podado y cuantizado, identificado por los siguientes identificadores de SparseZoo:

zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none

Implementa un modelo#

DeepSparse ofrece API prácticas para integrar tu modelo en una aplicación.

Para probar los ejemplos de implementación que aparecen a continuación, descarga una imagen de muestra para el ejemplo y guárdala como basilica.jpg con el siguiente comando:

wget -O basilica.jpg https://raw.githubusercontent.com/neuralmagic/deepsparse/main/src/deepsparse/yolo/sample_images/basilica.jpg

API de Python#

Las canalizaciones integran el preprocesamiento y el posprocesamiento de la salida con el motor de ejecución, y ofrecen una interfaz clara para añadir DeepSparse a una aplicación. La integración de DeepSparse con Ultralytics incluye una canalización lista para usar que acepta imágenes sin procesar y devuelve los cuadros delimitadores.

Crea una canalización y ejecuta la inferencia:

from deepsparse import Pipeline

# lista de imágenes en el sistema de archivos local
images = ["basilica.jpg"]

# crear canalización
model_stub = "zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none"
yolo_pipeline = Pipeline.create(
    task="yolo",
    model_path=model_stub,
)

# ejecutar inferencia en las imágenes y recibir cuadros delimitadores + clases
pipeline_outputs = yolo_pipeline(images=images, iou_thres=0.6, conf_thres=0.001)
print(pipeline_outputs)

Si ejecutas el programa en la nube, puede que recibas un error indicando que OpenCV no encuentra libGL.so.1. Ejecuta el siguiente comando en Ubuntu para instalarlo:

apt-get install libgl1-mesa-glx

Servidor HTTP#

DeepSparse Server se ejecuta sobre el popular framework web FastAPI y el servidor web Uvicorn. Con un solo comando CLI, puedes configurar fácilmente un endpoint de servicio de modelos con DeepSparse. Server admite cualquier canalización de DeepSparse, incluida la detección de objetos con Ultralytics YOLOv5, lo que te permite enviar imágenes sin procesar al endpoint y recibir los cuadros delimitadores.

Inicia Server con YOLOv5s podado y cuantizado:

deepsparse.server \
  --task yolo \
  --model_path zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none

Ejemplo de solicitud con el paquete requests de Python:

import requests, json

# lista de imágenes para la inferencia (archivos locales en el lado del cliente)
path = ['basilica.jpg']
files = [('request', open(img, 'rb')) for img in path]

# enviar solicitud por HTTP al endpoint /predict/from_files
url = 'http://0.0.0.0:5543/predict/from_files'
resp = requests.post(url=url, files=files)

# la respuesta se devuelve en JSON
annotations = json.loads(resp.text)  # diccionario de resultados de anotación
bounding_boxes = annotations["boxes"]
labels = annotations["labels"]

CLI de anotación#

También puedes usar el comando annotate para que el motor guarde una foto anotada en el disco. ¡Prueba --source 0 para anotar la señal de vídeo de tu webcam en directo!

deepsparse.object_detection.annotate --model_filepath zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none --source basilica.jpg

Al ejecutar el comando anterior, se creará una carpeta annotation-results y se guardará la imagen anotada dentro.

Basílica anotada con Ultralytics YOLOv5

Rendimiento en pruebas de referencia#

Con el script de pruebas de rendimiento de DeepSparse, compararemos el rendimiento de DeepSparse con el de ONNX Runtime en YOLOv5s.

Las pruebas de rendimiento se ejecutaron en una instancia AWS c6i.8xlarge (16 núcleos).

Comparación del rendimiento con lotes de 32#

Referencia de ONNX Runtime#

Con un lote de 32, ONNX Runtime procesa 42 imágenes/s con el YOLOv5s denso estándar:

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 32 -nstreams 1 -e onnxruntime

Ruta del modelo original: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none Tamaño del lote: 32 Escenario: sync Rendimiento (elementos/s): 41.9025

Rendimiento de DeepSparse con modelos densos#

Aunque DeepSparse ofrece su mejor rendimiento con modelos dispersos optimizados, también funciona bien con el YOLOv5s denso estándar.

Con un lote de 32, DeepSparse procesa 70 imágenes/s con el YOLOv5s denso estándar: ¡una mejora del rendimiento de 1,7x con respecto a ORT!

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 32 -nstreams 1

Ruta del modelo original: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none Tamaño del lote: 32 Escenario: sync Rendimiento (elementos/s): 69.5546

Rendimiento de DeepSparse con modelos dispersos#

Cuando se aplica dispersión al modelo, la mejora del rendimiento de DeepSparse con respecto a ONNX Runtime es aún mayor.

Con un lote de 32, DeepSparse procesa 241 imágenes/s con el YOLOv5s podado y cuantizado: ¡una mejora del rendimiento de 5,8x con respecto a ORT!

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none -s sync -b 32 -nstreams 1

Ruta del modelo original: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none Tamaño del lote: 32 Escenario: sync Rendimiento (elementos/s): 241.2452

Comparación del rendimiento con lotes de 1#

DeepSparse también puede ofrecer una mejora de velocidad con respecto a ONNX Runtime en el escenario de lote 1, sensible a la latencia.

Referencia de ONNX Runtime#

Con un lote de 1, ONNX Runtime procesa 48 imágenes/s con el YOLOv5s denso estándar.

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 1 -nstreams 1 -e onnxruntime

Ruta del modelo original: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none Tamaño del lote: 1 Escenario: sync Rendimiento (elementos/s): 48.0921

Rendimiento de DeepSparse con modelos dispersos#

Cuando se aplica dispersión al modelo, la mejora del rendimiento de DeepSparse con respecto a ONNX Runtime es aún mayor.

Con un lote de 1, DeepSparse procesa 135 imágenes/s con el YOLOv5s podado y cuantizado: ¡una mejora del rendimiento de 2,8x con respecto a ONNX Runtime!

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none -s sync -b 1 -nstreams 1

Ruta del modelo original: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none Tamaño del lote: 1 Escenario: sync Rendimiento (elementos/s): 134.9468

Como las instancias c6i.8xlarge cuentan con instrucciones VNNI, el rendimiento de DeepSparse puede aumentarse aún más si se podan los pesos en bloques de 4.

Con un lote de 1, DeepSparse procesa 180 elementos/s con un YOLOv5s podado y cuantizado en bloques de 4: ¡una mejora del rendimiento de 3,7x con respecto a ONNX Runtime!

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned35_quant-none-vnni -s sync -b 1 -nstreams 1

Ruta del modelo original: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned35_quant-none-vnni Tamaño del lote: 1 Escenario: sync Rendimiento (elementos/s): 179.7375

¡Y listo! Ya puedes optimizar el despliegue de YOLOv5 con DeepSparse.

Empieza a usar Ultralytics YOLOv5 y DeepSparse#

Para ponerte en contacto con nosotros, únete a nuestra comunidad y envíanos tus preguntas y comentarios. Echa un vistazo al repositorio de Ultralytics YOLOv5 y a la documentación completa de Neural Magic para implementar YOLOv5.

En Ultralytics, colaboramos comercialmente con otras startups para financiar la investigación y el desarrollo de nuestras fantásticas herramientas de código abierto, como YOLOv5, y mantenerlas gratuitas para todo el mundo. Este artículo puede incluir enlaces de afiliados a esas empresas.

Escrito por

Nuvola Ladi
Nuvola Ladi

Responsable de contenidos digitales · Ultralytics

Nuvola Ladi es responsable de contenidos digitales en Ultralytics, donde crea contenido sobre IA visual y Ultralytics YOLO, y representa a la empresa en eventos del sector como PyTorch Conference 2025. Reside en España y tiene un máster en Medios Visuales y Digitales por IE University. Antes de incorporarse a Ultralytics, ocupó puestos en organizaciones como XVA Gallery & Hotel y Rolex.

Comentarios

Haz una pregunta, comparte tus resultados o ayuda a otra persona.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático