Compilación y cuantización de Ultralytics YOLOv5 para mejorar el rendimiento con Deci

En Ultralytics colaboramos comercialmente con otras startups para financiar la investigación y el desarrollo de nuestras herramientas de código abierto, como YOLOv5, y mantenerlas gratuitas para todo el mundo. Este artículo puede contener enlaces de afiliados a esas empresas colaboradoras.

Actualización: NVIDIA adquirió Deci en 2024 y deci.ai ahora redirige a NVIDIA. Los pasos sobre la plataforma Deci se mantienen como referencia.

La plataforma Deci incluye herramientas gratuitas para gestionar, optimizar e implementar fácilmente tus modelos YOLOv5 en cualquier entorno de producción. Deci es compatible con todos los frameworks populares de aprendizaje profundo, como TensorFlow, PyTorch, Keras y ONNX. Solo necesitas nuestra plataforma web o nuestro cliente Python para ejecutarlo desde tu código.

¿Por qué Deci?#

Puedes utilizar Deci no solo para exportar el modelo, sino también para podarlo y aplicar cuantización.

Deci ofrece una interfaz práctica para exportar en cualquier formato y comparar el rendimiento de los modelos originales y convertidos. Los usuarios pueden optimizar aún más sus modelos mediante la cuantización.

Con Deci puedes:#

Mejora el rendimiento de inferencia hasta 10 veces#

Compila y cuantiza tus modelos automáticamente, y evalúa distintas configuraciones de producción para reducir la latencia, aumentar el rendimiento y disminuir el tamaño del modelo y el consumo de memoria en tu hardware.

Encuentra el mejor hardware de inferencia para tu aplicación#

Evalúa el rendimiento de tu modelo en distintos dispositivos de hardware, incluidos los de borde, con un solo clic. Evita tener que configurar y probar manualmente varias configuraciones de hardware y producción.

Despliega con unas pocas líneas de código#

Aprovecha el motor de inferencia de Deci basado en Python. Es compatible con varios marcos y tipos de hardware.

Configuración inicial#

Paso 1#

Abre tu cuenta gratuita.

Paso 2#

Para empezar a optimizar tu modelo YOLOv5 preentrenado, tendrás que convertirlo al formato ONNX. Consulta el tutorial de exportación de YOLOv5 para saber cómo convertir tu modelo al formato ONNX.

Paso 3#

Ve a la pestaña «Lab» y haz clic en el botón «New Model», situado en la parte superior derecha de la pantalla, para cargar tu modelo ONNX de YOLOv5.

Sigue los pasos del asistente de carga del modelo para seleccionar el hardware de destino, así como el tamaño del lote y el nivel de cuantización deseados para compilar el modelo.

Cuando hayas introducido la información correspondiente, haz clic en «Start». La plataforma Deci optimizará automáticamente el tiempo de ejecución de tu modelo Ultralytics YOLOv5 para el hardware que hayas seleccionado y realizará pruebas de rendimiento de tu modelo en distintos tipos de hardware. Este proceso dura aproximadamente 10 minutos.

Cuando termine, aparecerá una fila nueva en la pantalla, debajo del modelo de referencia que habías cargado. Ahí podrás ver la versión optimizada de tu modelo Ultralytics YOLOv5 preentrenado.

¿Qué viene ahora?#

A continuación, puedes descargar tu modelo optimizado haciendo clic en el botón «Deploy».

A continuación, se te pedirá que descargues tu modelo y recibirás instrucciones para instalar y usar Infery, el motor de inferencia en tiempo de ejecución de Deci.

El uso de Infery es opcional. Puedes obtener los archivos Python sin procesar y utilizarlos con cualquier otro motor de inferencia que prefieras.

Consulta los resultados de optimización y de las pruebas de rendimiento en la pestaña «Insights».

¿Listo para empezar?#

Antes de terminar, veamos algunas de las ventajas que ofrece Deci:

• Optimiza el rendimiento y la latencia de inferencia de tu modelo sin sacrificar precisión
• Te permite optimizar modelos de todos los frameworks más populares
• Compatible con modelos destinados a cualquier tarea de aprendizaje profundo
• Admite la implementación en equipos populares con CPU y GPU
• Evalúa el rendimiento de tu modelo en distintos equipos y proveedores de servicios en la nube
• Prepara los modelos cargados para su servicio, inferencia e implementación

Como acabas de ver, puedes duplicar el rendimiento de un modelo Ultralytics YOLOv5 en unos 15 minutos. La plataforma Deci es fácil e intuitiva de usar.

¿Tienes alguna pregunta? ¡Únete a nuestra comunidad y deja tu pregunta hoy mismo!