Despliegue de modelos cuantizados de Ultralytics YOLOv8 en dispositivos edge con DeGirum

Te damos la bienvenida al resumen de otra charla inspiradora de nuestro evento YOLO VISION 2023 (YV23), celebrado en el dinámico Google for Startups Campus de Madrid. Esta charla fue impartida por Shashi Chilappagar, arquitecto jefe y cofundador de DeGirum. En ella se profundizó en el fascinante mundo de la cuantización y el despliegue de modelos cuantizados, explorando los principales retos, soluciones y posibilidades futuras.

Introducción a la cuantización y el despliegue de modelos cuantizados#

Shashi ofreció una visión general completa de la cuantización, destacando su importancia para optimizar los modelos de Ultralytics YOLO de cara a su despliegue en dispositivos de borde. Desde la discusión de los conceptos básicos hasta la exploración de enfoques para mejorar la cuantización, los asistentes obtuvieron valiosos conocimientos sobre las complejidades de la portabilidad y el despliegue de modelos.

Desafíos en la cuantización de modelos YOLO#

La cuantización suele plantear retos, sobre todo con los modelos YOLO en TFLite. Nuestra audiencia conoció la importante caída de precisión que se observa cuando todas las salidas se cuantizan con la misma escala y punto cero, lo que arrojó luz sobre las complejidades de mantener la precisión del modelo durante el proceso de cuantización.

Mejora de la cuantización de modelos YOLO#

Afortunadamente, existen soluciones para abordar estos retos. La introducción de la bifurcación de DeGirum ofrece un enfoque favorable a la cuantización al separar las salidas y optimizar la decodificación de las BBox. Con estas mejoras, la precisión del modelo cuantizado experimenta una mejora significativa respecto a los niveles básicos.

Arquitecturas de modelos más favorables a la cuantización#

Explorar nuevas arquitecturas de modelos es clave para minimizar la pérdida por cuantización. Los asistentes descubrieron cómo reemplazar SiLU por la activación ReLU6 acotada conduce a una pérdida de cuantización mínima, ofreciendo resultados prometedores para mantener la precisión en modelos cuantizados.

Despliegue de modelos cuantizados#

Desplegar modelos cuantizados nunca ha sido tan fácil, ya que solo se necesitan cinco líneas de código para ejecutar cualquier modelo en la plataforma en la nube de DeGirum. Una demostración de código en directo mostró la sencillez de detectar objetos con un modelo cuantizado de Ultralytics YOLOv5, poniendo de relieve la perfecta integración de los modelos cuantizados en aplicaciones del mundo real.

Para tal fin, Ultralytics ofrece una variedad de opciones de despliegue de modelos, lo que permite a los usuarios finales desplegar eficazmente sus aplicaciones en dispositivos integrados y de borde. Los diferentes formatos de exportación incluyen OpenVINO, TorchScript, TensorRT, CoreML, TFLite y TFLite Edge TPU, ofreciendo versatilidad y compatibilidad.

Esta integración con aplicaciones de terceros para el despliegue permite a los usuarios evaluar el rendimiento de nuestros modelos en escenarios del mundo real.

Uso de diferentes modelos en diferentes hardwares#

Los asistentes también obtuvieron información sobre la versatilidad de desplegar diferentes modelos en varias plataformas de hardware, mostrando cómo una única base de código puede admitir múltiples modelos en distintos aceleradores. Los ejemplos de ejecución de diferentes tareas de detección en diversas plataformas de hardware demostraron la flexibilidad y escalabilidad de nuestro enfoque.

Recursos y documentación#

Para potenciar aún más a los asistentes, presentamos una sección completa de recursos que proporciona acceso a nuestra plataforma en la nube, ejemplos, documentation y mucho más. Nuestro objetivo es garantizar que todo el mundo disponga de las herramientas y el soporte necesarios para triunfar en el despliegue eficaz de modelos cuantizados.

Conclusión#

A medida que el campo de la cuantización evoluciona, es fundamental mantenerse informado y conectado. Nos comprometemos a proporcionar soporte y recursos continuos para ayudarte en este apasionante viaje. ¡Echa un vistazo a la charla completa Watch the full talk!

Únete a nosotros mientras continuamos explorando las últimas tendencias e innovaciones en aprendizaje automático e inteligencia artificial. Juntos, estamos dando forma al futuro de la tecnología e impulsando un cambio positivo en el mundo.