Implantación de modelos cuantificados Ultralytics YOLOv8 en dispositivos periféricos con DeGirum

Bienvenidos al resumen de otra interesante charla de nuestro evento YOLO VISION 2023 (YV23), celebrado en el vibrante Campus Google for Startups de Madrid. Esta charla fue impartida por Shashi Chilappagar, Arquitecto Jefe y Cofundador de DeGirum. En ella se profundizó en el fascinante mundo de la cuantización y el despliegue de modelos cuantizados, explorando los principales retos, soluciones y posibilidades de futuro.

Introducción a la cuantización y despliegue de modelos cuantizados

Shashi ofreció una visión completa de la cuantización, destacando su importancia en la optimización de los modelos Ultralytics YOLO para su despliegue en dispositivos periféricos. Desde la discusión de los conceptos básicos hasta la exploración de enfoques para mejorar la cuantificación, los asistentes obtuvieron información valiosa sobre las complejidades de la portabilidad y el despliegue de modelos.

Retos de la cuantificación de los modelos YOLO

La cuantización suele plantear problemas, sobre todo con los modelos YOLO en TFLite. Nuestro público conoció la significativa caída de la precisión observada cuando todas las salidas se cuantizan con la misma escala/punto cero, lo que arroja luz sobre las complejidades de mantener la precisión del modelo durante el proceso de cuantización.

Mejora de la cuantificación de los modelos YOLO

Afortunadamente, existen soluciones para afrontar estos retos. La introducción de la horquilla DigiRAM ofrece un enfoque que facilita la cuantificación mediante la separación de las salidas y la optimización de la descodificación de la caja delimitadora. Con estas mejoras, la precisión de los modelos cuantizados mejora notablemente con respecto a los niveles de referencia.

Arquitecturas de modelos más fáciles de cuantificar

Explorar nuevas arquitecturas de modelos es clave para minimizar la pérdida de cuantización. Los asistentes descubrieron cómo la sustitución de CILU por la activación limitada de Relu6 conduce a una pérdida de cuantificación mínima, lo que ofrece resultados prometedores para mantener la precisión en modelos cuantificados.

Despliegue de modelos cuantizados

El despliegue de modelos cuantificados nunca ha sido tan fácil, ya que solo se necesitan cinco líneas de código para ejecutar cualquier modelo en la plataforma en la nube de Digitim. Una demostración de código en directo mostró la simplicidad de la detección de objetos con un modelo cuantificado Ultralytics YOLOv5, destacando la perfecta integración de modelos cuantificados en aplicaciones del mundo real. 

A tal efecto, Ultralytics proporciona una variedad de opciones de despliegue de modelos, lo que permite a los usuarios finales desplegar eficazmente sus aplicaciones en dispositivos integrados y de borde. Los diferentes formatos de exportación incluyen OpenVINO, TorchScript, TensorRT, CoreML, TFlite y TFlite EDGE TPU, ofreciendo versatilidad y compatibilidad. 

Esta integración con aplicaciones de terceros para su despliegue permite a los usuarios evaluar el rendimiento de nuestros modelos en escenarios reales.

Utilización de distintos modelos en distintos equipos

Los asistentes también se hicieron una idea de la versatilidad de desplegar distintos modelos en varias plataformas de hardware, mostrando cómo un único código base puede soportar múltiples modelos en distintos aceleradores. Los ejemplos de ejecución de diferentes tareas de detección en diversas plataformas de hardware demostraron la flexibilidad y escalabilidad de nuestro enfoque.

Recursos y documentación

Para potenciar aún más a los asistentes, hemos introducido una completa sección de recursos que proporciona acceso a nuestra plataforma en la nube, ejemplos, documentación y mucho más. Nuestro objetivo es garantizar que todo el mundo disponga de las herramientas y el apoyo necesarios para desplegar con éxito modelos cuantificados de forma eficaz.

Conclusión

A medida que evoluciona el campo de la cuantización, es esencial mantenerse informado y comprometido. Nos comprometemos a proporcionarle apoyo y recursos continuos para ayudarle en este apasionante viaje. Vea la charla completa aquí. 

Únete a nosotros para seguir explorando las últimas tendencias e innovaciones en aprendizaje automático e inteligencia artificial. Juntos, estamos dando forma al futuro de la tecnología e impulsando un cambio positivo en el mundo.