Implementación de modelos Ultralytics YOLOv8 cuantizados en dispositivos edge con DeGirum

Bienvenido al resumen de otra interesante charla de nuestro evento YOLO VISION 2023 (YV23), celebrado en el dinámico Google for Startups Campus de Madrid. Esta charla fue impartida por Shashi Chilappagar, arquitecto jefe y cofundador de DeGirum. Profundizó en el fascinante mundo de la cuantización y el despliegue de modelos cuantizados, explorando los principales retos, soluciones y posibilidades futuras.

Introducción a la cuantización y al despliegue de modelos cuantizados

Shashi proporcionó una visión general completa de la cuantización, destacando su importancia en la optimización de los modelos YOLO de Ultralytics para su implementación en dispositivos edge. Desde la discusión de los conceptos básicos hasta la exploración de enfoques para mejorar la cuantización, los asistentes obtuvieron valiosos conocimientos sobre las complejidades del porting e implementación de modelos.

Desafíos en la cuantificación de modelos YOLO

La cuantización a menudo plantea desafíos, particularmente con los modelos YOLO en TFLite. Nuestra audiencia aprendió sobre la importante caída en la precisión observada cuando todas las salidas se cuantifican con la misma escala/punto cero, lo que arroja luz sobre las complejidades de mantener la precisión del modelo durante el proceso de cuantización.

Mejora de la cuantificación de modelos YOLO

Afortunadamente, existen soluciones para abordar estos desafíos. La introducción de la bifurcación DigiRAM ofrece un enfoque amigable con la cuantificación al separar las salidas y optimizar la decodificación del cuadro delimitador. Con estas mejoras, la precisión del modelo cuantificado experimenta una mejora significativa con respecto a los niveles de referencia.

Arquitecturas de modelos más amigables con la cuantización

Explorar nuevas arquitecturas de modelos es clave para minimizar la pérdida de cuantificación. Los asistentes descubrieron cómo reemplazar CILU con la activación Relu6 delimitada conduce a una pérdida de cuantificación mínima, lo que ofrece resultados prometedores para mantener la precisión en los modelos cuantificados.

Implementación de modelos cuantificados

La implementación de modelos cuantificados nunca ha sido tan fácil, con solo cinco líneas de código necesarias para ejecutar cualquier modelo en la plataforma en la nube Digitim. Una demostración de código en vivo mostró la simplicidad de detectar objetos con un modelo Ultralytics YOLOv5 cuantificado, destacando la perfecta integración de modelos cuantificados en aplicaciones del mundo real. 

En este sentido, Ultralytics ofrece una variedad de opciones de despliegue de modelos, lo que permite a los usuarios finales desplegar eficazmente sus aplicaciones en dispositivos integrados y de borde. Los diferentes formatos de exportación incluyen OpenVINO, TorchScript, TensorRT, CoreML, TFlite y TFlite EDGE TPU, que ofrecen versatilidad y compatibilidad. 

Esta integración con aplicaciones de terceros para la implementación permite a los usuarios evaluar el rendimiento de nuestros modelos en escenarios del mundo real.

Uso de diferentes modelos en diferentes hardware

Los asistentes también obtuvieron información sobre la versatilidad de implementar diferentes modelos en varias plataformas de hardware, mostrando cómo una sola base de código puede admitir múltiples modelos en diferentes aceleradores. Los ejemplos de ejecución de diferentes tareas de detección en diversas plataformas de hardware demostraron la flexibilidad y escalabilidad de nuestro enfoque.

Recursos y documentación

Para capacitar aún más a los asistentes, presentamos una sección de recursos completa que proporciona acceso a nuestra plataforma en la nube, ejemplos, documentación y mucho más. Nuestro objetivo es garantizar que todos tengan las herramientas y el soporte que necesitan para implementar modelos cuantificados de forma eficaz.

Resumiendo

A medida que evoluciona el campo de la cuantización, es esencial mantenerse informado y comprometido. Estamos comprometidos a proporcionar apoyo y recursos continuos para ayudarle a navegar por este emocionante viaje. ¡Echa un vistazo a la charla completa aquí! 

Únase a nosotros mientras seguimos explorando las últimas tendencias e innovaciones en aprendizaje automático e inteligencia artificial. Juntos, estamos dando forma al futuro de la tecnología e impulsando un cambio positivo en el mundo.