Despliegue de modelos cuantizados de Ultralytics YOLOv8 en dispositivos edge con DeGirum

Te damos la bienvenida al resumen de otra charla instructiva de nuestro evento YOLO VISION 2023 (YV23), celebrado en el vibrante Google for Startups Campus de Madrid. Esta charla fue impartida por Shashi Chilappagar, arquitecto jefe y cofundador de DeGirum. Se profundizó en el fascinante mundo de la cuantización y el despliegue de modelos cuantizados, explorando retos clave, soluciones y posibilidades futuras.

Link to this sectionIntroducción a la cuantización y el despliegue de modelos cuantizados#

Shashi ofreció una visión general completa de la cuantización, destacando su importancia para optimizar los modelos YOLO de Ultralytics para su despliegue en dispositivos de borde. Desde la discusión de los aspectos básicos hasta la exploración de enfoques para mejorar la cuantización, los asistentes obtuvieron información valiosa sobre las complejidades de la portabilidad y el despliegue de modelos.

Link to this sectionDesafíos en la cuantización de modelos YOLO#

La cuantización suele plantear retos, especialmente con los modelos YOLO en TFLite. Nuestra audiencia aprendió sobre la caída significativa en la precisión observada cuando todas las salidas se cuantizan con la misma escala/punto cero, lo que arroja luz sobre las complejidades de mantener la precisión del modelo durante el proceso de cuantización.

Link to this sectionMejora de la cuantización de modelos YOLO#

Afortunadamente, existen soluciones para abordar estos retos. La introducción de la bifurcación de DeGirum ofrece un enfoque favorable a la cuantización al separar las salidas y optimizar la decodificación de las BBox. Con estas mejoras, la precisión del modelo cuantizado experimenta una mejora significativa respecto a los niveles básicos.

Link to this sectionArquitecturas de modelos más favorables a la cuantización#

Explorar nuevas arquitecturas de modelos es clave para minimizar la pérdida por cuantización. Los asistentes descubrieron cómo reemplazar SiLU por la activación ReLU6 acotada conduce a una pérdida de cuantización mínima, ofreciendo resultados prometedores para mantener la precisión en modelos cuantizados.

Link to this sectionDespliegue de modelos cuantizados#

Desplegar modelos cuantizados nunca ha sido tan fácil, ya que solo se necesitan cinco líneas de código para ejecutar cualquier modelo en la plataforma en la nube de DeGirum. Una demostración de código en vivo mostró la simplicidad de detectar objetos con un modelo Ultralytics YOLOv5 cuantizado, destacando la integración fluida de modelos cuantizados en aplicaciones del mundo real.

A este respecto, Ultralytics ofrece una variedad de opciones de despliegue de modelos, lo que permite a los usuarios finales desplegar sus aplicaciones de forma efectiva en dispositivos integrados y de borde. Los diferentes formatos de exportación incluyen OpenVINO, TorchScript, TensorRT, CoreML, TFLite y TFLite Edge TPU, ofreciendo versatilidad y compatibilidad.

Esta integración con aplicaciones de terceros para el despliegue permite a los usuarios evaluar el rendimiento de nuestros modelos en escenarios del mundo real.

Link to this sectionUso de diferentes modelos en diferentes hardwares#

Los asistentes también obtuvieron información sobre la versatilidad de desplegar diferentes modelos en varias plataformas de hardware, mostrando cómo una única base de código puede admitir múltiples modelos en distintos aceleradores. Los ejemplos de ejecución de diferentes tareas de detección en diversas plataformas de hardware demostraron la flexibilidad y escalabilidad de nuestro enfoque.

Link to this sectionRecursos y documentación#

Para capacitar aún más a los asistentes, introdujimos una sección de recursos completa, que proporciona acceso a nuestra plataforma en la nube, ejemplos, documentación y más. Nuestro objetivo es garantizar que todos tengan las herramientas y el soporte que necesitan para tener éxito en el despliegue efectivo de modelos cuantizados.

Link to this sectionConclusión#

A medida que el campo de la cuantización evoluciona, es fundamental mantenerse informado y activo. Nos comprometemos a ofrecer apoyo y recursos continuos para ayudarte a navegar en este emocionante viaje. ¡Echa un vistazo a la charla completa Watch the full talk!

Únete a nosotros mientras continuamos explorando las últimas tendencias e innovaciones en aprendizaje automático e inteligencia artificial. Juntos, estamos dando forma al futuro de la tecnología e impulsando un cambio positivo en el mundo.