Despliegue de modelos Ultralytics YOLOv8 cuantizados en dispositivos edge con DeGirum

Te damos la bienvenida al resumen de otra interesante charla de nuestro evento YOLO VISION 2023 (YV23), celebrado en el Google for Startups Campus de Madrid. La impartió Shashi Chilappagar, arquitecto jefe y cofundador de DeGirum. La charla trató sobre la cuantización y el despliegue de modelos cuantizados, y exploró retos clave, soluciones y posibilidades futuras.

Introducción a la cuantización y al despliegue de modelos cuantizados#

Shashi ofreció una visión general completa de la cuantización y destacó su importancia para optimizar los modelos Ultralytics YOLO destinados a su despliegue en dispositivos periféricos. Desde los conceptos básicos hasta los distintos enfoques para mejorar la cuantización, los asistentes obtuvieron información valiosa sobre los aspectos complejos de la adaptación y el despliegue de modelos.

Retos de la cuantización de modelos YOLO#

La cuantización suele plantear retos, especialmente con los modelos YOLO en TFLite. Los asistentes conocieron la importante caída de precisión que se observa cuando todas las salidas se cuantizan con la misma escala y el mismo punto cero, lo que puso de manifiesto las dificultades de mantener la precisión del modelo durante el proceso de cuantización.

Cómo mejorar la cuantización de modelos YOLO#

Por suerte, existen soluciones para abordar estos retos. La introducción de la bifurcación de DeGirum ofrece un enfoque favorable a la cuantización, ya que separa las salidas y optimiza la decodificación de los cuadros delimitadores. Gracias a estas mejoras, la precisión de los modelos cuantizados aumenta considerablemente con respecto a los valores de referencia.

Arquitecturas de modelos más favorables a la cuantización#

Explorar nuevas arquitecturas de modelos es fundamental para minimizar la pérdida por cuantización. Los asistentes descubrieron cómo sustituir SiLU por la activación ReLU6 acotada reduce al mínimo dicha pérdida y ofrece resultados prometedores para mantener la precisión de los modelos cuantizados.

Despliegue de modelos cuantizados#

Desplegar modelos cuantizados es sencillo: solo hacen falta cinco líneas de código para ejecutar cualquier modelo en la plataforma en la nube de DeGirum. Una demostración de código en directo mostró lo fácil que es detectar objetos con un modelo Ultralytics YOLOv5 cuantizado y destacó la facilidad con la que los modelos cuantizados pueden integrarse en aplicaciones del mundo real.

Para ello, Ultralytics ofrece diversas opciones de despliegue de modelos que permiten a los usuarios finales desplegar sus aplicaciones de forma eficaz en dispositivos integrados y periféricos. Entre los distintos formatos de exportación se incluyen OpenVINO, TorchScript, TensorRT, CoreML, TFLite y TFLite Edge TPU, que ofrecen versatilidad y compatibilidad.

Esta integración con aplicaciones de terceros para el despliegue permite a los usuarios evaluar el rendimiento de nuestros modelos en situaciones del mundo real.

Uso de distintos modelos en distintos componentes de hardware#

Los asistentes también descubrieron la versatilidad de desplegar distintos modelos en diversas plataformas de hardware y cómo una única base de código puede admitir varios modelos en diferentes aceleradores. Los ejemplos de ejecución de distintas tareas de detección en diversas plataformas de hardware demostraron la flexibilidad y escalabilidad de nuestro enfoque.

Recursos y documentación#

Para ofrecer más herramientas a los asistentes, presentamos una sección completa de recursos con acceso a nuestra plataforma en la nube, ejemplos, documentación y mucho más. Nuestro objetivo es garantizar que todo el mundo disponga de las herramientas y el apoyo necesarios para desplegar modelos cuantizados de forma eficaz.

Conclusiones#

A medida que evoluciona el campo de la cuantización, es fundamental mantenerse al día y participar. Nos comprometemos a ofrecer asistencia y recursos continuos para ayudarte a desenvolverte en este campo en evolución. Mira la charla completa en YouTube.

Acompáñanos mientras seguimos explorando las últimas tendencias e innovaciones en aprendizaje automático e inteligencia artificial.